Seo

Wordpress Seo Uyumlu Robots.txt Nasıl Olmalıdır ?

Robots.txt oluşturma,okuyucularımızdan biri, SEO’yu iyileştirmek için robots.txt dosyasının nasıl optimize edileceğine dair ipuçları istemişti. Robots.txt dosyası, arama motorlarına web sitenizi nasıl taranacağını söyler ve bu da onu inanılmaz derecede güçlü bir SEO aracı haline getirir. Bu yazıda, SEO için mükemmel bir robots.txt dosyasının nasıl oluşturulacağını göstereceğiz.

Robots.txt dosyası nedir?

Robots.txt, web sitesi sahiplerinin arama motorlarına sitelerinde sayfaların nasıl taranıp dizine eklendiğini söylemek için oluşturabilecekleri bir metin dosyasıdır.

Genellikle web sitenizin ana klasörü olarak da bilinen kök dizinde saklanır. Bir robots.txt dosyasının temel biçimi şuna benzer:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

Belirli URL’lere izin vermek veya bunlara izin vermemek ve birden fazla site haritası eklemek için birden çok komut satırı kullanabilirsiniz. Bir URL’ye izin vermezseniz, arama motoru botları taramaya izin verildiğini varsayar.

İşte bir robots.txt örnek dosyası şöyle görünebilir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasörümüzde dosyaları taramasına ve dizine eklemesine izin verdik.

Bundan sonra, tarama ve indeksleme eklentileri ve WordPress yönetici klasörlerinden arama botlarına izin vermedik.

Son olarak, XML site haritanızın URL’sini sağladık.

WordPress Siteniz İçin Bir Robots.txt Dosyası Gerekiyor mu?

Bir robots.txt dosyanız yoksa, arama motorları hala web sitenizi tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramamaları gerektiğini söyleyemezsiniz.

Bir blogu ilk kez başlattığınızda ve çok fazla içeriğiniz olmadığında bu, çok fazla etki olmayacaktır.

Ancak, web siteniz büyüdükçe ve çok fazla içeriğiniz olduğu için, web sitenizin nasıl tarandığını ve dizine eklendiğini daha iyi kontrol etmek isteyebilirsiniz.

İşte bu yüzden.

Arama botlarında her web sitesi için bir tarama kotası bulunur.

Bu, bir tarama oturumu sırasında belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı bitirmezlerse, geri gelecek ve bir sonraki oturumda taramayı sürdüreceklerdir.

Bu, web sitesi endeksleme oranınızı yavaşlatabilir.

Bunu, arama botlarını WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları taramaya çalışmadan kaldırarak çözebilirsiniz.

Gereksiz sayfaları göz ardı ederek, tarama kotanızı kaydedersiniz. Bu, arama motorlarının sitenizde daha fazla sayfa taramasına ve bunları mümkün olduğunca hızlı bir şekilde dizine eklemesine yardımcı olur.

Robots.txt dosyasını kullanmanın bir başka iyi nedeni de, arama motorlarınınweb sitenizdeki bir postayı veya sayfayı dizine eklemesini durdurmaktır .

İçeriği herkesten gizlemenin en güvenli yolu bu değil, ancak arama sonuçlarında görünmesini engellemenize yardımcı olacaktır.

İdeal Robots.txt Dosyası Nasıl Olmalı?

Birçok popüler blog çok basit bir robots.txt dosyası kullanıyor. İçeriği, belirli sitenin ihtiyaçlarına bağlı olarak değişebilir:

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu robots.txt dosyası, tüm botların tüm içeriği dizine eklemesine ve web sitesinin XML site haritalarına bir bağlantı sağlamasına olanak tanır .

WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneririz:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu, tüm WordPress resimlerini ve dosyalarını taramak için arama botlarını söyler. WordPress eklenti dosyaları, WordPress yönetici alanı, WordPress benioku dosyası ve bağlı kuruluşların dizinlerini arama botlarına izin vermez.

Robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.

Artık ideal bir robots.txt dosyasının nasıl göründüğünü bildiğinize göre, WordPress’te bir robots.txt dosyası nasıl oluşturabileceğinize göz atalım.

Robots.txt Dosyası Nasıl Oluşturulur?

WordPress’te bir robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en uygun yöntemi seçebilirsiniz.

Yöntem 1: Yoast SEO kullanarak Robots.txt dosyasını düzenleme

Eğer kullanıyorsanız Yoast SEO eklentisi, o zaman bir robots.txt dosyası jeneratör ile birlikte gelir.

Doğrudan bir WordPress yönetici alanınızdan bir robots.txt dosyası oluşturmak ve düzenlemek için kullanabilirsiniz.

Sadece WordPress yöneticinizdeki SEO »Araçlar sayfasına gidin ve Dosya Düzenleyici bağlantısını tıklayın.

Bir sonraki sayfada, Yoast SEO sayfası mevcut robots.txt dosyanızı gösterecektir.

Bir robots.txt dosyanız yoksa, Yoast SEO sizin için bir robots.txt dosyası oluşturur.

Varsayılan olarak, Yoast SEO’nun robots.txt dosya üreticisi robots.txt dosyanıza aşağıdaki kuralları ekler:

User-agent: *
Disallow: /

Öyle önemli nedeniyle engeller tüm arama motorları web sitenizi taramasını bu metni silmenizi.

Varsayılan metni sildikten sonra devam edebilir ve kendi robots.txt kurallarınızı ekleyebilirsiniz. Yukarıda paylaştığımız ideal robots.txt biçimini kullanmanızı öneririz.

İşiniz bittiğinde, değişikliklerinizi kaydetmek için ‘robots.txt dosyasını kaydet’ düğmesini tıklamayı unutmayın.

Yöntem 2. Elle FTP Kullanarak Robots.txt dosyasını düzenleyin

Bu yöntem için robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekir .

Bir FTP istemcisi kullanarak WordPress barındırma hesabınıza bağlanmanız yeterlidir .

İçeri girdikten sonra web sitenizin kök klasöründeki robots.txt dosyasını görebileceksiniz.

Birini görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur. Bu durumda, devam edip bir tane oluşturabilirsiniz.

Robots.txt bir düz metin dosyasıdır, bu da onu bilgisayarınıza indirebileceğiniz ve Notepad veya TextEdit gibi herhangi bir düz metin düzenleyicisi kullanarak düzenleyebileceğiniz anlamına gelir.

Değişikliklerinizi kaydettikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.

Robots.txt Dosyanızı Nasıl Test Edersiniz?

Robots.txt dosyanızı oluşturduktan sonra, bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir.

Orada çok sayıda robots.txt test aracı var, ancak Google Search Console’uniçinde bir tane kullanmanızı öneririz .

Google Search Console hesabınıza giriş yapın ve ardından eski Google arama konsolu web sitesine geçin.

Bu sizi eski Google Search Console arayüzüne götürür. Buradan ‘Crawl’ menüsünün altında bulunan robots.txt test aracını başlatmanız gerekiyor.

Araç, web sitenizin robots.txt dosyasını otomatik olarak getirecek ve bulduğunda hataları ve uyarıları vurgulayacaktır.

Son düşünceler

Robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını önlemektir. Örneğin, wp-plugins klasörünüzdeki veya WordPress yönetici klasörünüzdeki sayfalar.

SEO uzmanları arasında yaygın bir efsane, WordPress kategorisinin, etiketlerinin ve arşiv sayfalarının engellenmesinin tarama hızını artıracağı ve daha hızlı endeksleme ve daha yüksek sıralamaya neden olacağıdır.

Bu doğru değil. Ayrıca Google’ın web yöneticisi yönergelerine de aykırıdır.

Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki robots.txt biçimini izlemenizi öneririz.

Bu makalenin, SEO için WordPress robots.txt dosyanızı nasıl optimize edeceğinizi öğrenmenize yardımcı olduğunu umuyoruz.