Skip to content Skip to left sidebar Skip to right sidebar Skip to footer

WordPress Robots.txt Dosyası SEO için Nasıl Optimize Edilir

Abone Ol 

Robots.txt dosyası nedir?

Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerinde nasıl gezinileceğini ve dizine ekleneceğini anlatmak için oluşturabilecekleri bir metin dosyasıdır.

Genellikle web sitenizin ana klasörü olarak da bilinen kök dizinde saklanır. Bir robots.txt dosyasının temel formatı şuna benzer:

1
2
3
4
5
6
7
8
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

Belirli URL’lere izin vermek veya vermemek ve birden fazla site haritası eklemek için birden fazla talimat satırınız olabilir.

İşte bir robots.txt örnek dosyası:

1
2
3
4
5
6
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yükleme klasöründeki dosyaları taramasına ve dizine eklemesine izin verdik.

Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasını ve endekslemesini engelledik.

Son olarak, XML site haritasının URL’sini sağladık.

 

WordPress Siteniz için Robots.txt Dosyasına mı ihtiyacınız var?

Bir robots.txt dosyanız yoksa, arama motorları web sitenizi hala tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramaması gerektiğini söyleyemezsiniz.

Bir bloga yeni başladığınızda ve çok fazla içeriğiniz olmadığında, bunun pek bir etkisi olmaz.

Ancak, web siteniz büyüdükçe ve çok fazla içeriğiniz olduğunda, web sitenizin nasıl tarandığı ve dizine eklendiği konusunda daha fazla kontrol sahibi olmak istersiniz.

İşte nedeni bu.

Arama botlarının her web sitesi için bir tarama kotası var.

Bu, bir gezinme oturumu sırasında belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı tamamlamazlarsa, geri dönecekler ve bir sonraki oturumda taramaya devam edecekler.

Bu, web sitenizin dizin oluşturma oranını yavaşlatabilir.

Bunu, arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve tema klasörünüz gibi gereksiz sayfaları taramaya çalışmasını engelleyerek düzeltebilirsiniz.

Gereksiz sayfalara izin vermeyerek, tarama kotanızı korursunuz. Bu, arama motorlarının sitenizde daha fazla sayfa taramasına ve mümkün olduğunca hızlı bir şekilde dizine eklemesine yardımcı olur.

Robots.txt dosyasını kullanmanın başka bir iyi nedeni, arama motorlarının web sitenizdeki bir yazıyı veya sayfayı endekslemesini durdurmak istediğiniz zamandır.

İçeriği genel halktan gizlemenin en güvenli yolu değildir, ancak arama sonuçlarında görünmelerini engellemenize yardımcı olur.

 

İdeal bir Robots.txt dosyası neye benzemelidir?

Birçok popüler blog çok basit bir robots.txt dosyası kullanır. İçeriği, belirli sitenin gereksinimlerine bağlı olarak değişebilir:

1
2
3
4
5
User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu robots.txt dosyası, tüm botların tüm içeriği endekslemesini sağlar ve web sitesinin XML site haritalarına bağlantı sağlar.

WordPress siteleri için robots.txt dosyasında aşağıdaki kurallar önerilir:

1
2
3
4
5
6
7
8
9
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bu, arama botlarına tüm WordPress resimlerini ve dosyalarını endekslemesini söylüyor. Arama botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress benioku dosyasını ve bağlı kuruluş bağlantılarını endekslemesini engeller.

Robots.txt dosyasına site haritaları ekleyerek, Google botların sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.

Artık ideal bir robots.txt dosyasının neye benzediğini bildiğinize göre, WordPress’te nasıl bir robots.txt dosyası oluşturabileceğinize bir göz atalım.

 

WordPress’te Robots.txt Dosyası Nasıl Oluşturulur?

WordPress’te bir robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en uygun yöntemi seçebilirsiniz.

Yöntem 1: Yoast SEO kullanarak Robots.txt dosyasını düzenleme

Yoast SEO eklentisini kullanıyorsanız, bir robots.txt dosyası oluşturucunuz var demektir.

Bir robots.txt dosyasını doğrudan WordPress yönetici alanınızdan oluşturmak ve düzenlemek için kullanabilirsiniz.

WordPress yöneticinizdeki SEO »Araçlar sayfasına gitmeniz ve Dosya Düzenleyici linkini tıklamanız yeterlidir.

Yoast SEO'da dosya düzenleyici aracı

Bir sonraki sayfada, Yoast SEO sayfası mevcut robots.txt dosyanızı gösterecektir.

Bir robots.txt dosyanız yoksa, Yoast SEO sizin için bir robots.txt dosyası oluşturur.

Yoast SEO kullanarak robots.txt dosyası oluşturun

Varsayılan olarak, Yoast SEO’nun robots.txt dosya üreticisi, robots.txt dosyanıza aşağıdaki kuralları ekleyecektir:

1
2
User-agent: *
Disallow: /

Varsayılan metni sildikten sonra devam edip kendi robots.txt kurallarınızı ekleyebilirsiniz. Yukarıda paylaştığımız ideal robots.txt biçimini kullanmanızı öneririz.

İşiniz bittiğinde, değişikliklerinizi saklamak için ‘robots.txt dosyasını kaydet’ düğmesini tıklamayı unutmayın.

Yöntem 2. Robots.txt dosyasını FTP’yi kullanarak el ile düzenleme

Bu yöntem için robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekir.

Sadece bir FTP istemcisi kullanarak WordPress barındırma hesabınıza bağlanın.

Bağlandıktan sonra, web sitenizin kök klasöründe robots.txt dosyasını görebilirsiniz.

WordPress robots.txt dosyasını FTP kullanarak düzenleme

Eğer görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur. Bu durumda, devam edip bir tane oluşturabilirsiniz.

FTP kullanarak robots.txt dosyası oluşturun

Robots.txt, düz bir metin dosyasıdır, yani bilgisayarınıza indirebilir ve Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyiciyi kullanarak düzenleyebilirsiniz.

Değişikliklerinizi kaydettikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.

 

Robots.txt Dosyanızı Nasıl Test Edersiniz?

Robots.txt dosyanızı oluşturduktan sonra, bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir.

Dışarıda birçok robots.txt test aracı var, ancak Google Arama Konsolu’ndaki aracı kullanmanızı öneririz.

Google Arama Konsolu hesabınıza giriş yapın ve daha sonra eski Google arama konsolu web sitesine geçin.

Eski Google Arama Konsoluna geç

Bu sizi eski Google Arama Konsolu arayüzüne götürür. Buradan, ‘Tarama’ menüsü altındaki robots.txt test aracını başlatmanız gerekir.

Robots.txt test aracı

Araç, web sitenizin robots.txt dosyasını otomatik olarak getirecek ve eğer varsa hataları ve uyarıları vurgulayacaktır.

Robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını engellemektir. Örneğin, wp-plugins klasörünüzdeki veya WordPress yönetici klasörünüzdeki sayfalar.

SEO uzmanları arasında yaygın olarak kullanılan bir efsane, WordPress kategorisini, etiketleri ve arşiv sayfalarını engellemenin tarama hızını artıracağı ve daha hızlı indeksleme ve daha yüksek sıralamaya neden olacağı yönündedir.

Bu doğru değil. Aynı zamanda Google’ın web yöneticisi kurallarına aykırıdır.

Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki robots.txt biçimini kullanmanız sizin menfaatinize olacaktır.

0 Yorum

Henüz yorum yok.

Yorum Bırak

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

ajax-loader