Robots.txt nedir? Robots.txt dosyası nasıl oluşturulur? Neden bir robots.txt dosyası oluşturmanız gerekiyor? Web sitesinin robots.txt dosyasını optimize etmek, arama sıralamanızı iyileştirmeye yardımcı olur mu?
Tüm bunları ve daha fazlasını robots.txt ile ilgili bu derinlemesine makalede ele alacağız!
Hiç arama motorlarına belirli bir dosyayı taramamalarını söylemek istediniz mi? Arama motorlarının web sitenizdeki belirli bir klasörü taramasını durdurmak mı istiyorsunuz?
İşte robots.txt dosyasının devreye girdiği yer burasıdır. Arama motorlarına web sitenizi dizine eklerken nerede ve nerede taranmaması gerektiğini söyleyen basit bir metin dosyasıdır.
İyi haber şu ki, robots.txt’nin gücünü ortaya çıkarmak için herhangi bir teknik deneyime sahip olmanız gerekmiyor.
Robots.txt basit bir metin dosyasıdır ve oluşturulması saniyeler sürer. Ayrıca, karıştırılması en kolay dosyalardan biridir. Sadece bir karakter yerinde değil ve tüm sitenizin SEO’sunu bozdunuz ve arama motorlarının sitenize erişmesini engellediniz.
Bir web sitesinin SEO’su üzerinde çalışırken robots.txt dosyası önemli bir rol oynar. Arama motorlarının farklı dosya ve klasörlere erişmesini engellemenize izin verirken, genellikle sitenizi optimize etmenin ideal yolu değildir.
Bu makalede, web sitenizi optimize etmek için robots.txt dosyasını nasıl kullanmanız gerektiğini açıklayacağız. Ayrıca nasıl bir tane oluşturacağınızı ve sizin için zor işi yapabilecek sevdiğimiz bazı eklentileri paylaşacağınızı göstereceğiz.
Robots.txt Nedir?
Robots.txt, arama motoru robotlarına sitenizdeki hangi sayfaların taranacağını söyleyen basit bir metin dosyasıdır. Ayrıca robotlara hangi sayfaların taranmaması gerektiğini söyler.
Bu makaleyi derinlemesine incelemeden önce, bir arama motorunun nasıl çalıştığını anlamak önemlidir.
Arama motorlarının üç temel işlevi vardır – tarama, indeksleme ve sıralama.
Arama motorları, örümcekler veya botlar olarak da adlandırılan web tarayıcılarını web üzerinden göndererek başlar. Bu botlar, yeni bağlantılar, sayfalar ve web siteleri keşfetmek için tüm web’de gezinen akıllı yazılım parçalarıdır. Bu web tarama işlemine tarama denir .(Kaynak: Moz.com)
Botlar web sitenizi keşfettikten sonra, sayfalarınız kullanılabilir bir veri yapısında düzenlenir. Bu işleme indeksleme adı verilir .
Ve son olarak, her şey sıralamaya iniyor . Arama motorunun kullanıcılarına arama sorgularına göre en iyi ve en alakalı bilgileri sağladığı yer.
Robots.txt Nasıl Görünüyor?
Bir arama motorunun sitenizi ziyaret etmek üzere olduğunu varsayalım. Sitede gezinmeden önce, talimatlar için ilk olarak robots.txt dosyasını kontrol edecektir.
Örneğin, arama motoru robotunun incelego sitemizi taramak üzere olduğunu ve https://incelego.com/robots.txt adresinden erişilen robots.txt dosyamıza erişmek üzere olduğunu varsayalım .
Biz bu konudayken, alan adından sonra ‘/robots.txt’ yazarak herhangi bir web sitesinin robots.txt dosyasına erişebilirsiniz.
Yukarıdaki, bir robots.txt dosyasının neye benzediğinin tipik bir biçimidir.
Ve bunun çok teknik olduğunu düşünmeden önce, iyi haber şu ki, robots.txt dosyasında olan tek şey bu. Neredeyse.
Dosyada bahsedilen her bir öğeyi parçalayalım.
İlki Kullanıcı-aracı: * .
User- agent’tan sonraki yıldız işareti , dosyanın siteyi ziyaret eden tüm arama motoru robotları için geçerli olduğunu gösterir.
Her arama motorunun web’i tarayan kendi kullanıcı aracısı vardır. Örneğin, Google, web sitenizin içeriğini Google’ın arama motoru için dizine eklemek üzere Googlebot’u kullanır.
Popüler arama motorları tarafından kullanılan diğer bazı kullanıcı aracıları şunlardır:
- Google: Googlebot
- Googlebot News: Googlebot-News
- Googlebot Görseller: Googlebot-Image
- Googlebot Video: Googlebot-Video
- Bing: Bingbot
- Yahoo: Slurp Bot
- DuckDuckGo: DuckDuckBot
- Baidu: Baiduspider
- Yandex: YandexBot
- Exalead: ExaBot
- Amazon’un Alexa’sı: ia_archiver
Bu tür yüzlerce kullanıcı aracı vardır.
Her kullanıcı aracısı için özel talimatlar belirleyebilirsiniz. Örneğin, Googlebot için özel talimatlar belirlemek isterseniz, robots.txt dosyanızın ilk satırı,
Kullanıcı aracısı: Googlebot
Kullanıcı aracısının yanındaki yıldız işaretini (*) kullanarak tüm kullanıcı aracılarına yönergeler atarsınız.
Googlebot dışındaki tüm botların sitenizi taramasını engellemek istediğinizi varsayalım. Robots.txt dosyanız aşağıdaki gibi olacaktır,
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /Disallow’dan sonraki eğik çizgi ( / ) , bota sitedeki herhangi bir sayfayı dizine eklememesini söyler. Ve tüm arama motoru botlarına uygulanacak bir yönerge atarken, Googlebot’un ‘ İzin Ver: / ‘ ekleyerek web sitenizi dizine eklemesine de açıkça izin verdiniz .
Aynı şekilde, istediğiniz kadar kullanıcı aracısı için yönergeler ekleyebilirsiniz.
Özetlemek için, Astra robots.txt örneğimize geri dönelim, yani,
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpYönerge, ‘ / wp-admin / ‘ klasörü altındaki hiçbir şeyi taramayacak , ancak aynı klasör altındaki ‘ admin-ajax.php ‘ dosyasını takip edecek şekilde tüm arama motoru botlarına ayarlanmıştır .
Basit, değil mi?
Tarama Bütçesi Nedir?
Disallow’dan sonra eğik çizgiyi ekleyerek robota sitedeki hiçbir sayfayı ziyaret etmemesini söylersiniz.
Öyleyse, bir sonraki bariz sorunuz şudur: Neden birisi robotların sitenizi taramasını ve dizine eklemesini durdurmak istesin? Sonuçta, web sitesinin SEO’su üzerinde çalışırken, arama motorlarının sıralamanıza yardımcı olmak için sitenizi taramasını istersiniz.
İşte tam da bu nedenle robots.txt dosyanızı optimize etmeyi düşünmelisiniz.
Web sitenizde kaç sayfanız olduğuna dair bir fikriniz var mı? Gerçek sayfalardan test sayfalarına, yinelenen içerik sayfalarına, teşekkür sayfalarına ve diğerlerine kadar. Pek çok şey olduğunu varsayıyoruz.
Bir bot web sitenizi taradığında, her sayfayı tarar. Ve birkaç sayfanız varsa, arama motoru botunun hepsini taraması biraz zaman alacaktır.
(Kaynak: Seo Hacker)
Bunun web sitenizin sıralamasını olumsuz etkileyebileceğini biliyor muydunuz?
Ve bu, arama motoru botunun ‘ tarama bütçesinden ‘ kaynaklanıyor.
Tarama bütçesi nedir?
Tarama bütçesi, bir arama botunun bir oturumda tarayabileceği URL’lerin sayısıdır. Her siteye tahsis edilmiş belirli bir tarama bütçesi olacaktır. Ve tarama bütçesinin siteniz için mümkün olan en iyi şekilde harcanmasını sağlamak isteyeceksiniz.
Web sitenizde birkaç sayfanız varsa, kesinlikle önce botun en değerli sayfalarınızı taramasını isteyeceksiniz. Bu nedenle, robots.txt dosyanızda bundan açıkça bahsetmeniz çok önemlidir.
Googlebot için tarama bütçesinin ne anlama geldiğini öğrenmek için Google’da bulunan kaynaklara göz atın .
WordPress’te Robots.txt Dosyası Nasıl Oluşturulur?
Artık robots.txt dosyasının ne olduğunu ve ne kadar önemli olduğunu ele aldığımıza göre, hadi WordPress’te bir tane oluşturalım.
WordPress’te robots.txt dosyası oluşturmanın iki yolu vardır. Biri bir WordPress eklentisi kullanır , diğeri ise dosyayı web sitenizin kök klasörüne manuel olarak yüklemektir.
Yöntem 1: Yoast SEO Eklentisini Kullanarak bir Robots.txt Dosyası Oluşturun
WordPress web sitenizi optimize etmenize yardımcı olmak için SEO eklentilerini kullanabilirsiniz . Bu eklentilerin çoğu kendi robots.txt dosya oluşturucusuyla birlikte gelir.
Bu bölümde Yoast SEO eklentisini kullanarak bir tane oluşturacağız . Eklentiyi kullanarak, robots.txt dosyasını WordPress panonuzdan kolayca oluşturabilirsiniz.
Adım 1. Eklentiyi Kurun
Başının üzerinde Eklentiler> Yeni Ekle . Ardından, henüz sahip değilseniz Yoast SEO eklentisini arayın, kurun ve etkinleştirin .
Adım 2. robots.txt Dosyasını oluşturun
Eklenti etkinleştirildikten sonra Yoast SEO> Araçlar’a gidin ve Dosya düzenleyiciye tıklayın .
Dosyayı ilk kez oluşturduğumuz için robots.txt dosyası oluştur’a tıklayın .
Bazı varsayılan yönergelerle oluşturulan dosyayı fark edeceksiniz.
Varsayılan olarak, Yoast SEO’nun robots.txt dosya oluşturucusu aşağıdaki yönergeleri ekleyecektir,
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
İsterseniz robots.txt dosyasına daha fazla yönerge ekleyebilirsiniz. İşiniz bittiğinde, değişiklikleri robots.txt’ye kaydet’i tıklayın .
Devam edin ve alan adınızı ve ardından ‘ /robots.txt ‘ yazın. Aşağıdaki resimde gösterildiği gibi tarayıcıda görüntülenen varsayılan yönergeleri bulursanız, robots.txt dosyanızı başarıyla oluşturmuşsunuzdur.
Site haritası URL’sini robots.txt dosyanıza eklemenizi de öneririz.
Örneğin, web sitesi site haritası URL’niz https://alaniniz.com/sitemap.xml ise, robots.txt dosyanıza Site Haritasını: https://alaniniz.com/sitemap.xml eklemeyi düşünün .
Başka bir örnek, botun web sitenizdeki tüm resimleri taramasını engellemek için bir yönerge oluşturmak isteyip istemediğinizdir. Ve diyelim ki, bunu yalnızca GoogleBot ile sınırlamak istiyoruz.
Böyle bir durumda robots.txt dosyamız aşağıdaki gibi olacaktır,
User-agent: Googlebot
Disallow: /uploads/
User-agent: *
Allow: /uploads/
Ve resim klasörü adını nasıl bulacağınızı merak ediyorsanız, web sitenizdeki herhangi bir resme sağ tıklayın, yeni bir sekmede aç’ı seçin ve tarayıcıdaki URL’yi not edin.
Yöntem 2: Robots.txt Dosyasını FTP Kullanarak Manuel Olarak Oluşturun
Sonraki yöntem, yerel bilgisayarınızda bir robots.txt dosyası oluşturmak ve bunu WordPress web sitenizin kök klasörüne yüklemektir.
Ayrıca , Filezilla gibi bir FTP istemcisi kullanarak WordPress barındırma hizmetinize erişmeniz gerekecektir . Giriş yapmak için gerekli kimlik bilgileri, henüz sahip değilseniz, barındırma kontrol panelinizde mevcut olacaktır.
Robots.txt dosyasının web sitenizin kök klasörüne yüklenmesi gerektiğini unutmayın. Yani herhangi bir alt dizinde olmamalıdır.
Böylece, FTP istemcinizi kullanarak oturum açtıktan sonra, robots.txt dosyasının web sitenizin kök klasöründe bulunup bulunmadığını görebilirsiniz.
Dosya varsa, dosyaya sağ tıklayın ve düzenleme seçeneğini seçin.
Değişiklikleri yapın ve kaydet’e tıklayın.
Dosya yoksa, bir tane oluşturmanız gerekir. Not Defteri gibi basit bir metin düzenleyicisi kullanarak bir tane oluşturabilir ve yönergeleri dosyaya ekleyebilirsiniz.
Örneğin, aşağıdaki yönergeleri ekleyin,
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php… Ve dosyayı robots.txt olarak kaydedin.
Şimdi, FTP istemcinizi kullanarak, ‘ Dosya Yükle’yi tıklayın ve dosyayı web sitesinin kök klasörüne yükleyin.
Dosyanızın başarıyla yüklenip yüklenmediğini doğrulamak için, alan adınızı ve ardından ‘/robots.txt’ yazın.
Robots.txt dosyasını WordPress web sitenize manuel olarak bu şekilde yüklersiniz !
Robots.txt’nin Artıları ve Eksileri
Robots.txt dosyasının avantajları
- Dizine eklemek istemediğiniz sayfalarda zaman kaybetmemelerini söyleyerek arama motorunun tarama bütçelerini optimize etmeye yardımcı olur. Bu, arama motorlarının sizin için en önemli sayfaları taramasına yardımcı olur.
- Kaynakları israf eden botları engelleyerek web sunucunuzu optimize etmeye yardımcı olur.
- Teşekkür sayfalarını, açılış sayfalarını, giriş sayfalarını, arama motorları tarafından dizine eklenmesine gerek kalmayacak şekilde gizlemeye yardımcı olur.
Robots.txt dosyasının eksileri
- Artık herhangi bir web sitesi için robots.txt dosyasına nasıl erişeceğinizi biliyorsunuz. Oldukça basit. Alan adını ve ardından “/robots.txt” yi girin. Bununla birlikte, bu da belirli bir risk oluşturmaktadır. Robots.txt dosyası, arama motorları tarafından dizine eklenmesini istemediğiniz bazı dahili sayfalarınızın URL’lerini içerebilir.
Örneğin, endekslenmesini istemeyeceğiniz bir giriş sayfası olabilir. Ancak robots.txt dosyasında bundan bahsetmek saldırganların sayfaya erişmesine izin verir. Aynı şey, bazı özel verileri gizlemeye çalışıyorsanız da geçerlidir. - Robots.txt dosyasını oluşturmak oldukça basit olsa da, tek bir karakteri bile yanlış alırsanız, tüm SEO çabalarınızı altüst edecektir.
Robots.txt Dosyasını Nereye Koymalı
Robots.txt dosyasının nereye eklenmesi gerektiğini artık çok iyi bildiğinizi tahmin ediyoruz.
Robots.txt dosyası her zaman web sitenizin kök dizininde olmalıdır. Etki alanınız etkialaniniz.com ise, robots.txt dosyanızın URL’si https://alaniniz.com/robots.txt olacaktır.
Robots.txt dosyanızı kök dizine eklemenin yanı sıra, işte izlenecek en iyi uygulamalardan bazıları şunlardır:
- Dosyanızı robots.txt olarak adlandırmanız önemlidir
- Ad, büyük / küçük harfe duyarlıdır. Öyleyse doğru yap yoksa işe yaramayacak
- Her direktif yeni bir satırda olmalıdır
- Bir URL’nin sonunu işaretlemek için bir “$” simgesi ekleyin
- Bireysel kullanıcı aracılarını yalnızca bir kez kullanın
- Satıra bir karma (#) ile başlayarak robots.txt dosyanızı insanlara açıklamak için yorumları kullanın.
Robots.txt Dosyanızı Nasıl Test Edersiniz?
Artık robots.txt dosyanızı oluşturduğunuza göre, bir robots.txt test aracı kullanarak onu test etme zamanı.
Önerdiğimiz araç, Google Arama Konsolu’nun içindekidir .
Bu araca erişmek için robots.txt test cihazını aç seçeneğine tıklayın .
Web sitenizi Google Arama Konsoluna eklediğinizi varsayıyoruz. Değilse, ‘ Şimdi mülk ekle’yi tıklayın ve web sitenizi Google Arama Konsoluna eklemek için uygulaması kolay adımları tamamlayın.
Tamamlandığında, web siteniz ‘ Lütfen bir mülk seçin ‘ altındaki açılır menüde görünecektir .
Web sitesini seçin; araç, web sitenizin robots.txt dosyasını otomatik olarak alır ve varsa hataları ve uyarıları vurgular.
Robots.txt SSS’leri
Bu makale aracılığıyla sık sorulan soruların çoğunu ele alsak da, sık sorulan başka bir soru daha var.
WordPress Siteniz İçin Bir Robots.txt Dosyasına İhtiyacınız Var mı?
Evet, WordPress sitenizde bir robots.txt dosyasına ihtiyacınız var. Bir robots.txt dosyası olup olmadığına bakılmaksızın, arama motorları web sitenizi taramaya ve dizine eklemeye devam eder. Ancak robots.txt’nin ne olduğunu, nasıl çalıştığını ve tarama bütçesini ele aldığınızda, neden bir tane dahil etmek istemeyesiniz?
Robots.txt, arama motorlarına neyin taranacağını ve daha da önemlisi neyin taranmayacağını söyler.
Robots.txt dosyasını eklemenin birincil nedeni, tarama bütçesinin olumsuz etkilerini düşünmektir.
Daha önce belirtildiği gibi, her web sitesinin belirli bir tarama bütçesi vardır. Bu, botun bir oturum sırasında taradığı sayfa sayısına indirgenir. Bot, oturum sırasında sitenizdeki tüm sayfaları taramayı tamamlamazsa, bir sonraki oturumda geri dönecek ve taramaya devam edecektir.
Ve bu, web sitenizin indeksleme oranını yavaşlatır.
Buna hızlı bir çözüm, arama botlarının gereksiz sayfaları, medya dosyalarını, eklentileri, tema klasörlerini ve diğerlerini taramasına izin vermemek ve böylece tarama kotanızı kaydetmektir.
Senin üzerinde çalışırken web sitesinin SEO , biz, içerik optimize doğru anahtar kelimeleri araştırmaya, geri çalışan, diğer faktörlerin yanı sıra bir siteharitasi.xml, üreten üzerinde çok önem yerleştirin. Bazı web yöneticilerinin daha az dikkat ettikleri bir SEO unsuru robots.txt dosyasıdır.
Robots.txt dosyası, web sitenize başlarken çok önemli olmayabilir . Ancak, web siteniz büyüdükçe ve sayfa sayısı arttıkça, robots.txt söz konusu olduğunda en iyi uygulamaları izlemeye başlarsak zengin temettü ödemesi yapar.
Bu makalenin robots.txt’nin ne olduğu ve web sitenizde nasıl oluşturulacağı hakkında bilgi sahibi olmanıza yardımcı olduğunu umuyoruz. Peki robots.txt dosyanızda hangi yönergeleri ayarladınız?
