25-10-2015 Saat: 09:07
Robots.txt dosyası özellikle Google, Yandex gibi arama botlarına bilgi veren bir dosyadır.Botlara ne yapması gerektiğini ve ne yapmaması gerektiğini söyleyebilirsiniz. Botlar ve robotlar öncelikle sitenin dosyasının olup olmadığını kontrol eder. Eğer sitenin robots.txt dosyası varsa bu dosyada yazanlara uymaya çalışır. Bu nedenle robots.txt dosyası kullanmak faydalı ve işlevseldir.
Robots.txt dosyam var mı?
Sitenizin robots.txt dosyası olup olmadığını bilmiyorsanız siteadresi.com/robots.txt sayfasına gidin.
( örnek: http://forumfast.10tr.net/robots.txt )
Robots.txt’de neler bulunmalı?
Öncelikle botların indexlememesi ve hatta girmemesi gereken yerleri belirtin. Disallow komutunu burada kullanacağız.
Robots.txt dosyasında sitemap adresi bulunması yarar sağlayacaktır.
Robots.txt Hazırlama
Öncelikle robots.txt dosyasında kullanılacak 2 komut var.
User-agent: Botun/Robotun adı buraya yazılır. Eğer tüm botlar ile ilgiliyse * işareti konulur
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak. Örnek /wp-admin/ indexleme gibi.
Örnek 1:
Böyle bir komut yazdığınızda * işareti kullandığımız için ve Disallow kısmını boş bıraktığımız için tüm botlar tüm siteyi indexleyecektir.
Örnek 2:
Böyle bir robots txt hazırladığımızda bunun açıklaması: Tüm botlar aşağıdaki klasörleri ve içindekileri indexlemesin demektir.
Örnek 3:
DeepCrawl bir Google botudur. Böyle bir komutta DeepCrawl /wp-admin/ klasörünü indexlemesin demiş oluyoruz.
Örnek 4:
Bu komutta tüm botlar bir dosyayı indexlemesin demiş oluyoruz.
Örnek 5:
Bu komutla ile tüm botlar /dosya/ klasörünü indexlemesin. Fakat /dosya/ klasörü içindeki site.html istisna olarak indexlensin demek.
Örnek 6:
6. örneğimizde komutların altına sitemap adresimizi ekledik. Böylece botlar sitemap’ı daha kolay bulacaktır.
Örnek Robots.txt Dosyası:
Aşağıda vermiş olduğum örnek kodu wordpress siteler kullanabilir. Sadece site haritası kısmını değiştirmelisiniz. Bu kodları Not Defteri’ne yazaraak robots.txt olarak kaydederseniz robots.txt dosyanız hazır olur.
Kaynak;
Robots.txt dosyam var mı?
Sitenizin robots.txt dosyası olup olmadığını bilmiyorsanız siteadresi.com/robots.txt sayfasına gidin.
( örnek: http://forumfast.10tr.net/robots.txt )
Robots.txt’de neler bulunmalı?
Öncelikle botların indexlememesi ve hatta girmemesi gereken yerleri belirtin. Disallow komutunu burada kullanacağız.
Robots.txt dosyasında sitemap adresi bulunması yarar sağlayacaktır.
Robots.txt Hazırlama
Öncelikle robots.txt dosyasında kullanılacak 2 komut var.
User-agent: Botun/Robotun adı buraya yazılır. Eğer tüm botlar ile ilgiliyse * işareti konulur
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak. Örnek /wp-admin/ indexleme gibi.
Örnek 1:
PHP Kod:
User-agent: *
Disallow
Böyle bir komut yazdığınızda * işareti kullandığımız için ve Disallow kısmını boş bıraktığımız için tüm botlar tüm siteyi indexleyecektir.
Örnek 2:
PHP Kod:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /wp-admin/
Disallow: /private/
Böyle bir robots txt hazırladığımızda bunun açıklaması: Tüm botlar aşağıdaki klasörleri ve içindekileri indexlemesin demektir.
Örnek 3:
PHP Kod:
User-agent: DeepCrawl
Disallow: /wp-admin/
DeepCrawl bir Google botudur. Böyle bir komutta DeepCrawl /wp-admin/ klasörünü indexlemesin demiş oluyoruz.
Örnek 4:
PHP Kod:
User-agent: *
Disallow: /klasor/dosya.html
Bu komutta tüm botlar bir dosyayı indexlemesin demiş oluyoruz.
Örnek 5:
PHP Kod:
User-agent:
Allow: /dosya/site.html
Disallow: /dosya/
Bu komutla ile tüm botlar /dosya/ klasörünü indexlemesin. Fakat /dosya/ klasörü içindeki site.html istisna olarak indexlensin demek.
Örnek 6:
PHP Kod:
User-agent: *
Disallow: /wp-admin/
Sitemap: http://forumfast.10tr.net
6. örneğimizde komutların altına sitemap adresimizi ekledik. Böylece botlar sitemap’ı daha kolay bulacaktır.
Örnek Robots.txt Dosyası:
Aşağıda vermiş olduğum örnek kodu wordpress siteler kullanabilir. Sadece site haritası kısmını değiştirmelisiniz. Bu kodları Not Defteri’ne yazaraak robots.txt olarak kaydederseniz robots.txt dosyanız hazır olur.
PHP Kod:
User-agent: *
Disallow: /wp-admin/
Sitemap: sitemap linkiniz buraya gelecek
Kaynak;
PHP Kod:
http://forumfast.10tr.net/showthread.php?tid=257
