Sitemap Dosyasının Robots.txt Eklenmesi ve 404 Hata Sayfaları


Web sitelerinin kırık link ve 404 Sayfa bulunamadı gibi hatalara maruz kalmaması için önceden alması gereken bir takım tedbirler bulunmaktadır. 404(Sayfa bulunamadı!) hatası döndüren bir web sayfası kırık link olarak da tabir edilen bir çok sorunu beraberinde getirir.


Bu sorunlar ne olabilir? 
Elbette akıllara ilk gelen arama motorları olsa da günlük tekil hit potansiyeli yüksek bir web sitesinin hali hazırda var olan takipçilerini düşünmesi arama motorlarından daha önceliklidir. Bu nedenle ilk adım sayfanın neden var olmadığını izah eden anlaşılır bir 404 sayfası hazırlamaktır. İkinci adım ise arama motorlarına yok edilecek, taşınacak, değiştirilecek sayfalarımızı(linkler) önceden bildirilmelidir. Bu adımda tüm arama motorları tarafından kabul gören bir robots.txt dosyası düzenlenmelidir. Robots.txt dosyası standart olarak yalnızca web sitemizin ana dizininde kabul görmektedir.(www.domain.com/robots.txt gibi) Dosyanın içeriğinde silinecek, taşınacak vb. linklerimiz üzerine işlem yapabilir ve arama motorlarında 404 Hata sayfasını göstermeden linklerimizi temizlemiş oluruz. Robots.txt kullanmıyorsanız hemen fikir alıp başlayabilirsiniz. Detaylı Bilgi İçin: Sayfaları, robots.txt dosyasını kullanarak engelleme veya kaldırma

İhmal edilmemesi gereken bir adım daha var.
Robots.txt dosyamızın içeriğini oluşturduktan sonra, bu dosyayı en iyi şekilde kullanmak isteyeceğiz. Google' ın olduğu gibi diğer arama motorlarıda (en azından sitemap.org da belirtilenler) robots.txt üzerinden sitemap.xml dosyalarımızı kabul etmektedir. Biz robots.txt' ye sitemap.xml dosyamızın yolunu eklediğimizde arama motorlarına yardımcı oluyoruz. Gayet de mantıklı; otomatik olarak oluşturulan robots.txt ve sitemap.xml dosyalarımızın aynı anda arama motorları tarafından incelenmesi, silinen veya taşınan linklerimiz için de ilaç gibi gelecektir.

Basitçe bir robots.txt doyası ve sitemap ekleme:

User-agent: * #tüm arama motorlar
Allow: /
User-agent Googlebot #bundan sonraki satırlar yalnızca google arama motoru için geçerli olur.
Disallow: /?ref= #güvenlik önlemi.
Disallow: /*.xls$ #xls uzantılı dosyaları tarama.
Disallow: /image/data/ #belirtilen klasörü tarama.
Sitemap: http://www.domain.com/sitemap.xml

Eğer sitemap dosyamızda değişiklik yaptığımızda google veya diğer arama motorlarına tekrar göndermeyi de Http kullanarak yapıyorsak, anlatılan tüm silme ve dizine eklenme işlemlerini bir nebze daha hızlandırmış olacağız. Yukarıdaki sitemap bildirimini aynen görüldüğü gibi yazıyoruz sadece alt klasörü değil domain adıyla birlikte sitemap.xml dosyamızın konumunu bildiriyoruz.

Kaynaklar ve linkler;
Robots.txt Hakkında ve Yapımı
Site Haritalarını Gönderme
Http kullanarak site haritalarını ping etmek

2 yorum

  1. Hocam bu konuda benim bir sorum olacak. Google'da görsellerde index alan tüm resimlerim 404 hatası alıyor. Bu durumu nasıl çözebiliriz. Ben yönlendirme eklentisi kullandım ve hepsini düzelttim ama ertesi gün yine aynı 404 hatası alıyorum. Bunu nasıl düzeltebiliriz.

    YanıtlaSil
    Yanıtlar
    1. .htaccess üzerinden yapıyorsan, dosya yolunu kontrol edebilirsin. Hotlink ile ilgili bir makale var; Hotlink Koruması

      Sil

Yorumda bulunarak kendin için, senden sonrakiler için ve bu blog için bir şeyler yazabilirsin. Durma sor, paylaş. Buraya bir hatıra bırak ;)

HTML: Bazı HTML etiketlerini kullanabilirsiniz.(b,a,i vb.)
UYARI: Yorumlar onaylanmadan direk yayınlanıyor. Yorumunuzun yayında kalması için etik kurallara dikkat edelim.

© Php, E-Ticaret ve Web Programlama
Blogger ozkistyle programmer theme
Released under Creative Commons 3.0 CC BY-NC 3.0