Robots.txt ve Sitemap – Cannonical URL ve Hatalı Linkler

Günümüz dijital dünyasında, bir web sitesinin başarısı, sadece içerikle sınırlı değildir. Web sitesi optimizasyonu, kullanıcıların sitenizi daha etkili bir şekilde bulmalarını sağlayan ve arama motoru sıralamalarını iyileştiren bir stratejidir. Bu yazıda, web sitenizin performansını artırmak için önemli konulardan dört tanesini ele alacağız: Robots.txt, Sitemap, Canonical URL ve Hatalı Linkler. Bu unsurlar, web sitenizin arama motorları tarafından daha etkili bir şekilde anlaşılmasına, endekslenmesine ve kullanıcılar tarafından daha iyi keşfedilmesine olanak tanımaktadır. Eğer bu dört faktör hakkında detaylı bilgi almak ve ayrıntılı şekilde öğrenmek istiyorsanız yazımızı okumaya mutlaka devam etmelisiniz.

Sitemap Nedir?

Aslında sitemap, sitemizi arayan Google botlarına hangi sayfaları gezmesi gerektiğini belirtmeye yardımcı olan bir XML dosyasıdır. Sitemap, arama motorlarının sitenizi daha hızlı ve kapsamlı bir şekilde indekslemelerine yardımcı olabilmektedir. Bu XML dosyası, sitenizin içeriğini anlatarak arama motorlarına sayfalarınızı daha etkili bir şekilde tarayıp indekslemelerine yardımcı olmaktadır.

Sitemap, Google botlarına ve diğer arama motorlarına sitenizin hangi bölgelerini daha öncelikli olarak taramaları gerektiğini söylemektedir. Bu, yeni içeriği daha hızlı indekslemelerini sağlamaktadır. Ayrıca sitenizin içeriğinin yapısını göstermektedir. Arama motorları, bu yapıyı anlayarak sitenizi daha etkili bir şekilde indekslemekte ve kullanıcıların istedikleri içeriği daha hızlı bulmalarına olanak tanımaktadır.

Sitemap Oluşturma: Sitemap Nasıl Oluşturulmaktadır?

Site haritası oluşturmanın çeşitli yolları bulunmaktadır. Bunlardan en pratik olanlardan ilki çevrimiçi araçlar kullanmaktır. Birçok çevrimiçi araç, web sitenizin URL’lerini tarayarak otomatik olarak site haritası oluşturmanıza yardımcı olabilmektedir. Bu araçlar genellikle oluşturdukları dosyayı size sunmakta ve bu dosyayı sitenizin ana dizinine eklemenizi istemektedir. Birçok site haritası oluşturan araç mevcuttur. Bu araçlar, sitenizi tarayarak ve sayfalarınızı dizinleyerek otomatik olarak bir site haritası oluşturmaktadır. Google’ın sunduğu Google Search Console gibi araçları kullanabilir veya üçüncü taraf araçları tercih edebilirsiniz.

Oluşturduğunuz site haritasını Google Search Console gibi araçlar aracılığıyla Google’a bildirmek önemlidir. Bu, sitenizin daha hızlı indekslenmesine yardımcı olabilmektedir.

Robots.txt Nedir?

Robot.txt, ona verdiğimiz komutlar ile taranmasını istediğimiz ve istemediğimiz alanları belirlememizi sağlayan bir metin dosyasıdır. Bu dosya, web sitelerinin arama motorlarına ve diğer benzer hizmetlere, sitenin yapısını ve içeriğini anlatan talimatlar sağlamaktadır. Robot.txt dosyası web sitesinin kök dizininde bulunmaktadır.

Robot.txt Oluşturma: Robot.txt Nasıl Oluşturulmaktadır?

Bir robot.txt dosyası oluşturmak gayet basittir. İlk olarak bilgisayarınızda bir metin düzenleyici uygulaması açmalısınız. Dosyanın içine

User-agent: *

Disallow: /gizli/

Allow: /acik/

Formatında yazmalısınız. Bu örnekte, tüm arama motorlarına (*) /gizli/ dizinine erişimi yasaklanmış, /acik/ dizinine ise izin verilmiştir. Daha sonra dosyanızı kaydedebilirsiniz. Kaydederken dosya adını “robot.txt” olarak kaydetmelisiniz. Oluşturduğunuz robots.txt dosyasını web sitenizin kök dizinine yüklemelisiniz. Bu, dosyanın web tarayıcılardan erişilebilecek bir konumda olması demektir. Oluşturduğunuz robots.txt dosyasını Google Search Console veya benzeri bir araçla test edebilirsiniz. Bu, dosyanın doğru şekilde çalıştığını ve arama motorlarına doğru direktifleri ilettiğini doğrulamanıza yardımcı olacaktır.

Canonical Ne Demek? Canonical URL Nedir?

Web sitelerinde, aynı olan ya da çok benzer içeriğe sahip olan URL’ler bulunabilmektedir. Bu durum ise özellikle büyük web sitelerinde, dinamik içerik oluşturan sistemlerde ya da çeşitli kategorilere ayrılmış içeriğe sahip sitelerde sıklıkla görülmektedir. Canonical URL, aynı veya benzer içeriklere sahip farklı URL’leri birleştirmek ve arama motorlarına hangi versiyonun asıl veya öncelikli olduğunu belirtmek için kullanılmaktadır.

<link rel=”canonical” href=”https://www.example.com/urunler/bilgisayarlar/laptop” />

Şeklinde belirlenmektedir. Canonical URL, SEO (Arama Motoru Optimizasyonu) stratejilerinde önemli bir rol oynar ve sitenin performansını artırmaya yardımcı olabilmektedir.

Geçersiz URL Kaldırma

Web sitemizde istemediğimiz sayfaları kaldırmak için çeşitli yollar vardır. Bunlardan biri Google Search Console aracından yardım almaktır. İlk olarak Google Search Console adresine gidin ve Google hesabınızla giriş yapın. Eğer sahip olduğunuz Google hesabı üzerinden bağlı olduğunuz birden fazla web sitesi varsa, ilgili web sitesini seçin. Sol menüden “Kapsam” bölümüne gidin ve altında bulunan “Kaldırma” seçeneğini seçin. Kaldırma” sayfasında, “Kaldırma Talebi Ekle” düğmesine tıklayın. Kaldırmak istediğiniz URL’yi ekleyin. Bu, geçersiz veya kaldırılması istenen URL olabilmektedir. Ardından, bu URL’nin geçici mi yoksa kalıcı mı kaldırılacağını seçin. İsteği Kaldır” düğmesine tıklayarak kaldırma talebini Google’a gönderin.

Bu işlem, Google’a belirli bir URL’nin kaldırılma talebini iletmek içindir. Ancak, bu işlem geçici bir kaldırma talebini içermektedir ve Google, bu talebi onayladığında URL’nin geçici olarak kaldırılmasını sağlamaktadır. Kalıcı bir kaldırma istiyorsanız, web sitenizin içerik yapısını güncellemeniz ve gerekli düzenlemeleri yapmanız gerekebilmektedir.

Bu adımlar, genel olarak geçersiz bir URL’yi kaldırmak için izlenebilecek yolları temsil etmektedir. Ancak, her web sitesi ve platform farklı olabilir, bu nedenle kullanılan sistem ve hizmete özgü belirli adımları kontrol etmek önemlidir Unutmayın ki bu işlem sadece Google’ı etkilemektedir. Diğer arama motorlarına ve kullanıcılara etkisi olmayabilmektedir. Ayrıca, kaldırma talebinin onaylanması bir süre alabilmektedir.

Bu yazımızda Robots.txt ve Sitemap, Cannonical URL ve ayrıca Hatalı Linkler konularına değindik. Eğer yazımızı beğendiyseniz diğer blog yazılarımızı okumak için buraya tıklayabilirsiniz.