Googlebot Nedir? Nasıl Çalışır?
Google’ın ünlü botlarını duymuş olmanız muhtemeldir. Googlebot, Google’ın ihtiyaç duyduğu bilgileri toplamak ve aranabilir bir web dizini oluşturmak için kullandığı bir web tarayıcısıdır. Googlebot’un haberler, resimler ve videolar için mobil, masaüstü ve özel tarayıcıları vardır. Google’ın belirli görevler için kullandığı başka tarayıcılar da vardır. Her tarayıcı kendisini ‘user-agent’ adı verilen farklı bir metin dizesiyle tanımlar. Googlebot her zaman web sitelerini kullanıcıların en son Chrome tarayıcısında gördüğü gibi görür. Bu botlar, binlerce makinede çalışır ve web sitelerinde neyin taranacağını belirlerler. Googlebot optimizasyonu web siteniz için oldukça önemli olduğundan dolayı Googlebot’un ne olduğunu ve nasıl çalıştığını anlamak önemlidir. Özellikle bu süreçte Dijital Pazarlama Danışmanlığı hizmetinden yararlanmak optimizasyon konusunda size yardımcı olacaktır.
Googlebot, Google arama motoru sonuç sayfalarını (SERP) sağlamak için kullanılan web sayfası bilgilerini toplayan bir web tarama yazılımı arama botudur. Googlebot, Google’ın arama dizinini oluşturmak için web’den belgeler toplar. Yazılım, sürekli olarak belge toplayarak yeni sayfalar ve mevcut sayfalardaki güncellemeleri keşfeder. Googlebot, internetin yaptığı gibi büyüyebilmesi için birçok bilgisayarı kapsayan dağıtılmış bir tasarım kullanır.
Web tarayıcısı, hangi sitelere göz atılacağını, hangi oranlarda göz atılacağını ve kaç sayfanın getirileceğini belirlemek için algoritmalar kullanır. Googlebot, önceki oturumlardan oluşturulan bir listeyle başlar. Bu liste daha sonra web yöneticileri tarafından sağlanan site haritaları ile genişletilir. Yazılım, taradığı web sayfalarındaki tüm bağlantılı öğeleri tarar, yeni siteleri, sitelerdeki güncellemeleri ve ölü bağlantıları not eder. Toplanan bilgiler, Google’ın web dizinini güncellemek için kullanılır.
Googlebot, web yöneticileri tarafından robots.txt dosyalarında belirtilen sınırlamalar dahilinde bir dizin oluşturur. Örneğin; bir web yöneticisi sayfaları Google aramasından gizli tutmak isterse sitenin en üst düzey klasöründeki bir robots.txt dosyasında Googlebot’u engelleyebilir. Googlebot’un bir sitenin belirli bir sayfasındaki herhangi bir bağlantıyı takip etmesini önlemek için nofollow meta etiketini ekleyebilir; botun tek tek bağlantıları takip etmesini önlemek için web yöneticisi bağlantılara rel=”nofollow” ekleyebilir.
Bir sitenin web yöneticisi, kullanıcı aracısı Googlebot’u göstererek Google’daki bilgisayarlardan birkaç saniyede bir ziyaretleri algılayabilir. Genel olarak Google, sitenin bant genişliğini zorlamadan bir siteyi mümkün olduğunca dizine eklemeye çalışır. Bir web yöneticisi, Googlebot’un çok fazla bant genişliği kullandığını tespit ederse Google’ın arama konsolu ana sayfasında 90 gün boyunca geçerli kalacak bir oran belirleyebilir.
Googlebot, hangi web sayfalarının taranacağını söyleyen bir algoritma aracılığıyla çalışır ve bu sayfaları daha sonra arama motoru tarafından yorumlanabilmeleri için bir veritabanına indirir. İzlenmesinde ilerledikçe bağlantılarla işaretlenmiş rotaları takip ederek gitgide daha fazla derinliğe ulaşır. Tüm bunlar, Google’ın tüm gezegene yayılmış güçlü sunucularından yapılır.
Google’ın internet ağını oluşturan farklı sayfaları ziyaret etme sıklığı, Google’ın bu sayfalara verdiği öneme bağlıdır. Sayfa ne kadar fazla yetkiye sahipse Googlebot’tan o kadar fazla tarama sıklığı ve derinliği elde eder.
Googlebot, görevleri otonom olarak gerçekleştirebilen ve WWW konsepti üzerine inşa edilmiş, oldukça gelişmiş bir algoritmaya dayanmaktadır. World Wide Web’i geniş bir web sayfaları ve bağlantılar ağı olarak düşünebilirsiniz. Her sayfa bir URL ile benzersiz bir şekilde tanımlanır ve bu web adresi aracılığıyla erişilebilir. Bir sayfadaki köprüler, başka alt sayfalara veya diğer etki alanlarındaki kaynaklara yol açar. Google’ın botu, bağlantıları (HREF bağlantıları) ve kaynakları (SRC bağlantıları) tanımlayabilir ve analiz edebilir. Algoritmalar, Googlebot’un tüm ağı araması için en etkili ve en hızlı yolu belirleyebilir.
Googlebot, farklı tarama tekniklerinden yararlanır. Örneğin; çoklu iş parçacığı yöntemi, birkaç tarama işlemini aynı anda yürütmek için kullanılır. Bunun yanı sıra Google, belirli köprü türlerini izleyerek dünya çapında interneti taramak gibi belirli alanları aramaya odaklanan web tarayıcıları da kullanır.
Google, her biri web sitenizi taramanın ve oluşturmanın farklı yolları için tasarlanmış farklı türlerde Google tarayıcılarına sahiptir. Site sahiplerinin sitelerini farklı tarayıcı türleri için farklı politikalarla yapılandırması nadiren gerekir. Web siteniz tarafından belirli botlar için belirli yönergeler veya meta komutlar oluşturulmadıkça SEO dünyasında hepsine aynı şekilde davranılır. Toplam 17 tür Googlebot vardır:
Googlebot’un web sitenizi ne sıklıkla ziyaret ettiğini ve orada ne yaptığınızı görmek için günlük dosyalarında arama yapabilir veya Google Arama Konsolunun tarama bölmesini açabilirsiniz. Sitenizin tarama performansını optimize etmek için gerçekten gelişmiş şeyler yapmak istiyorsanız Kibana veya Screaming Frog tarafından SEO Log File Analyzer gibi araçları kullanabilirsiniz. Google, çeşitli Googlebot’ların kullandığı IP adreslerinin listelerini, bu adresler sık sık değiştiği için paylaşmaz. Sitenizi gerçek bir Googlebot’un ziyaret edip etmediğini öğrenmek için ters IP araması yapabilirsiniz.
Googlebot’un sitenizin bölümlerini nasıl ziyaret ettiğini belirlemek için robots.txt dosyasını kullanabilirsiniz. Ancak dikkatli olmalısınız. Çünkü bunu yanlış şekilde yaparsanız Googlebot’un gelmesini tamamen durdurabilirsiniz. Bu durum ise sitenizi dizinden çıkarır.
Googlebot, genellikle HTTP / 1.1 üzerinden tarama yapar. Ancak Kasım 2020’den itibaren Googlebot, web sitesi desteklediği sürece HTTP/2 üzerinden kullanılabilecek web sitelerini tarayabilecektir. Bu, web sitesi ve Googlebot bilgi işlem kaynaklarından (CPU, RAM, vb.) tasarruf sağlar ancak web sitesinin indekslenmesini veya sıralamasını etkilemez.
SEO yapmadan önce SERP’de en iyi sıralamayı sağlamak amacıyla web sitenizi Googlebot için optimize etmeniz gerekir. Web sitenizin Google tarafından doğru ve kolay bir şekilde dizine eklenmesini sağlamak için ise aşağıdaki ipuçlarını takip edebilirsiniz:
