Googlebot Nedir? Nasıl Çalışır?

Google’ın ünlü botlarını duymuş olmanız muhtemeldir. Googlebot, Google’ın ihtiyaç duyduğu bilgileri toplamak ve aranabilir bir web dizini oluşturmak için kullandığı bir web tarayıcısıdır. Googlebot’un haberler, resimler ve videolar için mobil, masaüstü ve özel tarayıcıları vardır. Google’ın belirli görevler için kullandığı başka tarayıcılar da vardır. Her tarayıcı kendisini ‘user-agent’ adı verilen farklı bir metin dizesiyle tanımlar. Googlebot her zaman web sitelerini kullanıcıların en son Chrome tarayıcısında gördüğü gibi görür. Bu botlar, binlerce makinede çalışır ve web sitelerinde neyin taranacağını belirlerler. Googlebot optimizasyonu web siteniz için oldukça önemli olduğundan dolayı Googlebot’un ne olduğunu ve nasıl çalıştığını anlamak önemlidir. Özellikle bu süreçte Dijital Pazarlama Danışmanlığı hizmetinden yararlanmak optimizasyon konusunda size yardımcı olacaktır.

Googlebot Nedir?

Googlebot, Google arama motoru sonuç sayfalarını (SERP) sağlamak için kullanılan web sayfası bilgilerini toplayan bir web tarama yazılımı arama botudur. Googlebot, Google’ın arama dizinini oluşturmak için web’den belgeler toplar. Yazılım, sürekli olarak belge toplayarak yeni sayfalar ve mevcut sayfalardaki güncellemeleri keşfeder. Googlebot, internetin yaptığı gibi büyüyebilmesi için birçok bilgisayarı kapsayan dağıtılmış bir tasarım kullanır.

Web tarayıcısı, hangi sitelere göz atılacağını, hangi oranlarda göz atılacağını ve kaç sayfanın getirileceğini belirlemek için algoritmalar kullanır. Googlebot, önceki oturumlardan oluşturulan bir listeyle başlar. Bu liste daha sonra web yöneticileri tarafından sağlanan site haritaları ile genişletilir. Yazılım, taradığı web sayfalarındaki tüm bağlantılı öğeleri tarar, yeni siteleri, sitelerdeki güncellemeleri ve ölü bağlantıları not eder. Toplanan bilgiler, Google’ın web dizinini güncellemek için kullanılır.

Googlebot, web yöneticileri tarafından robots.txt dosyalarında belirtilen sınırlamalar dahilinde bir dizin oluşturur. Örneğin; bir web yöneticisi sayfaları Google aramasından gizli tutmak isterse sitenin en üst düzey klasöründeki bir robots.txt dosyasında Googlebot’u engelleyebilir. Googlebot’un bir sitenin belirli bir sayfasındaki herhangi bir bağlantıyı takip etmesini önlemek için nofollow meta etiketini ekleyebilir; botun tek tek bağlantıları takip etmesini önlemek için web yöneticisi bağlantılara rel=”nofollow” ekleyebilir.

Bir sitenin web yöneticisi, kullanıcı aracısı Googlebot’u göstererek Google’daki bilgisayarlardan birkaç saniyede bir ziyaretleri algılayabilir. Genel olarak Google, sitenin bant genişliğini zorlamadan bir siteyi mümkün olduğunca dizine eklemeye çalışır. Bir web yöneticisi, Googlebot’un çok fazla bant genişliği kullandığını tespit ederse Google’ın arama konsolu ana sayfasında 90 gün boyunca geçerli kalacak bir oran belirleyebilir.

Googlebotları Nasıl Çalışır?

Googlebot, hangi web sayfalarının taranacağını söyleyen bir algoritma aracılığıyla çalışır ve bu sayfaları daha sonra arama motoru tarafından yorumlanabilmeleri için bir veritabanına indirir. İzlenmesinde ilerledikçe bağlantılarla işaretlenmiş rotaları takip ederek gitgide daha fazla derinliğe ulaşır. Tüm bunlar, Google’ın tüm gezegene yayılmış güçlü sunucularından yapılır.

Google’ın internet ağını oluşturan farklı sayfaları ziyaret etme sıklığı, Google’ın bu sayfalara verdiği öneme bağlıdır. Sayfa ne kadar fazla yetkiye sahipse Googlebot’tan o kadar fazla tarama sıklığı ve derinliği elde eder.

Googlebot, görevleri otonom olarak gerçekleştirebilen ve WWW konsepti üzerine inşa edilmiş, oldukça gelişmiş bir algoritmaya dayanmaktadır. World Wide Web’i geniş bir web sayfaları ve bağlantılar ağı olarak düşünebilirsiniz. Her sayfa bir URL ile benzersiz bir şekilde tanımlanır ve bu web adresi aracılığıyla erişilebilir. Bir sayfadaki köprüler, başka alt sayfalara veya diğer etki alanlarındaki kaynaklara yol açar. Google’ın botu, bağlantıları (HREF bağlantıları) ve kaynakları (SRC bağlantıları) tanımlayabilir ve analiz edebilir. Algoritmalar, Googlebot’un tüm ağı araması için en etkili ve en hızlı yolu belirleyebilir.

Googlebot, farklı tarama tekniklerinden yararlanır. Örneğin; çoklu iş parçacığı yöntemi, birkaç tarama işlemini aynı anda yürütmek için kullanılır. Bunun yanı sıra Google, belirli köprü türlerini izleyerek dünya çapında interneti taramak gibi belirli alanları aramaya odaklanan web tarayıcıları da kullanır.

Googlebotlar Nelerdir?

Google, her biri web sitenizi taramanın ve oluşturmanın farklı yolları için tasarlanmış farklı türlerde Google tarayıcılarına sahiptir. Site sahiplerinin sitelerini farklı tarayıcı türleri için farklı politikalarla yapılandırması nadiren gerekir. Web siteniz tarafından belirli botlar için belirli yönergeler veya meta komutlar oluşturulmadıkça SEO dünyasında hepsine aynı şekilde davranılır. Toplam 17 tür Googlebot vardır:

• APIs-Google
• AdSense
• AdsBot Mobile Web Android
• AdsBot Mobile Web
• Googlebot Image
• Googlebot News
• Googlebot Video
• Googlebot Desktop
• Googlebot Smartphone
• Mobile Apps Android
• Mobile AdSense
• Feedfetcher
• Google Read Aloud
• Duplex on the web
• Google Favicon
• Web Light
• Google StoreBot

Googlebot Sitenizi Nasıl Ziyaret Eder?

Googlebot’un web sitenizi ne sıklıkla ziyaret ettiğini ve orada ne yaptığınızı görmek için günlük dosyalarında arama yapabilir veya Google Arama Konsolunun tarama bölmesini açabilirsiniz. Sitenizin tarama performansını optimize etmek için gerçekten gelişmiş şeyler yapmak istiyorsanız Kibana veya Screaming Frog tarafından SEO Log File Analyzer gibi araçları kullanabilirsiniz. Google, çeşitli Googlebot’ların kullandığı IP adreslerinin listelerini, bu adresler sık sık değiştiği için paylaşmaz. Sitenizi gerçek bir Googlebot’un ziyaret edip etmediğini öğrenmek için ters IP araması yapabilirsiniz.

Googlebot’un sitenizin bölümlerini nasıl ziyaret ettiğini belirlemek için robots.txt dosyasını kullanabilirsiniz. Ancak dikkatli olmalısınız. Çünkü bunu yanlış şekilde yaparsanız Googlebot’un gelmesini tamamen durdurabilirsiniz. Bu durum ise sitenizi dizinden çıkarır.

Googlebot, genellikle HTTP / 1.1 üzerinden tarama yapar. Ancak Kasım 2020’den itibaren Googlebot, web sitesi desteklediği sürece HTTP/2 üzerinden kullanılabilecek web sitelerini tarayabilecektir. Bu, web sitesi ve Googlebot bilgi işlem kaynaklarından (CPU, RAM, vb.) tasarruf sağlar ancak web sitesinin indekslenmesini veya sıralamasını etkilemez.

Googlebot Optimizasyonu için İpuçları

SEO yapmadan önce SERP’de en iyi sıralamayı sağlamak amacıyla web sitenizi Googlebot için optimize etmeniz gerekir. Web sitenizin Google tarafından doğru ve kolay bir şekilde dizine eklenmesini sağlamak için ise aşağıdaki ipuçlarını takip edebilirsiniz:

• Doğru Robots.txt: Robots.txt, Googlebot’lar için bir yönerge olma amacına hizmet eder. Bu, Googlebot’un tarama bütçeniz için ne kadar harcadığını anlamanıza yardımcı olur. Ayrıca Googlebot’ların web sitenizdeki hangi sayfaları tarayıp hangilerini tarayamayacağına karar verebileceğiniz anlamına gelir. Googlebot’lar, karşılaştığı her şeyi tarar ve dizine ekler. Bu nedenle web sitenizin hangi sayfalarını veya bölümlerini engellediğiniz konusunda dikkat etmelisiniz. Robots.txt, Googlebot’lara nereye gitmemesi gerektiğini söyler. Bu nedenle Google tarayıcısının web sitenizin ilgili bölümlerini dizine eklemesine izin vermek için web sitenizde düzeltmeniz gerekir.
• Dahili bağlantıları kullanın: Botlar web sitenizi tararken dahili bağlantılar çeşitli sayfalarda gezinmelerine yardımcı olur. Web sitenizin dahili bağlantısı ne kadar entegre olursa Googlebot’lar web sitenizi o kadar iyi tarar. Web sitenizin dahili bağlantı yapısının ne kadar iyi entegre olduğunu analiz etmek için Google Arama Konsolu gibi araçları kullanabilirsiniz.
• xml kullanın: Bir web sitesinin site haritası, web sitenize nasıl erişileceği konusunda Googlebotlar için çok açık bir kılavuzdur. Sitemap.xml, Googlebot tarayıcılarını takip etmek için web sitenize bir harita görevi görür. Googlebot’ların karmaşık web sitesi mimarisi nedeniyle kafası karışabilir. Bu sebeple web sitenizi tararken izini kaybedebilir. Sitemap.xml, yanlış adımlardan kaçınmalarına yardımcı olur. Ayrıca botların web sitenizin tüm ilgili alanlarında gezinmesini sağlar.
• Canonicalları kontrol edin: Özellikle e-ticaret alanında büyük web siteleri için en yaygın sorunlardan biri, yinelenen sayfaların işlenmesidir. Ancak dikkatli bir şekilde ele alınmazlarsa Googlebot’lar tarafından düzgün şekilde dizine eklenmeleri için sorun yaratabilirler. Web sitenizde herhangi bir nedenle yinelenen sayfalarınız varsa Googlebot’un özelliklerini bilmesini sağlamak için bu sayfaları Googlebot’lar için standart etiketler kullanarak tanımlamanız zorunludur. Bunun için hreflang özelliğini de kullanabilirsiniz.
• Site hızı: Web sitenizin yüklenme hızı, Google tarafından en üst sıralarda yer alan faktörlerden biri olduğu için optimize etmeniz gereken önemli bir unsurdur. Googlebot, web sitenizin yüklenme hızını değerlendirir ve olması gerekenden uzun sürerse sıralamalarınızı düşürme olasılığı yüksektir.
• URL yapısı: Temiz ve kesin bir URL yapısına sahip olmak da bir sıralama faktörüdür ve ayrıca kullanıcı deneyimini iyileştirmeye yardımcı olur. Googlebot’lar, temiz URL yapılarıyla her bir sayfayı daha iyi anlayabilir. Bu, web sitenizi geliştirmenin en başından başlaması gereken bir aktivitedir. Yüksek sıralamaya sahip eski sayfalarınız varsa URL’lerini değiştirmemeniz önerilir. Ancak web sitenize yardımcı olacağına inanıyorsanız bu sayfalar için 301 yönlendirmesini ayarlayabilirsiniz. Ayrıca sitemap.xml dosyanızı da güncelleyerek Googlebot’u bu değişiklikten haberdar edebilirsiniz.
• İçerik: Web sitenizdeki içeriğin kalitesi, Google’daki sıralamanız doğru orantılıdır. Googlebot’un kullandığı algoritmalar, sayfalarınızı tararken içeriğin kalitesini de değerlendirir. Bu nedenle içeriğinizin yüksek kaliteli olduğundan, SEO için optimize edildiğinden ve domain otoritenizi iyileştirebileceğinden emin olmalısınız. Bunun için ise SEO eğitimi hizmeti alarak gerekli tüm detaylara hakim olabilirsiniz.