SEO - Neue Googlebot Crawlers

Google hat zwei neue Crawler zur Googlebot-Familie hinzugefügt:

GoogleOther-Image und GoogleOther-Video.

Diese neuen Crawler sind Versionen von GoogleOther, die speziell für das Abrufen von Bild- und Videodaten optimiert wurden. GoogleOther wurde im April 2023 eingeführt und wird intern von Google-Teams genutzt, um das öffentliche Web zu durchsuchen und die Haupt-Googlebot-Crawler zu entlasten.

GoogleOther-Image

Laut Dokumentation ist GoogleOther-Image die Version von GoogleOther, die für das Abrufen öffentlich zugänglicher Bild-URLs optimiert ist. Es wird unter den User-Agent-Tokens von GoogleOther-Image und GoogleOther laufen, und der vollständige User-Agent-String wird GoogleOther-Image/1.0 sein.

GoogleOther-Video

GoogleOther-Video ist laut Dokumentation die Version von GoogleOther, die für das Abrufen öffentlich zugänglicher Video-URLs optimiert ist. Es wird unter den User-Agent-Tokens von GoogleOther-Video und GoogleOther laufen, und der vollständige User-Agent-String wird GoogleOther-Video/1.0 sein.

Warum diese neuen Crawler?

Google erklärte, dass die neuen Crawler eingeführt wurden, um das Crawlen von Binärdaten besser zu unterstützen, die für Forschung und Entwicklung genutzt werden könnten.

Mehr über Google-Crawler

Die Googlebot-Familie umfasst verschiedene Arten von Crawlern:

• Googlebot: Der Haupt-Crawler für Googles Suchprodukte. Dieser Crawler beachtet immer die robots.txt-Regeln.
• Spezial-Crawler: Crawler, die spezifische Funktionen ausführen (wie AdsBot), die möglicherweise robots.txt-Regeln beachten oder auch nicht.
• Benutzerinitiierte Abrufprogramme: Tools und Funktionen, bei denen der Endbenutzer einen Abruf auslöst, wie zum Beispiel der Google Site Verifier oder einige Tools der Google Search Console.

IP-Adressbereiche und Reverse-DNS-Masken

Google hat für jede Art von Crawler spezifische IP-Adressbereiche und Reverse-DNS-Masken aufgelistet:

• Googlebot: googlebot.json (crawl-–––.googlebot.com oder geo-crawl-–––.geo.googlebot.com)
• Spezial-Crawler: special-crawlers.json (rate-limited-proxy-–––.google.com)
• Benutzerinitiierte Abrufprogramme: user-triggered-fetchers.json (–––.gae.googleusercontent.com)

Warum das wichtig ist

Viele von euch überprüfen die Crawling-Aktivitäten und Bot-Aktivitäten auf euren Websites und in euren Logdateien. Wenn du die neuen GoogleOther-Crawler siehst, sei nicht beunruhigt. Es handelt sich um echte Googlebot-Crawler.

Quelle: Searchengineland.com