Google zeigt Shops, wie sie seinen Agenten am CAPTCHA vorbeilassen. Wer ihn abweisen will, braucht eine Firewall-Regel
Googles neuer Leitfaden zeigt Websites, die Google-Agent zulassen wollen, wie sie ihn verifizieren und ihm Bot-Abfragen bis zum Warenkorb ersparen. Der Agent ignoriert robots.txt in aller Regel, ein Shop, der ihn draußen halten will, muss ihn also in der Firewall abweisen. Ob er hineindarf, entscheidet jeder Shop selbst.

Sir John Crabstone
Google-Agent ignoriert robots.txt in aller Regel, ein Shop, der ihn draußen halten will, muss ihn deshalb in der Firewall abweisen. So liest es Hello Partner in seinem Bericht über den Leitfaden, den Googles Changelog auf den 17. November datiert. Der Leitfaden beschreibt genau, wie sich der Agent verifizieren lässt; ob man ihn hereinlässt, entscheidet jeder Shop selbst.
Google führt Google-Agent unter seinen nutzerausgelösten Fetchern. Der Name steht für Agenten, die auf Googles Servern laufen, „um im Web zu navigieren und auf Wunsch von Nutzern Aktionen auszuführen“. Solche Fetcher „ignorieren robots.txt-Regeln in der Regel“, so Google, weil eine Person den Abruf angefordert hat. Nach dieser Logik wiegt die Anfrage einer Person meist schwerer als der Hinweis des Shops.
Der Leitfaden nennt drei Prüfungen für die Identität des Agenten: einen User-Agent-Header mit „Google-Agent“, eine Adresse aus Googles veröffentlichter Liste und, sofern vorhanden, eine Signatur der Anfrage. Google experimentiere mit Signaturen, heißt es. Dann folgt die entscheidende Anweisung: „Bei verifizierten Anfragen Bot-Abfragen überspringen.“
Wird der Agent trotzdem blockiert, sollte seine Freigaberegel laut Fehlerbehebungsliste über Rechenzentrums-Sperren, verwalteten Bot-Regeln und „kategoriebasierten Blockrichtlinien für KI-Agenten“ stehen. Der Agent sollte außerdem keine CAPTCHAs auf der Seite lösen müssen und bei Suche, Filtern, Warenkorb und den darunterliegenden APIs durchgelassen werden. Weil „gleichzeitige Anfragen mehrerer Nutzer denselben Egress-Pool teilen“, sollten Ratenlimits pro IP Googles Adressen Spielraum lassen.
Einige der größten Websites weisen den Agenten in einer Datei ab, die er in der Regel ignoriert. Stand 20. November stellt Known Agents, ein Bot-Verzeichnis, das auch Bot-Blocking verkauft, fest: 7 % der 1.000 größten Websites, die es täglich scannt, sperren Google-Agent in der robots.txt; die Stichprobe beschränkt sich nicht auf Shops. Known Agents rät den meisten Websites davon ab, den Agenten zu blockieren, und merkt an, dass „eine Disallow-Regel lediglich Ihre Präferenz mitteilt“.
Hello Partner beschreibt die Mechanik richtig. „Der Kontrollpunkt ist die Firewall, nicht robots.txt“, schrieb das Portal. Bei einem Agenten, der seinen Namen nennt, trifft ein Shop seine Entscheidung an der Firewall.
Ein anderer Test arbeitete mit einem anderen Agenten. In i22s Test von 50 der größten deutschen Online-Shops, über den wir am 20. November berichtet haben, war der Agent Claude in Chrome in einem normalen Browserprofil, nicht Google-Agent. i22, eine Beratung, die Leistungen zur Agent-Readiness verkauft, stellte fest, dass er nur selten als Bot gestoppt wurde.
Der Bot-Schutz griff in 5 von 147 Durchläufen ein, heißt es in i22s Studie. Die Studie fügt hinzu, dass von außen niemand erkennen kann, ob Shops solche Agenten absichtlich zulassen oder ob ihr Bot-Schutz sie übersieht. Die beiden Zahlen messen Unterschiedliches: robots.txt-Regeln bei den 1.000 größten Websites und Bot-Schutz-Stopps in 50 deutschen Shops.
Google-Agent nennt in jeder Anfrage seinen Namen und kommt von Adressen, die Google veröffentlicht. Der Name allein beweist wenig, denn laut Known Agents kann jeder Bot ihn für sich beanspruchen; die Prüfung übernimmt also die Adressliste. Dieselben zwei Signale dienen einem Shop, der den Agenten abweisen will.
Googles Fetcher-Liste nennt kein Produkt mehr, das den Agenten losschickt. Eine archivierte Kopie vom 9. Juli des Eintrags nannte noch ein Beispiel, Project Mariner; die aktuelle Seite nennt keines. Ein Shop, der den Agenten zulässt, erfährt nicht, mit welchem Google-Dienst er es zu tun hat.
Googles Changelog sagt, der Leitfaden solle „Publishern helfen, die Google-Agent zulassen möchten“. Wie man den Agenten abweist, dazu sagt der Leitfaden nichts.
Die Fehlerbehebungsliste des Leitfadens umfasst sechs Prüfpunkte; den siebten, nämlich ob man den Agenten überhaupt will, überlässt Google dem Shop.