Co logi mówią o botach AI i Google

Logi serwera to jedyne miejsce, w którym widać każde zapytanie robota: Google Analytics go nie zapisze, bo boty nie uruchamiają skryptów, a Search Console pokazuje tylko Googlebota. Z logów odczytasz, czy GPTBot, ClaudeBot i PerplexityBot w ogóle odwiedzają stronę, które adresy pobierają i jakie kody odpowiedzi dostają.

Robot, który pobiera stronę, nie gwarantuje cytowania, ale bez pobrania cytowania nie będzie. Jeśli bot wyszukiwarki AI nie odwiedził strony od tygodni albo dostaje kod 403, przyczyny szukaj w zaporze serwera, a nie w treści.

Jak sprawdzam, czy bot jest prawdziwy

User-agent łatwo podrobić: wiele scraperów przedstawia się jako Googlebot. Dlatego dla robotów, których firmy publikują listy adresów IP, analizator sprawdza, czy zapytanie przyszło z oficjalnego zakresu. Listy publikują Google, Microsoft (Bingbot), Apple, OpenAI, Anthropic i Perplexity. Serwer bajsarowicz.pl pobiera je raz na dobę. Pozostałe roboty, np. CCBot, Bytespider albo AhrefsBot, rozpoznaję tylko po user-agencie.

Skąd wziąć plik logów

  • Hosting współdzielony: panel hostingu ma zwykle sekcję z logami albo statystykami, a pliki leżą w katalogu w rodzaju logs albo wwwlogs. Starsze dni są często spakowane do .gz; wczytasz je bez rozpakowywania.
  • Serwer VPS: Nginx zapisuje logi domyślnie w /var/log/nginx/access.log, a Apache w /var/log/apache2/access.log albo /var/log/httpd/access_log.
  • Format: analizator czyta format combined, domyślny w Apache i Nginx, także z nazwą domeny na początku wiersza. Format common nie zapisuje user-agenta, więc z takiego logu analizator pokaże tylko kody odpowiedzi i błędy.

Uwaga: przy stronie za CDN, np. Cloudflare, w logach serwera część zapytań może mieć adres IP serwerów CDN zamiast adresu robota. Weryfikacja pokaże wtedy fałszywe alarmy. Włącz w serwerze zapisywanie prawdziwego adresu klienta albo pobierz logi z panelu CDN.