Jak czytać wynik

Tabela pokazuje dla każdego robota trzy rzeczy. Kolumna „robots.txt” mówi, czy plik pozwala pobrać sprawdzany adres, i podaje regułę, która o tym zdecydowała. Kolumna „Serwer” pokazuje, co serwer odpowiada na zapytanie z user-agentem bota. Kolumna „Wynik” łączy obie informacje: robot ma dostęp tylko wtedy, gdy przepuszcza go plik i serwer.

Reguły sprawdzam tak jak parser Google i standard RFC 9309. Robot wybiera grupę ze swoją nazwą, a gdy jej nie ma, grupę User-agent: *. Wewnątrz grupy wygrywa najdłuższa pasująca reguła, a przy remisie Allow. Gwiazdka zastępuje dowolny ciąg znaków, a $ oznacza koniec adresu.

Uwaga: treść pliku w polu pod tabelą możesz zmienić. Tabela przeliczy się od razu, więc nową wersję robots.txt sprawdzisz, zanim trafi na serwer.

Trzy rodzaje botów AI

Firmy AI rozdzieliły swoje roboty według celu i każdy z nich ma osobny wpis w robots.txt. Blokada jednego nie działa na pozostałe.

  • Trenowanie modeli: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider oraz tokeny Google-Extended i Applebot-Extended. Pobierają treści, z których powstają kolejne wersje modeli.
  • Wyszukiwarki AI: OAI-SearchBot, Claude-SearchBot i PerplexityBot budują indeks, z którego ChatGPT, Claude i Perplexity wybierają strony do odpowiedzi z linkami.
  • Na prośbę użytkownika: ChatGPT-User, Claude-User i Perplexity-User otwierają stronę wtedy, gdy ktoś w rozmowie wklei adres albo poprosi o sprawdzenie strony.

Jeśli zależy Ci na cytowaniach w odpowiedziach AI, nie blokuj botów wyszukiwarek AI ani botów działających na prośbę użytkownika. Blokada robotów trenujących to osobna decyzja: chroni treści przed użyciem w trenowaniu, ale nie usuwa strony z wyszukiwarek AI.

Jak utworzyć robots.txt

W zakładce „Utwórz robots.txt” wybierz, czego roboty nie mają pobierać i które boty AI zablokować. Plik powstaje od razu, a pod nim widać, które grupy robotów mają dostęp do strony głównej. Gotowy plik wgraj do katalogu głównego domeny, tak żeby był dostępny pod adresem /robots.txt, i sprawdź go w zakładce „Sprawdź robots.txt”.

Blokuj w robots.txt tylko to, czego roboty nie powinny pobierać: panel administracyjny, wyniki wyszukiwania wewnętrznego, koszyk. Robots.txt nie usuwa strony z indeksu. Zablokowany adres może trafić do wyników na podstawie samych linków, bez opisu. Żeby strona zniknęła z Google, użyj noindex i nie blokuj jej w robots.txt, bo robot musi pobrać stronę, żeby zobaczyć noindex.

Czego tester nie sprawdzi

Zapytanie z user-agentem bota wychodzi z serwera bajsarowicz.pl, a nie z adresów IP OpenAI czy Google. Zapora, która weryfikuje boty po adresie IP, może więc wpuścić prawdziwego Googlebota i odrzucić test albo odwrotnie. Pewną odpowiedź dają logi serwera: sprawdź w nich, jakie kody dostaje GPTBot czy ClaudeBot.

Część zapór, np. Akamai Bot Manager, odrzuca każde zautomatyzowane zapytanie, także takie z user-agentem przeglądarki. Tester rozpoznaje tę sytuację: gdy zwykła przeglądarka wysłana z naszego serwera dostaje kod 403, oznacza wyniki jako niemiarodajne zamiast pokazywać brak dostępu.

Tester nie wykonuje też JavaScriptu. Większość botów AI również go nie wykonuje, więc jeśli treść strony pojawia się dopiero po uruchomieniu skryptów, te roboty mogą zobaczyć pustą stronę mimo pełnego dostępu.