llms.txt i boty AI – jak sterować tym, co czytają modele

llms.txt to proponowany plik, który ma pomagać systemom AI w korzystaniu ze strony. Żaden duży dostawca AI nie deklaruje jednak, że czyta pliki llms.txt publikowane przez witryny. Realną kontrolę nad tym, które boty AI pobierają treść, dają dziś reguły w robots.txt oraz ustawienia CDN, hostingu i firewalla.

Czym jest plik llms.txt?

llms.txt to plik w formacie Markdown, który w uporządkowany sposób przedstawia najważniejsze informacje o stronie i linki do wybranych zasobów. Specyfikację zaproponował Jeremy Howard 3 września 2024 roku jako propozycję standardu ułatwiającego agentom AI korzystanie ze stron. Specyfikacja jest otwarta na uwagi społeczności, a jej strona była ostatnio aktualizowana w sierpniu 2026 roku.

Strony internetowe zawierają wiele elementów potrzebnych ludziom, ale zbędnych dla agenta szukającego konkretnej informacji: menu, formularze, skrypty. llms.txt ma być skrótem do najważniejszych treści. Według specyfikacji może uzupełniać robots.txt, a w odróżnieniu od mapy strony XML nie zawiera wszystkich adresów, tylko wyselekcjonowany przegląd treści.

Jak wygląda plik llms.txt?

Jedynym wymaganym elementem jest nagłówek H1 z nazwą projektu lub strony. Opcjonalnie dalej mogą się znaleźć: blok cytatu z krótkim podsumowaniem, sekcje z listami linków i sekcja Optional na materiały, które agent może pominąć, gdy potrzebuje krótszego kontekstu.

Przykład dla fikcyjnej firmy:

„`markdown

# Firma Przykładowa

> Firma projektuje i wdraża systemy informatyczne dla przedsiębiorstw.

## Usługi

– [Wdrożenia systemów](https://example.com/uslugi/wdrozenia/): projektowanie i wdrażanie oprogramowania

– [Integracje](https://example.com/uslugi/integracje/): łączenie systemów biznesowych

## Dokumentacja

– [Dokumentacja techniczna](https://example.com/dokumentacja/): opis funkcji i integracji

## Optional

– [Blog](https://example.com/blog/): artykuły i poradniki branżowe

„`

Plik można umieścić w katalogu głównym domeny (/llms.txt) albo w dowolnym podkatalogu, np. /docs/llms.txt. Wtedy obejmuje strony pod tą ścieżką. Specyfikacja proponuje też udostępnianie uproszczonych wersji podstron w Markdown. Spotykany czasem plik llms-full.txt z pełną dokumentacją to konwencja niektórych narzędzi, a nie część specyfikacji.

Czy llms.txt działa? Co mówią Google i dostawcy AI?

Nie ma potwierdzenia, że llms.txt poprawia widoczność strony w ChatGPT, AI Overviews, Perplexity czy Claude. W dokumentacji OpenAI, Anthropic, Perplexity i Google nie ma deklaracji, że ich boty lub systemy odpowiedzi czytają pliki llms.txt stron. OpenAI i Perplexity publikują własne llms.txt dla swojej dokumentacji, ale to pokazuje zastosowanie formatu, a nie to, że korzystają z plików innych witryn.

Co mówi Google?

W dokumentacji o funkcjach AI w wyszukiwarce Google pisze, że aby pojawić się w AI Overviews i Trybie AI, nie trzeba tworzyć nowych plików czytelnych dla maszyn ani plików tekstowych dla AI. John Mueller z Google napisał 17 czerwca 2025 roku, że żaden system AI obecnie nie używa llms.txt.

Audyt llms.txt w Lighthouse to nie wyszukiwarka Google

Łatwo o błędny wniosek, bo Lighthouse ma audyt llms.txt. Jest on częścią eksperymentalnej kategorii „Agentic browsing” w narzędziu Chrome, która opiera się na proponowanych standardach i nie ma wyniku w skali 0-100. Audyt zgłasza błąd serwera przy pobieraniu pliku. Jeśli pliku nie ma (kod 404), wynik to „Nie dotyczy”, bo według dokumentacji Lighthouse plik jest obecnie opcjonalny.

Lighthouse to narzędzie do testowania stron, a nie wyszukiwarka. Obecność audytu nie oznacza, że Google Search korzysta z llms.txt przy indeksowaniu czy rankingu. Brak pliku nie jest błędem SEO.

Czy warto wdrożyć llms.txt?

Koszt jest niski, a efekt niepotwierdzony. llms.txt można więc traktować jako eksperyment, najbardziej sensowny tam, gdzie agenci AI faktycznie wykonują zadania na podstawie treści: przy dokumentacji API, bibliotekach programistycznych i rozbudowanych instrukcjach technicznych.

Na niewielkiej stronie firmowej, której treść jest dostępna w poprawnym HTML, korzyść jest niepewna. Jeśli serwis ma problemy z indeksowaniem, renderowaniem czy blokowaniem robotów, ich rozwiązanie da więcej niż nowy plik. Szerzej o tym, co faktycznie wpływa na widoczność w odpowiedziach AI, piszemy w artykule o GEO, czyli optymalizacji pod wyszukiwarki generatywne.

Jak przygotować plik llms.txt krok po kroku?

1. Wybierz najważniejsze zasoby. Dla firmy usługowej to zwykle opisy głównych usług, informacje o firmie, dokumentacja i odpowiedzi na częste pytania. Nie wpisuj wszystkich adresów, to nie jest kolejna mapa witryny.
2. Przygotuj plik w Markdown. Zacznij od nagłówka H1 z nazwą strony, dodaj krótki opis w bloku cytatu (>) i sekcje z linkami. Przy każdym linku dopisz po dwukropku krótką informację, czego dotyczy podstrona.
3. Opublikuj plik na serwerze. Najczęściej w katalogu głównym, pod adresem https://example.com/llms.txt. W WordPressie wystarczy wgrać plik na serwer. Zanim zainstalujesz wtyczkę, sprawdź, czy jest do tego potrzebna.
4. Sprawdź dostępność i aktualizuj. Otwórz adres pliku, upewnij się, że serwer zwraca jego treść, a linki prowadzą do właściwych stron. Aktualizuj plik przy zmianach w strukturze serwisu.

Działający plik nie oznacza, że jakikolwiek model z niego korzysta.

Boty AI – który robot do czego służy?

Boty AI nie są jedną kategorią. Jedne zbierają treści do trenowania modeli, inne pobierają strony do wyszukiwania, jeszcze inne odwiedzają stronę na prośbę konkretnego użytkownika. Od tego zależy skutek blokady.

Bot	Dostawca	Przeznaczenie	Robots.txt i skutek blokady
GPTBot	OpenAI	Treści do trenowania modeli	Respektuje. Blokada wyłącza treść z przyszłego trenowania.
OAI-SearchBot	OpenAI	Wyszukiwanie w ChatGPT	Respektuje. Blokada wyklucza stronę z odpowiedzi wyszukiwania.
ChatGPT-User	OpenAI	Pobieranie na prośbę użytkownika	Reguły robots.txt mogą go nie dotyczyć.
ClaudeBot	Anthropic	Treści mogące służyć do trenowania	Respektuje.
Claude-SearchBot	Anthropic	Wyszukiwanie dla Claude	Respektuje. Blokada może zmniejszyć widoczność w wynikach wyszukiwania Claude.
Claude-User	Anthropic	Pobieranie na prośbę użytkownika	Respektuje.
PerplexityBot	Perplexity	Pokazywanie i linkowanie stron w wynikach, nie trenowanie	Respektuje. Blokada wyklucza stronę z wyników Perplexity.
Perplexity-User	Perplexity	Pobieranie na prośbę użytkownika	„Zazwyczaj ignoruje” robots.txt.
Google-Extended	Google	Użycie treści do trenowania i odpowiedzi Gemini	Token w robots.txt, nie osobny crawler. Nie wpływa na Google Search ani ranking.
Applebot-Extended	Apple	Użycie treści do trenowania modeli Apple	Sam nie crawluje. Strony z blokadą mogą nadal być w wynikach wyszukiwania Apple.

Najważniejsza różnica dotyczy OpenAI. Według dokumentacji OpenAI ustawienia GPTBot i OAI-SearchBot są niezależne, więc zablokowanie GPTBot nie usuwa strony z wyszukiwania ChatGPT. Zmiany zaczynają działać po około 24 godzinach. Anthropic podobnie rozdziela ClaudeBot, Claude-User i Claude-SearchBot. Jego boty respektują też niestandardową dyrektywę Crawl-delay. Perplexity podaje, że PerplexityBot nie służy do trenowania modeli, a zmiany w robots.txt obowiązują w ciągu 24 godzin.

Google-Extended i Applebot-Extended to tokeny sterujące wykorzystaniem treści, a nie roboty pobierające strony.

Zanim cokolwiek zablokujesz, ustal cel: ograniczenie trenowania modeli czy wyłączenie strony z wyszukiwania AI. Ma to bezpośredni wpływ na widoczność w ChatGPT i na to, czy strona może pojawiać się wśród cytowań w odpowiedziach AI.

Jak zablokować lub wpuścić boty AI w robots.txt?

Zasady robots.txt opisuje standard RFC 9309 opublikowany przez IETF we wrześniu 2022 roku. Dyrektywa User-agent wskazuje robota, a Allow i Disallow określają, co może, a czego nie powinien pobierać. Każdy bot AI może mieć własną grupę reguł. Poniższe warianty są alternatywami: wybierz jeden i dopasuj go do istniejącego pliku.

Wariant 1: widoczność w wyszukiwarkach AI bez udziału w trenowaniu

„`txt

User-agent: OAI-SearchBot

Allow: /

User-agent: Claude-SearchBot

Allow: /

User-agent: PerplexityBot

Allow: /

User-agent: GPTBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: Applebot-Extended

Disallow: /

„`

Boty wyszukujące OpenAI, Anthropic i Perplexity mogą pobierać stronę, a boty i tokeny związane z trenowaniem modeli dostają zakaz. Taka konfiguracja nie gwarantuje obecności w odpowiedziach AI i nie obejmuje wszystkich istniejących crawlerów.

Wariant 2: blokada znanych botów AI

„`txt

User-agent: GPTBot

Disallow: /

User-agent: OAI-SearchBot

Disallow: /

User-agent: ChatGPT-User

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: Claude-SearchBot

Disallow: /

User-agent: Claude-User

Disallow: /

User-agent: PerplexityBot

Disallow: /

User-agent: Perplexity-User

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: Applebot-Extended

Disallow: /

„`

To nie jest pełna blokada AI. Boty działające na prośbę użytkownika (ChatGPT-User, Perplexity-User) mogą ignorować robots.txt, a inne narzędzia używają innych identyfikatorów. Nie blokuj Googlebota: wyłączyłoby to stronę z wyników Google, w tym z AI Overviews.

Robots.txt to prośba, a nie zabezpieczenie

Według RFC 9309 reguły robots.txt to zasady, które roboty są proszone respektować. Nie są formą autoryzacji dostępu. Ścieżki wpisane do pliku są publicznie widoczne, więc robots.txt nie nadaje się do ukrywania poufnych zasobów. Treści, które wymagają ochrony, zabezpiecza się uwierzytelnianiem. Więcej o konfiguracji pliku piszemy w artykule o robots.txt.

Blokady poza robots.txt – Cloudflare, hosting i firewall

Poprawny robots.txt nie oznacza, że bot faktycznie dostanie stronę. Dostęp może blokować CDN, firewall aplikacyjny albo panel hostingu, często bez wiedzy właściciela serwisu.

Cloudflare

1 lipca 2025 roku Cloudflare ogłosił, że jako pierwszy dostawca infrastruktury domyślnie blokuje crawlery AI, które nie mają zgody lub nie płacą za dostęp. Nowe domeny dostają pytanie o to ustawienie przy rejestracji. Cloudflare uruchomił też test „Pay per crawl”, w którym dostęp do treści może być płatny (kod HTTP 402). Według danych firmy przez Cloudflare przechodzi około 20% ruchu w internecie. Strona korzystająca z Cloudflare może więc blokować boty AI niezależnie od robots.txt.

Panel hostingu

W czerwcu 2026 roku cyber_Folks dodał w panelu DirectAdmin funkcję „Blokowanie Botów AI” z przełącznikami dla kategorii botów: trenowanie modeli, wyszukiwarki AI, asystenci i zbieranie danych. Dostawca nie podał, jakie jest ustawienie domyślne. Podobne funkcje mogą mieć inni hostingodawcy.

Jak sprawdzić, czy boty AI mają dostęp?

Zacznij od robots.txt, potem sprawdź ustawienia CDN, firewalla i panelu hostingu. Najwięcej powiedzą logi serwera: czy boty AI próbują pobierać stronę i jakie kody odpowiedzi dostają, np. 403 lub 429. Pamiętaj, że sam User-Agent można podrobić, a Anthropic zaznacza, że blokowanie jego botów po adresach IP może nie działać trwale.

Boty AI a JavaScript

Nawet jeśli bot może pobrać stronę, nie musi zobaczyć całej treści. Według badania Vercel i MERJ z 17 grudnia 2024 roku GPTBot, ClaudeBot i PerplexityBot nie wykonywały JavaScriptu, więc widziały tylko treść z początkowego HTML. To stan z końca 2024 roku, który mógł się zmienić. Wniosek pozostaje jednak praktyczny: artykuły, opisy usług i produktów oraz nawigacja powinny być w HTML wysyłanym przez serwer. Szczegóły opisujemy w tekście JavaScript a SEO.

Dla widoczności w AI dostępność treści w HTML ma większe znaczenie niż sam plik llms.txt.

Checklista – jak sprawdzić dostęp botów AI do strony?

1. robots.txt: czy nie ma niezamierzonych blokad dla botów wyszukiwania AI?
2. Rodzaje botów: czy reguły rozróżniają boty treningowe, wyszukujące i działające na prośbę użytkownika?
3. Cloudflare i CDN: czy nie jest włączona domyślna blokada crawlerów AI?
4. Panel hostingu i firewall: czy nie blokują wybranych kategorii botów?
5. Logi serwera: czy boty AI pobierają stronę i jakie kody odpowiedzi dostają?
6. Treść w HTML: czy najważniejsze informacje są dostępne bez wykonywania JavaScriptu?
7. llms.txt: jeśli jest wdrożony, czy działa, ma poprawną strukturę i aktualne linki?
8. Cel konfiguracji: czy wiadomo, co jest priorytetem – widoczność w wyszukiwarkach AI, wyłączenie z trenowania czy pełna blokada?

Taki przegląd to część technicznego SEO i oddziela realne problemy z dostępem od rozwiązań, których wpływ nie jest potwierdzony.

llms.txt czy robots.txt – na czym się skupić?

llms.txt to propozycja sposobu podawania treści agentom AI, bez potwierdzonego użycia przez duże systemy. Robots.txt to działający mechanizm komunikowania zasad dostępu, który wszyscy główni dostawcy opisują w swojej dokumentacji. Kolejność jest więc jasna: najpierw świadoma konfiguracja robots.txt, CDN i hostingu oraz treść dostępna w HTML, a llms.txt ewentualnie jako eksperyment.

Przegląd dostępu robotów, w tym botów AI, jest częścią analizy technicznej w strategii SEO360®. Pozwala wykryć bariery, które ograniczają widoczność strony zarówno w wyszukiwarce, jak i w odpowiedziach AI.

FAQ

Co to jest plik llms.txt?

To plik w formacie Markdown z krótkim opisem strony i linkami do jej najważniejszych zasobów. Zaproponował go Jeremy Howard we wrześniu 2024 roku. Jedynym wymaganym elementem jest nagłówek H1, a wdrożenie pliku jest opcjonalne.

Czy Google używa llms.txt?

Google pisze, że do pojawienia się w AI Overviews i Trybie AI nie trzeba tworzyć plików tekstowych dla AI. John Mueller w czerwcu 2025 roku stwierdził, że żaden system AI obecnie nie używa llms.txt. Audyt llms.txt w Lighthouse to eksperymentalna funkcja narzędzia Chrome, a nie sygnał dla wyszukiwarki.

Czy ChatGPT czyta llms.txt?

OpenAI publikuje własny llms.txt dla swojej dokumentacji, ale nie deklaruje, że ChatGPT korzysta z plików llms.txt innych stron. Nie można zakładać, że plik zwiększy widoczność w ChatGPT.

Jak zablokować GPTBot w robots.txt?

Dodaj regułę:

„`txt

User-agent: GPTBot

Disallow: /

„`

Blokuje ona tylko GPTBot, a nie pozostałe boty OpenAI.

Czy blokada GPTBot usuwa stronę z ChatGPT?

Nie. GPTBot zbiera treści do trenowania modeli. Za pokazywanie stron w wyszukiwaniu ChatGPT odpowiada OAI-SearchBot, którego ustawienia są niezależne.

Czy Google-Extended wpływa na pozycje w Google?

Nie. Google-Extended steruje wykorzystaniem treści do trenowania i odpowiedzi modeli Gemini. Jego blokada nie wpływa na obecność strony w wyszukiwarce ani na ranking.

Czy robots.txt chroni treści przed AI?

Nie. Robots.txt to prośba do robotów, a nie zabezpieczenie. Boty działające na prośbę użytkownika mogą go ignorować. Poufne treści chroni się uwierzytelnianiem.