Robots.txt

Plik robots.txt to podstawowy sposób na informowanie odwiedzających stronę robotów, dokąd mogą zaglądać, a które miejsca w obrębie strony omijać. Konstrukcja pliku jest niezwykle prosta, a jego utworzenie możliwe jest nawet w podstawowym edytorze tekstu.

W przypadku wielu systemów zarządzania treścią, dokument tworzony jest automatycznie. Jeśli jednak robimy to ręcznie, robots.txt należy umieścić w głównym katalogu witryny w taki sposób, by plik ten był dostępny dla botów wyszukiwarek pod adresem np. https://przykladowastrona.pl/robots.txt.

Według oficjalnych źródeł, to właśnie tam w pierwszej kolejności zaglądają roboty odwiedzające dany serwis internetowy. Z tego powodu mocno sugeruje się, żeby zadbać o obecność opisywanego pliku – nawet wtedy, gdy nie zamierzamy blokować robotom żadnego dostępu. Instrukcje zawarte w regułach mogą odnosić się zarówno do pojedynczych podstron, jak i do całych folderów. Mogą być one również skierowane ku konkretnym robotom.

Wróć do słownika