Crawler
Crawlery to nic innego jak programy stworzone przez wyszukiwarki internetowe do automatycznego indeksowania poszczególnych stron www. Roboty indeksujące “czytają” zawartość tekstu na witrynie wraz z jej kodowaniem, a także przechodzą do dalszych stron poprzez zawarte na nich odnośniki. Zdaniem crawlera jest tworzenie kopii dokumentów poprzez indeksowanie ich w wynikach wyszukiwarki lub bazy danych.
Swoimi własnymi robotami dysponują także zewnętrzni dostawcy usług, np. narzędzi wykorzystywanych w codziennej pracy specjalistów SEO. Tego typu crawelery w znacznym stopniu ułatwiają kontrolę nad strukturą serwisu i jego optymalizacją.
Warto wiedzieć, że istnieje możliwość zablokowania dostępu konkretnym robotom do serwisu lub jego niektórych zasobów. Można to zrobić odpowiednio modyfikując plik robots.txt. Jeśli nie chcemy, by nasza strona była indeksowana, w jej kodzie źródłowym powinna znaleźć się instrukcja noindex.
Dodaj komentarz
Chcesz się przyłączyć do dyskusji?Feel free to contribute!