Inaczej bot czy, w dosłownym tłumaczeniu, pełzacz. To program wykorzystywany przez wyszukiwarki do zweryfikowania zasobów strony na każdym jej poziomie – od kodu, przez architekturę, po content. To właśnie crawler decyduje o tym, na której pozycji w wyszukiwarce uplasuje się witryna.

Porządkuje wyniki wyszukiwania, porządkując strony w kolejności od najlepiej korespondujących z zapytaniem. Bot „pełzacz” może działać na dwa sposoby – skanując zawartość strony dogłębnie lub pobieżnie. Drugi mechanizm wykorzystywany jest najczęściej w przypadku często aktualizowanych witryn.

Jak wykorzystać crawler w SEO?

Specjaliści SEO chętnie korzystają z narzędzia, jakim jest crawler, celem optymalizacji strony. Dzięki temu, że narzędzie zostało stworzone do oceny jej wartościowości w odniesieniu do określonego zapytania, może przysłużyć się skutecznemu pozycjonowaniu.

Pełzacz może pomóc im w przeprowadzeniu dogłębnego audytu SEO celem wyeliminowania problemu duplicate content, zlokalizowania tzw. thin content (treści niskiej jakości) oraz usunięcia stron błędu.