fbpx

słownik pojęć marketingowych

Robots.txt – co to jest, definicja

Robots.txt – definicja. Co to jest?

Robots.txt - co to jest, definicja

Plik robots.txt to specjalnie spreparowany dokument, odpowiadający za komunikowanie się z robotami indeksującymi, które przeczesują internet. Ich zadaniem jest odnajdywanie nowych stron internetowych, a także pozyskiwanie informacji na temat wprowadzanych modyfikacji. Ich treść opisuje również obszary witryny, które nie podlegają indeksacji i mają być niewidoczne w wynikach wyszukiwania. Są one pisane z użyciem specjalistycznego języka komend określonego standardem Robots Exclusion Protocol.