Plik robots.txt to specjalnie spreparowany dokument, odpowiadający za komunikowanie się z robotami indeksującymi, które przeczesują internet. Ich zadaniem jest odnajdywanie nowych stron internetowych, a także pozyskiwanie informacji na temat wprowadzanych modyfikacji. Ich treść opisuje również obszary witryny, które nie podlegają indeksacji i mają być niewidoczne w wynikach wyszukiwania. Są one pisane z użyciem specjalistycznego języka komend określonego standardem Robots Exclusion Protocol.