Robot txt disallow, allow i user agent
W pliku robot txt możesz zamieszczać rozmaite dyrektywy. Niemniej w zdecydowanej większości są to ich dwa rodzaje: Powyższe komendy, podobnie jak wszystkie pozostałe, mogą przyjąć charakter ogólny. Niemniej przeważnie przypisuje się je określonym botom. Tym samym po komendzie User-agent należy zapisać nazwę bota. Po wejściu na stronę i odnalezieniu robota txt, robotics Google rozpoznają skierowane…
