Robots.txt Generator

Robots.txt Generator

По умолчанию — все роботы:	Допустимый Отказался
Задержка сканирования:	По умолчанию — без задержки 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Карта сайта: (оставьте пустым, если у вас его нет)
Поисковые роботы:	Google	То же, что и по умолчанию Допустимый Отказался
	Google Image	То же, что и по умолчанию Допустимый Отказался
	Google Mobile	То же, что и по умолчанию Допустимый Отказался
	MSN Search	То же, что и по умолчанию Допустимый Отказался
	Yahoo	То же, что и по умолчанию Допустимый Отказался
	Yahoo MM	То же, что и по умолчанию Допустимый Отказался
	Yahoo Blogs	То же, что и по умолчанию Допустимый Отказался
	Ask/Teoma	То же, что и по умолчанию Допустимый Отказался
	GigaBlast	То же, что и по умолчанию Допустимый Отказался
	DMOZ Checker	То же, что и по умолчанию Допустимый Отказался
	Nutch	То же, что и по умолчанию Допустимый Отказался
	Alexa/Wayback	То же, что и по умолчанию Допустимый Отказался
	Baidu	То же, что и по умолчанию Допустимый Отказался
	Naver	То же, что и по умолчанию Допустимый Отказался
	MSN PicSearch	То же, что и по умолчанию Допустимый Отказался
Ограниченные каталоги:	Путь указывается относительно корня и должен содержать косую черту в конце. "/"

Теперь создайте файл robots.txt в корневом каталоге. Скопируйте приведенный выше текст и вставьте в текстовый файл.

О Robots.txt Generator