Robots.txt — это специальный текстовый файл, который веб-разработчики используют для того, чтобы помочь поисковым системам правильно индексировать их веб-ресурс.
На каждом веб-сайте есть каталоги и страницы, которые не должны индексироваться поисковыми системами. Например, печатные версии страниц сайта, страницы системы безопасности (регистрация, аутентификация). Также могут быть каталоги, такие как папка администратора или различные технические папки.
Кроме того, веб-мастера могут захотеть предоставить поисковым системам дополнительную информацию об индексации. Например, указать местоположение файла sitemap.xml.
Все эти задачи выполняет файл robots.txt. Это просто текстовый файл определённого формата, который размещается на веб-сайте (в корневом каталоге), чтобы веб-краулеры знали, как правильно индексировать содержимое сайта. Полную спецификацию формата этого файла можно найти на портале Google Developers.