Robots.txt

Robots.txt позволяет выбрать, какие страницы вашего портала документации будут индексироваться и отображаться в поисковых системах. Например, если вы используете портал Документерры для создания контекстной справки, то имеет смысл скрыть страницы с таким контентом от поисковых систем.

Чтобы настроить robots.txt, перейдите в Инструменты→ Настройки портала → Поиск контента → Robots.txt.

Как видно на скриншоте выше, вы можете разрешить индексацию поисковыми системами всех страниц вашего портала или запретить индексацию всего портала.

Третья опция, называемая Настраиваемый файл Robots.txt, означает, что вы можете вручную перечислить страницы, которые вы не хотите индексировать. Например, с помощью этой опции можно скрыть от поисковых систем некоторые специфические страницы справки:

User-agent: *
Disallow: /articles/my-project/my-hidden-topic

Подробнее о синтаксисе файла robots.txt можно узнать здесь:  Robots.txt. Введение и руководство.

Наверх