robots.txt для Яндекса: как ограничить обход и не скрыть нужное

robots.txt находится в корне сайта и задаёт правила обхода для роботов. Он полезен, когда не нужно тратить обход на служебные URL или бесконечные комбинации параметров. Это не механизм секретности: любой человек может открыть файл и увидеть указанные пути.

Яндекс прямо предупреждает: запрет обхода сам по себе не гарантирует удаления адреса из поиска. Если роботу нужно увидеть директиву noindex на странице, закрывать эту страницу в robots.txt нельзя.

Перечислите типы URL: статьи и услуги, поиск по сайту, внутренние фильтры, служебные маршруты. Определите, что должно обходиться, а что нет. Затем запишите группы User-agent и правила Disallow или Allow для точных путей, а не для похожих на них строк.

Добавьте Sitemap, если поддерживаете актуальную карту сайта. Директивы и порядок их обработки проверяйте по документации Яндекса; не копируйте чужой файл целиком, потому что структура вашего сайта и маршруты отличаются.

Убедитесь, что файл отдаётся по ожидаемому адресу и не закрыт ошибкой сервера. В Яндекс Вебмастере проверьте конкретные URL: услугу, статью, категорию, фильтр и страницу поиска. Особое внимание уделите правилам с широкими масками.

После изменения не судите только по содержимому файла. Сравните поведение робота и состояние важных страниц в поиске. Если страница исчезла или не обновляется, проверьте одновременно robots.txt, мета-роботов, canonical и ответы сервера.

При переезде, запуске нового раздела и изменении фильтров пересмотрите файл до выпуска. Временный запрет для тестового сайта нельзя оставлять на рабочем домене. Проверяйте доступность разделов в рамках релизного списка, а не после падения показов.

Храните причину каждого нетривиального запрета: какую проблему он решает и кто владелец решения. Это позволяет безопасно удалить устаревшее правило, когда структура сайта меняется.