Файл robots.txt — это текстовый файл с правилами, расположенный в корне вашего домена и указывающий поисковым роботам, таким как Googlebot, какие пути они могут запрашивать. Он не удаляет страницы из индекса Google самостоятельно, а только управляет индексацией. Неправильный синтаксис может незаметно заблокировать CSS, JS или целые разделы сайта без предупреждения, пока позиции в поисковой выдаче не упадут.
Что именно контролирует файл Robots.txt?
Файл robots.txt управляет сканированием, а не индексированием. Он указывает поисковым роботам, какие URL-адреса им разрешено запрашивать с вашего сервера. Страница может по-прежнему отображаться в индексе Google, даже если она заблокирована в robots.txt, обычно без описания, потому что Google нашел ее по ссылке, а не путем прямого сканирования.
Большинство владельцев сайтов считают, что robots.txt — это инструмент обеспечения конфиденциальности. Это не так. Это инструмент управления трафиком для поисковых роботов, который находится по адресу yoursite.com/robots.txt и читается почти перед всем остальным на странице.
Поисковые системы воспринимают файл robots.txt как настоятельное предложение, а не как непреодолимое препятствие. Хорошо работающие боты, такие как Googlebot и Bingbot, строго следуют его рекомендациям. Парсеры, которые полностью игнорируют его, встречаются часто, поэтому robots.txt никогда не является мерой безопасности.
- Она управляет бюджетом сканирования на крупных сайтах.
- Это предотвращает доступ ботов к административным панелям, страницам результатов поиска и повторяющимся URL-адресам параметров.
- Это направляет поисковых роботов на страницу с вашей картой сайта.
Согласно данным, 55,24% веб-страниц не имеют ни одной обратной ссылки. Исследование AhrefsИ значительная часть этих страниц представляют собой именно те самые «тонкие», перегруженные параметрами URL-адреса, от которых robots.txt и предназначен для защиты поисковых роботов.
Как Googlebot читает файл robots.txt
Googlebot получает файл robots.txt перед сканированием домена и кэширует его примерно на 24 часа. Он считывает правила сверху вниз и применяет наиболее точное соответствующее правило, а не первое найденное. Более конкретное правило «Разрешить» может переопределить более широкое правило «Запретить» для того же бота.
Каждый блок правил начинается со строки User-agent. Googlebot ищет блок, адресованный конкретно “Googlebot”, прежде чем вернуться к общему блоку с подстановочным знаком, адресованному “*”.
Из собственного опыта я видел, как агентства передавали новый файл robots.txt при миграции с тестовой среды на рабочую и забывали, что в тестовой версии вверху был указан Disallow: /. В течение нескольких дней органические посещения на основных страницах категорий клиента резко падали, и единственным решением было отправить исправленный файл и запросить новое сканирование через Search Console.
Наш генератор файлов Robots.txt Избегается именно эта ошибка, поскольку файл создается на основе выбираемых правил, а не свободного текста, поэтому лишняя косая черта не сможет полностью аннулировать доступ сайта для сканирования.
Синтаксис файла Robots.txt: Disallow, Allow и Sitemap.
Три основные директивы — это User-agent для указания конкретного бота, Disallow для блокировки пути и Allow для разрешения пути внутри заблокированной папки. Строка Sitemap, указывающая на вашу XML-карту сайта, является необязательной, но рекомендуется, поскольку она предоставляет поисковым роботам прямой путь к вашим наиболее важным URL-адресам.
Минимальный рабочий файл выглядит следующим образом:
| Директива | Цель | Пример |
|---|---|---|
| Агент пользователя | Нацеливается на одного бота или на всех ботов. | User-gent: * |
| Запретить | Преграждает путь для ползания | Запретить: /wp-admin/ |
| Позволять | Разрешает доступ к пути внутри заблокированной папки. | Разрешить: /wp-admin/admin-ajax.php |
| Карта сайта | Указывает на ваш файл карты сайта. | Карта сайта: https://example.com/sitemap.xml |
Пути чувствительны к регистру и сопоставляются с началом URL-адреса. Косая черта в конце имеет значение, поскольку Disallow: /blog и Disallow: /blog/ ведут себя по-разному в отношении степени соответствия.
Robots.txt против Noindex: это не одно и то же.
Файл robots.txt запрещает поисковому роботу запрашивать страницу, в то время как метатег noindex позволяет роботу посетить страницу, но указывает ему не сохранять страницу в результатах поиска. Блокировка страницы с помощью robots.txt и добавление тега noindex к той же странице противоречит друг другу, поскольку Google не может прочитать тег noindex на странице, которую ему запрещено индексировать.
Это одна из самых распространенных технических ошибок в SEO. Владельцы сайтов хотят удалить страницу из результатов поиска, поэтому блокируют ее в robots.txt, а затем удивляются, почему она все еще отображается спустя несколько недель без сниппета.
Если реальная цель — удаление из результатов поиска, то правильная последовательность действий следующая: разрешить сканирование, добавить тег noindex, дождаться повторного сканирования Google и обработки тега, а затем, при необходимости, заблокировать путь после того, как он будет удален.
Наш полный набор инструментов для SEO включает проверки, которые помечают страницы с конфликтующими сигналами robots и noindex до того, как они вызовут именно эту путаницу.
Когда следует и когда не следует блокировать страницу
Блокируйте пути, не имеющие SEO-ценности и расходующие ресурсы сканирования, такие как внутренние страницы результатов поиска, URL-адреса корзины и оформления заказа, URL-адреса с фильтрованными параметрами и страницы входа в административную панель. Избегайте блокировки каталогов CSS, JS или изображений, необходимых Google для отображения страницы, поскольку проблемы с отображением напрямую влияют на то, как контент понимается и ранжируется.
Часто встречающаяся ошибка на сайтах WordPress — это полная блокировка /wp-content/, что может привести к перемещению CSS и JS файлов темы, необходимых Google для корректного отображения страницы. Google ясно дал понять, что отображает страницы так же, как и браузер, и страница, которая отображается некорректно, может быть неправильно оценена с точки зрения качества контента.
Обратные ссылки остаются одним из трех главных факторов ранжирования Google, и вся эта ссылочная ценность не имеет значения, если проблемы с индексацией мешают корректной обработке ваших лучших страниц. Показатель авторитетности домена (Domain Authority), разработанный компанией Moz на основе шкалы от 1 до 100 для прогнозирования способности домена занимать высокие позиции в поисковой выдаче.Robots.txt основан на тех же сигналах обратной связи и сканирования, поэтому некачественный файл robots.txt может незаметно снизить рост авторитета сайта с течением времени. Если вы проводите аудит общего профиля ссылок сайта во время очистки директив сканирования, наш инструмент проверки неработающих ссылок может сканировать состояние ваших обратных и исходящих ссылок за один проход.
Как проверить файл robots.txt
Проверяйте изменения с помощью инструмента проверки URL-адресов в Google Search Console, который точно показывает, как Googlebot интерпретирует ваш текущий файл robots.txt для любого заданного URL-адреса. Всегда проверяйте изменения до и после их публикации, поскольку даже один неправильно расположенный символ может заблокировать гораздо больше, чем предполагалось.
Исходя из опыта, наиболее безопасный способ развертывания, который я использую с клиентами из агентств, — это подготовка нового файла, тестирование пяти-десяти репрезентативных URL-адресов на сайте с помощью проверки URL-адресов, подтверждение корректного разрешения строки в карте сайта и только последующее развертывание в режиме низкой посещаемости, чтобы любое неожиданное снижение трафика было легко обнаружить и быстро устранить.
Согласно данным Google, 91% веб-страниц не получают органического трафика из Google, в основном из-за отсутствия обратных ссылок, указывающих на них. Данные AhrefsНеисправный файл robots.txt может перевести даже самые качественные страницы в ту же категорию, просто не позволяя Google их индексировать.
Шаблон файла Robots.txt, который вы можете скопировать.
Безопасный стартовый шаблон по умолчанию разрешает все боты, блокирует только пути административной панели и внутреннего поиска, а также содержит карту сайта. Это делает файл коротким, читаемым и низкорисковым для сайтов без необычных проблем с бюджетом сканирования.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Замените пути к административной панели и URL-адрес карты сайта на свои собственные, затем проверьте результат в Search Console, прежде чем считать работу завершенной.
Часто задаваемые вопросы
Удаляет ли файл robots.txt страницы из результатов поиска Google?
Нет. Это блокирует только сканирование. Заблокированная страница всё ещё может быть проиндексирована, если Google найдёт её по внешним ссылкам, обычно без описания.
Где должен располагаться файл robots.txt?
В корневом каталоге домена, например, example.com/robots.txt. Если файл помещен в подпапку, он работать не будет.
Можно ли с помощью robots.txt блокировать только определённых ботов?
Да. Используйте отдельный блок User-agent, указывающий на конкретного бота, например, Googlebot или Bingbot, со своими собственными правилами запрета, отдельными от блока с подстановочным знаком.
Является ли robots.txt тем же самым, что и правило брандмауэра?
Нет. Это добровольная инструкция, которой следуют добросовестные поисковые роботы. Она не обеспечивает реальной безопасности и никогда не должна использоваться для сокрытия конфиденциальной информации.
Как часто Google перепроверяет файл robots.txt?
Google обычно кэширует файл примерно на 24 часа, поэтому изменения вступают в силу не мгновенно, а, как правило, в течение суток.
Настройте файл Robots.txt правильно с первого раза.
Если вы хотите избежать догадок, наш генератор файлов Robots.txt Создает чистый, протестированный файл из простых выделенных фрагментов, и наш бесплатный инструмент DA PA Это поможет вам следить за авторитетными источниками, пока вы устраняете проблемы, связанные с сканированием. Для более глубокого технического анализа... наш эксперт по SEO-консультированию Сервис проверяет директивы сканирования вместе с остальной вашей технической настройкой.
