WordPress автоматически генерирует виртуальный файл robots.txt, если вы никогда не создавали физический, и большинство владельцев сайтов понятия не имеют, что в нём содержится. Этот файл по умолчанию обычно подходит для небольшого блога, но любому, кто использует WooCommerce, плагины для управления членством или имеет большую библиотеку контента, требуется больше контроля, чем предоставляет файл по умолчанию.
Где WordPress скрывает свой файл Robots.txt по умолчанию
WordPress генерирует виртуальный файл robots.txt по адресу yoursite.com/robots.txt даже без физического файла в корневом каталоге. Эта версия по умолчанию обычно блокирует /wp-admin/, разрешая при этом admin-ajax.php, и исчезает, как только вы загружаете реальный файл robots.txt, чтобы переопределить его.
Вы можете увидеть этот вариант по умолчанию, перейдя непосредственно в браузере по пути к файлу robots.txt вашего сайта. Если вы никогда его не изменяли, то увидите встроенную в ядро WordPress версию, а не настройку, сделанную плагином или разработчиком.
Редактирование файла Robots.txt с помощью SEO-плагина
Большинство основных SEO-плагинов для WordPress, включая Yoast SEO и Rank Math, имеют встроенный редактор robots.txt в настройках инструментов. Это самый простой способ для пользователей без технических навыков, поскольку он не требует загрузки файлов или доступа по FTP и сохраняет изменения непосредственно через панель управления WordPress.
Плагин записывает на сервер физический файл robots.txt при первом сохранении изменений через редактор, навсегда заменяя виртуальный файл по умолчанию.
- Yoast SEO: меню «Инструменты», редактор файлов.
- Rank Math: Общие настройки, Редактировать robots.txt
- Универсальные SEO-инструменты: Инструменты, Редактор robots.txt
Редактирование файла Robots.txt вручную через FTP
Подключитесь к серверу с помощью FTP-клиента, перейдите в корневую папку, где находится файл wp-config.php, и либо отредактируйте существующий файл robots.txt, либо создайте новый текстовый файл с точно таким же именем. Этот метод работает независимо от установленных плагинов и обеспечивает полный контроль над исходным содержимым.
Исходя из опыта, я всегда выбираю этот способ, когда редактор SEO-плагина у клиента глючит или когда мне нужно загрузить идентичный файл сразу на несколько установок WordPress в рамках общеагентской чистки. Прямая загрузка файла исключает любые специфические особенности плагина.
Пути, специфичные для WordPress, которые стоит заблокировать.
Помимо стандартного блока /wp-admin/, сайтам на WordPress часто полезно запрещать внутренние URL-адреса результатов поиска, ссылки для ответов на комментарии с параметрами отслеживания и варианты ленты только для администратора. Ни один из этих путей не представляет ценности для поиска, и их блокировка помогает поисковым роботам уделять больше времени непосредственно контенту.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Не следует запрещать доступ к папке /wp-content/ целиком, поскольку по этому пути находятся файлы тем и плагинов, необходимые Google для корректного отображения страниц.
Вопросы, касающиеся WooCommerce и плагинов для управления членством.
Для магазинов WooCommerce обычно выгодно блокировать пути к корзине, оформлению заказа и личному кабинету в файле robots.txt, поскольку эти страницы привязаны к конкретному пользователю и не имеют ценности для SEO. Плагины для управления членством и платным доступом часто генерируют аналогичные URL-адреса, управляемые учетными записями, которые также стоит исключить таким же образом.
Согласно данным, 91% страниц не получают органического трафика из Google. AhrefsЧасто это происходит потому, что страницы, конкурирующие за этот трафик, содержат мало информации, дублируют друг друга или просто не соответствуют тому типу контента, который кто-либо ищет, а именно к этой категории относятся страницы корзины и учетной записи.
Если у вас есть магазин WooCommerce и вы хотите проверить, насколько эффективно страницы ваших товаров работают с авторитетными источниками информации в больших масштабах, наш инструмент для проверки пакетных данных DA PA Обрабатывает до 50 доменов или путей за один проход.
Тестирование изменений без нарушения работы сайта
После сохранения любых изменений в файле robots.txt в WordPress, проверьте его работоспособность, перейдя непосредственно по адресу yoursite.com/robots.txt в браузере, а затем проверьте несколько ключевых страниц с помощью инструмента проверки URL-адресов Google Search Console, чтобы убедиться, что они не были неожиданно заблокированы.
Как показывает опыт, чаще всего страдают сайты WordPress, использующие автоматизированную миграцию или инструменты синхронизации между тестовой и рабочей средами, где файл robots.txt, отредактированный для среды разработки, незаметно переносится в рабочую среду без проверки со стороны разработчиков.
Обратные ссылки остаются одним из трех главных факторов ранжирования Google, и некорректная установка robots.txt на сайте WordPress может свести на нет месяцы работы над обратными ссылками из-за одной небрежной ошибки. Авторитет домена (Domain Authority), показатель от 1 до 100 Moz, в значительной степени основанный на тех же сигналах обратных ссылок.Это один из самых простых показателей для выявления ранних признаков проблем с производительностью. Всегда проверяйте его перед тем, как двигаться дальше.
Часто задаваемые вопросы
Нужен ли мне плагин robots.txt, если я уже использую Yoast или Rank Math?
Нет, оба плагина включают встроенный редактор robots.txt, поэтому отдельный специализированный плагин не требуется.
Вернёт ли удаление моего пользовательского файла robots.txt стандартные настройки WordPress?
Да, удаление физического файла автоматически восстанавливает виртуальную версию ядра WordPress по умолчанию.
Следует ли мне заблокировать /wp-includes/ в файле robots.txt WordPress?
В целом, нет, поскольку современное ядро WordPress больше не требует блокировки этого параметра, а некоторые ресурсы внутри него могут потребоваться для рендеринга.
Можно ли использовать разные правила в файле robots.txt для тестового сайта WordPress?
Да, и вам следует это сделать, поскольку на тестовых сайтах обычно лучше полностью блокировать доступ с помощью `Disallow: /` до запуска, а затем переключаться на набор правил для рабочей среды.
Как проверить, действительно ли мой файл robots.txt в WordPress активен?
Откройте файл yoursite.com/robots.txt напрямую в любом браузере. Если вместо стандартных правил WordPress отображаются ваши собственные правила, значит, файл активен.
Создайте более безопасный файл robots.txt для вашего сайта WordPress.
Наш генератор файлов Robots.txt Создает файл, готовый для использования в WordPress, из простых выделенных фрагментов, без необходимости настройки FTP или плагинов. Для постоянного отслеживания авторитетности на сайтах клиентов. наш бесплатный инструмент DA PA охватывает до 50 доменов одновременно, и наш эксперт по SEO-консультированию Если вам нужна независимая оценка, наша служба может провести аудит всей вашей технической инфраструктуры.
