Как правильно настроить файл Robots.txt на WordPress

Это первое к чему обращаются поисковые роботы, чтобы проиндексировать вебсайт. От настроек Robots будет зависеть какие страницы сайта будут учтены

[toolset_access role=»Guest» operator=»deny» raw=»true»][wpv-conditional if=»( ‘[types usermeta=’url-website’ output=’raw’ current_user=’true’][/ml_types]’ eq » )»]

В этой инструкции, в файл Robots.txt, ссылка на ваш вебсайт будет добавлена автоматически. Для этого жмите здесь -> добавить сайт

[/wpv-conditional][/toolset_access]Файл Robots.txt — это первое к чему обращаются поисковые роботы, чтобы прочитать и проиндексировать вебсайт. От правильных настроек Robots будет зависеть какие страницы сайта попадут в поисковые системы и какие будут от них скрыты. Обязательно нужно скрыть системные файлы сайта, закрытые разделы и технические страницы, такие как оформление заказа и подобные.

Важно: по новым правилам Яндекс, директива Host больше не учитывается

Простой файл Robots.TXT для WordPress

Скопируйте код и вставьте его в файл robots.txt в корневую папку вебсайта или обновите существующий. Отредактируйте директивы в соответствии с вашим вебсайтом ( # отредактировать ).

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /tag
Disallow: /images/
Disallow: /wp-json/
Disallow: */comments
Disallow: *utm*=
Disallow: *openstat=
Allow: /*.js
Allow: /*.css
Allow: */uploads
#
# отредактируйте:
Disallow: /task
Disallow: /changes
Disallow: /checkout/
Disallow: /achievement
Disallow: /*?wpv_view_count=
Sitemap: [types usermeta='url-website' output='raw' current_user='true'][/ml_types][wpv-conditional if="( '[types usermeta='url-website' output='raw' current_user='true'][/ml_types]' eq '' )"]ваш-сайт[/wpv-conditional]/sitemap.xml

Рекомендуемый файл Robots.TXT для WP

Этот код для файла Robots настроен с учетом разных поисковых роботов. Скопируйте код и вставьте его в файл robots.txt в корневую папку вебсайта или обновите существующий. Отредактируйте директивы в соответствии с вашим вебсайтом ( # отредактировать ).

User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла
Disallow: /tag
Disallow: /images/
Disallow: /wp-json/
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне)
Disallow: *?replytocom
Allow: */uploads
#
# отредактируйте для всех поисковых систем, кроме Яндекса и Гугла:
Disallow: /task
Disallow: /changes
Disallow: /checkout/
Disallow: /achievement
Disallow: /*?wpv_view_count=
###
User-agent: GoogleBot # Для Гугла
Disallow: /tag
Disallow: /images/
Disallow: /wp-json/
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
#
# отредактируйте для Гугла:
Disallow: /task
Disallow: /changes
Disallow: /checkout/
Disallow: /achievement
Disallow: /*?wpv_view_count=
###
User-agent: Yandex # Для Яндекса
Disallow: /tag
Disallow: /images/
Disallow: /wp-json/
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat
###
# отредактируйте для Яндекса:
Disallow: /task
Disallow: /changes
Disallow: /checkout/
Disallow: /achievement
Disallow: /*?wpv_view_count=
#
Sitemap: [types usermeta='url-website' output='raw' current_user='true'][/ml_types][wpv-conditional if="( '[types usermeta='url-website' output='raw' current_user='true'][/ml_types]' eq '' )"]ваш-сайт[/wpv-conditional]/sitemap.xml

В следующем Шаге настроим пинг-сервисы для ускорения индексации новых страниц сайта. Жмите: следующий