Как настроить robots.txt для Google?

Регистрация доменов
Домен RU - 99 руб
Домен РФ - 99 руб
www.



Пришло мне сегодня на почту письмо от Google, в котором он пугал меня понижениям позиций в выдаче, если я не последую его советам:

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Как настроить robots.txt для Гугла?

Серьезное предупреждение, которое касается всем моих сайтов. Я не стал откладывать это в долгий ящик и сразу постарался решить проблему на всех сайтах. На данный момент в robots.txt для Google  у меня были такие правила (для этого сайта):

User-agent: *

Allow: /wp-content/uploads/
Allow: /wp-content/plugins/wpsmart-mobile/themes

Allow: /proxy/$
Disallow: /proxy/ - это у меня стоит свой прокси сервер.

Disallow: /wp-login.php
Disallow: /login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/languages
Disallow: /wp-content/backups
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /links/
Disallow: /redirect.php*
Disallow: *?attachment_id=
Disallow: /author
Disallow: /75e282 - это относится к плагину для скрытия ссылок.
Disallow: */comments
Disallow: */comments/
Disallow: /comment-subscriptions

Disallow: /*/page/*/ - об этом правиле писал в статье про настройку рубрик.

Что же не понравилось Гуглу? Не понравилось, что у меня закрыта мобильная версия сайта. Вот на что он пожаловался в отношении этого сайта:

Как настроить robots.txt для Google?Очень странно, но googlebot в упор не видит мою мобильную версию Mobile Smartphone. Почему? Не понимаю.

Очень важно вот это правило : Allow: /wp-content/plugins/wpsmart-mobile/themes, так как у меня стоит мобильная версия сайта через плагин, но все открыто. На других сайтах тоже самое и проблем нет.

Как проверить мобильную версию сайта?

Проверил сайт этим тестом, результат тот же, но не показывает, в чем собственно проблема? Что закрыто конкретно?

проверка удобства для мобильных устройствСделал ход конем, на время открыл ВООБЩЕ все - толку НОЛЬ, все тоже самое. Может собака зарыта в самом шаблоне сайта? Попробую на время его сменить. Нет, не помогло, и на новом шаблоне та же песня. Еще один вариант - это удалить плагин мобильной версии и установить его заново - пробую... Переустановка плагина решила все проблемы! Ура!

Как проверить мобильную версию сайта?Но на этом статья не заканчивается, так как другой мой сайт тоже испытывает трудности с googlebot, но там немного другие проблемы. Googlebot видит мобильную версию сайта, но не видит всего, что хочет. Вот что он выдает:

google bootПримечательно, что и на том и другом сайте стоят одни и те же плагин, но тут все нормально, а там ему подавай доступ к их стилям! Какая подозрительная избирательность?

Открывать для индексации папку с плагинами опасно, так как их создатели на то и рассчитывают, пихая туда тонну ссылок на свои ресурсы. Но можно открыть то, что нас просят. Нужно, в моем случае, добавить такие правила:

Allow: /wp-content/plugins/totop-link/totop-link.css.php
Allow: /wp-content/plugins/totop-link/totop-link.js
Allow: /wp-content/plugins/crayon-syntax-highlighter/css/min/crayon.min.css
Allow: /wp-content/plugins/wp-special-textboxes/css/
Allow: /wp-includes/js/jquery/
Allow: /wp-content/plugins/q2w3-fixed-widget/js/q2w3-fixed-widget.min.js
Allow: /wp-content/plugins/wp-fluid-images//lib/fluidimage.js
Allow: /wp-content/plugins/crayon-syntax-highlighter/js/min/crayon.min.js
Allow: /wp-includes/js/tw-sack.min.js
Allow: /wp-content/plugins/wp-ds-blog-map/wp-ds-blogmap.css
Allow: /wp-content/plugins/top-10/top-10-addcount.js.php
Allow: /wp-includes/js/jquery/ui/jquery.ui.effect.min.js
Allow: /wp-includes/js/jquery/ui/jquery.ui.effect-blind.min.js
Allow: /wp-content/plugins/wp-special-textboxes/js/wstb.min.js

Проверим теперь сайт, что скажет мне противный гугл бот? Теперь он очень рад, что я все ему показал! Нужно нажать кнопочки ИНДЕКСИРОВАТЬ, чтобы он сразу схавал все эти скрипты и стили, лишь бы не пода

настройка для googlebot
Немного сумбурный пост, но я заметил, что очень полезно записывать все свои действия, потом ОЙ как пригождается!


Понравилась ИГРА? Возьми КОД, поставь себе на сайт и улучши поведенческие факторы!


7 комментариев
  1. Андрей здравствуйте, честно говоря ко мне тоже приходили такие письма, но я не придавал им значение, а собственно говоря, зачем ему мои стили, и я игнорировал такие просьбы или требования, думаете не стоит?

    • Они ясно пишут, что понизят сайт в выдаче, если я буду их игнорить, я все сделал за 15 минут, не так и сложно. Так что лучше один раз сделать и забыть.

  2. Этот гад буржуйский тоже у меня хочет доступ к скриптам и плагинам. Я в этих буковках с палочками, которые называются Robots.txt вообще дуб и разбираться не хочу, хоть убей!
    Я могу скопировать ваше решение по этому вопросу?
    Или у меня это решается иначе?

    • У всех немного по разному, нужно смотреть, на что ругается конкретно. Как у вас с мобильной версией? Плагин как у меня или адаптивный дизайн? Чаще всего проблема лишь в том, что закрыт путь к мобильному шаблону, так как он находится в папке с плагинами. Нужно открыть.

      • Я уже всё открыла... Спасибо.
        Только форум закрыт - там у каждого в подписи ссылки на сайт.

  3. Здравствуйте, мне тоже пришло недавно такое письмо. Проверил в кабинете веб-мастера Гугл, как видит робот сайт, с разных устройств. Всё отлично. Что именно его не устраивает, не пойму.

    • А там пишет у вас именно ГОТОВО по всем четырем параметрам в разделе Goolebot, то значит все в порядке. Может он просто рассылает на всяких случай всем?

Написать комментарий

Опубликовано © Блокнот вебмастера

СОВЕТ ВЕБМАСТЕРУ: Умение зарабатывать в интернете - это только пол дела, вторая половина - это умение ВЫГОДНО обналичивать электронные деньги. Вот список офшорных банковских карт, на которые можно выводить средства и потом снимать с них хрустящие купюры:

1. Epayments - можно открыть счет в долларах, евро и рублях. Формально банка нет, юридический адрес в Лондоне, но можно получить реквизиты банка в Латвии.

2. AdvCash - Офшорный банк находится в Белизе, можно открыть счет в долларах, евро, фунтах и рублях.

3. OkPay - Офшорная компания зарегистрирована на Британских Виргинских островах, можно открыть счет в долларах, евро и рублях.

4. Payeer - Штаб квартира этой платежной системы находится в Грузии, тут так же можно открыть счет в долларах, евро и рублях.

Во всех случаях можно заказать банковскую карту, которую пришлют вам по обычной почте. Активируете ее и идете снимать деньги банкомат! Тарифы смотрите на сайтах платежных систем.