Страницы выпали из Яндекса!

Регистрация доменов
Домен RU - 99 руб
Домен РФ - 99 руб
www.

Сегодня я с ужасом обнаружил, что целая куча страниц на всех моих сайтах выпали из Яндекса. Из-за этого трафик везде просел в два-три раза, а как понимаете - это полная печаль 🙁 Почему страницы выпали из Яндекса?

Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!

НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!

Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.

Сначала я подумал, что трафик просел из-за Пасхи, люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.

Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:

Страницы выпали из Яндекса!

40% статей на этом блоге вылетели из индекса! Понятно, почему просел трафик! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:

исключено роботом

Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:

падение сервера

Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:

Здравствуйте, Андрей!

Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе "Яндекс.Вебмастера". Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.

О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице https://yandex.ru/support/webmaster-troubleshooting/site-indexing.xml.

Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.

Спасибо за понимание, ждем Вашего письма!

Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!

Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?

Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:

Как найти страницы выпавшие из Яндекса?

Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и Key Collector.

Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:

все страницы с сайта

Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.

спарсить все статьи

Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:

настроить коллектор

В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:

настроить кейколлектор

Далее создаем новый проект и добавляем в ФРАЗЫ все наши URL:

добавить проект

Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:

проверка индексации в key collector

После того как все закончилось выгружаем результат в EXEL. Что мы видим?

страницы не в индексе

А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:

страницы не в  индексе яндекса

Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье - как можно ускорить индексацию сайта?

Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде...


Понравилась ИГРА? Возьми КОД, поставь себе на сайт и улучши поведенческие факторы!


4 комментария
  1. Проверил - вроде статьи сегодня опять залезли в индекс, ну и отлично! Вечером посмотрим посещаемость.

  2. Вроде вернулась посещалка! У меня недавно тоже всю ночь сайт не работал. Результат - просадка трафика в 2 раза в течение трех дней. К счастью, все быстро восстанавливается, уже полностью восстановилось все.

  3. Здравствуйте!
    Просмотрел вашу статистику посещаемости. Вы, что счетчик liveinternet убрали?

    • Да, давно убрал, оставил только Яндекс метрику, все остальные мне не нужны больше на этом сайте. Вообще не понимаю тех, кто вещает кучу счетчиков и потом все равно их не смотрит, только лишние скрипты на сайте.

Написать комментарий

Опубликовано © Блокнот вебмастера

СОВЕТ ВЕБМАСТЕРУ: Умение зарабатывать в интернете - это только пол дела, вторая половина - это умение ВЫГОДНО обналичивать электронные деньги. Вот список офшорных банковских карт, на которые можно выводить средства и потом снимать с них хрустящие купюры:

1. Epayments - можно открыть счет в долларах, евро и рублях. Формально банка нет, юридический адрес в Лондоне, но можно получить реквизиты банка в Латвии.

2. AdvCash - Офшорный банк находится в Белизе, можно открыть счет в долларах, евро, фунтах и рублях.

3. OkPay - Офшорная компания зарегистрирована на Британских Виргинских островах, можно открыть счет в долларах, евро и рублях.

4. Payeer - Штаб квартира этой платежной системы находится в Грузии, тут так же можно открыть счет в долларах, евро и рублях.

Во всех случаях можно заказать банковскую карту, которую пришлют вам по обычной почте. Активируете ее и идете снимать деньги банкомат! Тарифы смотрите на сайтах платежных систем.