Как заблокировать ботов через robots.txt?

Регистрация доменов
Домен RU - 99 руб
Домен РФ - 99 руб
www.

Боты бывают полезные, типа Yandex и Google, а бывают и бесполезные для сайта. А некоторые даже вредны, так как грузят ваш сервер, когда его сканируют. А если ваш хостинг и так медленный, то это может ОЧЕНЬ сильно сказаться на вашем сайте.


Не так давно копался в чужих robots.txt, было интересно, кто что закрывает? И наткнулся на один сайт, который заблокировал, наверное, всех ботов в мире 😉

Как заблокировать ботов

Я стянул у него этот файл на всякий случай, вдруг потом пригодится? Дабы не забыть, выкладываю тут:

Согласитесь, внушительный список, для параноиков просто ВОЛШЕБНАЯ ПИЛЮЛЯ!


СОВЕТ ВЕБМАСТЕРУ: Умение зарабатывать в интернете - это только пол дела, вторая половина - это умение ВЫГОДНО обналичивать электронные деньги. Вот список офшорных банковских карт, на которые можно выводить средства и потом снимать с них хрустящие купюры:

1. Epayments - можно открыть счет в долларах, евро и рублях. Формально банка нет, юридический адрес в Лондоне, но можно получить реквизиты банка в Латвии.

2. AdvCash - Офшорный банк находится в Белизе, можно открыть счет в долларах, евро, фунтах и рублях.

3. OkPay - Офшорная компания зарегистрирована на Британских Виргинских островах, можно открыть счет в долларах, евро и рублях.

4. Payeer - Штаб квартира этой платежной системы находится в Грузии, тут так же можно открыть счет в долларах, евро и рублях.

Во всех случаях можно заказать банковскую карту, которую пришлют вам по обычной почте. Активируете ее и идете снимать деньги банкомат! Тарифы смотрите на сайтах платежных систем.



Понравилась ИГРА? Возьми КОД, поставь себе на сайт и улучши поведенческие факторы!


Один комментарий уже есть ;)
  1. Ну так-то да. Но можно ведь по незнанке и какого-то нужного бота закрыть. Например, закрылся от Xenu, а через какое-то время решил проверить сайт на битые ссылки, а он хрен вам, а ты и забыл, что в роботсе запретил. Ну в общем, с головой нужно делать, не бездумно.

Написать комментарий

Опубликовано © Блокнот вебмастера