IT Юмор 
Умный поиск 
Статьи 
Новое в блоге 
Настройка ОС 
Обзоры и тесты 
Web разработка 
Железо 
Заказать 
Блокирование роботов по их IP
Самый простой способ - зафильтровать их в .htaccess (Файл в корневой папке вашего сайта) по IP создав такие правила:
deny from 54.36.150.0/24
deny from 151.80.39.0/24
deny from 54.36.148.0/24
deny from 40.79.25.228
deny from 54.36.149.0/24
deny from 216.244.66.0/24
deny from 46.229.168.0/24
Зафильтровывать придётся целыми сетями так как ребята, которые создают роботов выводят их в интернет через целые пулы IP адресов. Для панели управления хостингом cPanel алгорим действий по поимке "крыс" может быть таким:
- Время когда робот зашёл на ваш сайт и привёл к перегрузке ресурсов можно посмотреть в "Использовании ресурсов". Там есть графики по которым это можно определить.
- Найти IP адреса с временем посещения сайта роботами можно в логах Web сервера: "Доступ к необработанным данным":
Блокирование робота по индефикатору User Agent
Второй способ: фильтрация роботов в .htaccess по User Agent. К счастью они от вас не скрываются. Особенно, когда приводят к падению сайта. Всё сразу становится понятно :-) (кто попадёт под раздачу)
Опытным путём я через неделю нашёл всех: SemrushBot, AhrefsBot, MJ12bot, Riddler, aiHitBot, trovitBot, Detectify, BLEXBot, LinkpadBot, dotbot, FlipboardProxy, proximic, YaK, CCBot. Они то и приводили к падению сайта.
Зафильтровать их можно в файле .htaccess такими правилами:
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} proximic
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} YaK
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} CCBot
RewriteRule (.*) - [F,L]
Скидывайте в комментариях ваших крыс, а я дополню эту доску позора ими.
Всем удачи в борьбе с этой напастью :-)
