Как запретить ботам посещать сайт?
На скорость загрузки сайта, помимо параметров сервера, влияет нагрузка со стороны роботов различных сервисов и спам-ботов. Поэтому, будет полезно запретить нежелательным “посетителям” заходить на ваш сайт.
Достаточно эффективным решением будет сделать это с помощью директив в файле .htaccess. Запретить ботам посещать сайт можно, используя User-Agent.
Подберите доменное имя своей мечты
Ниже приведен пример директив, которые запрещают доступ к сайт для бота, User-Agent которого "AhrefsBot".
Вариант 1:
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} “.*AhrefsBot.*” [OR]
RewriteRule “.*” “-” [F]
</IfModule>
Вариант 2:
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) – [F,L]
