Нет аккаунта? Зарегистрируйтесь
Если вы уже зарегистрированы, авторизуйтесь
Crawl Budget — набор URL сайта, которые поисковая система может и хочет обойти, определяемый доступной пропускной способностью и потребностью в обходе.
Сканирование и индексирование — разные процессы: робот сначала получает разрешённый URL, затем поисковая система решает, обрабатывать ли его и включать ли в индекс. robots.txt не гарантирует исключение URL из результатов, а noindex должен быть доступен для сканирования.
Crawl Budget — набор URL сайта, которые поисковая система может и хочет обойти, определяемый доступной пропускной способностью и потребностью в обходе.
Механизм управляет обнаружением URL, доступом робота, выбором версии страницы или возможностью добавить документ в индекс. Несогласованные директивы могут давать неожиданный результат.
Проверьте HTTP-ответ, robots.txt, meta robots или X-Robots-Tag, canonical, sitemap и фактический URL после редиректов. Используйте инструмент проверки URL и отчёты индексирования.
