Немає акаунту? Зареєструйтесь
Якщо ви вже зареєстровані, авторизуйтесь
Crawl Budget — набір URL сайту, які пошукова система може й хоче обійти, визначений доступною пропускною здатністю та потребою в обході.
Сканування та індексування — різні процеси: робот спочатку отримує дозволений URL, а потім пошукова система вирішує, чи обробляти його та включати до індексу. robots.txt не гарантує вилучення URL із результатів, а noindex має бути доступний для сканування.
Crawl Budget — набір URL сайту, які пошукова система може й хоче обійти, визначений доступною пропускною здатністю та потребою в обході.
Механізм керує виявленням URL, доступом робота, вибором версії сторінки або можливістю додати документ до індексу. Неузгоджені директиви можуть давати неочікуваний результат.
Перевірте HTTP-відповідь, robots.txt, meta robots або X-Robots-Tag, canonical, sitemap і фактичний URL після редиректів. Використовуйте інструмент перевірки URL та звіти індексування.
