Нет аккаунта? Зарегистрируйтесь
Если вы уже зарегистрированы, авторизуйтесь
Sitemap XML — XML-представление карты сайта по протоколу sitemap, где каждый канонический URL указывается в элементе loc.
Сканирование и индексирование — разные процессы: робот сначала получает разрешённый URL, затем поисковая система решает, обрабатывать ли его и включать ли в индекс. robots.txt не гарантирует исключение URL из результатов, а noindex должен быть доступен для сканирования.
Sitemap XML — XML-представление карты сайта по протоколу sitemap, где каждый канонический URL указывается в элементе loc.
Механизм управляет обнаружением URL, доступом робота, выбором версии страницы или возможностью добавить документ в индекс. Несогласованные директивы могут давать неожиданный результат.
Проверьте HTTP-ответ, robots.txt, meta robots или X-Robots-Tag, canonical, sitemap и фактический URL после редиректов. Используйте инструмент проверки URL и отчёты индексирования.
