Немає акаунту? Зареєструйтесь
Якщо ви вже зареєстровані, авторизуйтесь
Meta Robots — метатег сторінки з директивами пошуковим роботам, наприклад чи індексувати сторінку та чи переходити за її посиланнями.
Сканування та індексування — різні процеси: робот спочатку отримує дозволений URL, а потім пошукова система вирішує, чи обробляти його та включати до індексу. robots.txt не гарантує вилучення URL із результатів, а noindex має бути доступний для сканування.
Meta Robots — метатег сторінки з директивами пошуковим роботам, наприклад чи індексувати сторінку та чи переходити за її посиланнями.
Механізм керує виявленням URL, доступом робота, вибором версії сторінки або можливістю додати документ до індексу. Неузгоджені директиви можуть давати неочікуваний результат.
Перевірте HTTP-відповідь, robots.txt, meta robots або X-Robots-Tag, canonical, sitemap і фактичний URL після редиректів. Використовуйте інструмент перевірки URL та звіти індексування.
