Немає акаунту? Зареєструйтесь
Якщо ви вже зареєстровані, авторизуйтесь
Crawling — автоматичне отримання URL та їхніх ресурсів пошуковими роботами для виявлення й оброблення вмісту та посилань.
Сканування та індексування — різні процеси: робот спочатку отримує дозволений URL, а потім пошукова система вирішує, чи обробляти його та включати до індексу. robots.txt не гарантує вилучення URL із результатів, а noindex має бути доступний для сканування.
Crawling — автоматичне отримання URL та їхніх ресурсів пошуковими роботами для виявлення й оброблення вмісту та посилань.
Механізм керує виявленням URL, доступом робота, вибором версії сторінки або можливістю додати документ до індексу. Неузгоджені директиви можуть давати неочікуваний результат.
Перевірте HTTP-відповідь, robots.txt, meta robots або X-Robots-Tag, canonical, sitemap і фактичний URL після редиректів. Використовуйте інструмент перевірки URL та звіти індексування.
