Блог1 мин. чтения1041 просмотр

Новости Яндекса: об изменениях обработки robots.txt

Пустая директива Allow больше не будет запрещающим сигналом для поисковых роботов.

Новости Яндекса: об изменениях обработки robots.txt

Пустая директива Allow больше не будет запрещающим сигналом для поисковых роботов.

Зачастую в robots.txt ошибочно используется пустая директива Allow, запрещающая посещение всех страниц индексирующим роботом, которые в итоге не могут получить доступ сайту.

Раньше это правило принималось роботом как полностью запрещающее, что мешало сайтам показываться в поисковых результатах. Если же владельцы целенаправленно запрещали роботам посещение сайтов, прописывалась четкая команда запрета.

В связи с этим было принято решение изменить обработку этой директивы и игнорировать ее при обнаружении в robots.txt. Теперь для корректного учета запрета пустое правило Allow нужно заменить на Disallow:

Для проверки того, что разрешено, а что запрещено нужно обратиться к Яндекс.Вебмастеру. Следует также уделить внимание пустым значениям для Allow, так как для запрета индексирования их не должно быть.

Подпишитесь на полезные материалы по интернет-маркетингу
Нажимая на кнопку, вы даете согласие на обработку ваших персональных данных согласно политике конфиденциальности
Комментарии
  • Гость

    Спасибо за новую информацию!

  • Подскажите, а если в ROBOTS.TXT запретить индексацию страницы с изображениями, т осами изображения будут индексироваться?

    Если вы запретите индексацию страницы - следовательно и весь контент на этой странице будет закрыт. Чтобы открыть для индексации изображения - внесите правило «Allow /*.jpg» в файл Robots.txt