Изменение User-Agent робота РСЯ

Изменение User-Agent робота РСЯ Рекламная сеть Яндекса сообщает, что в июне 2010 года изменится вид представления роботов Яндекса в User-Agent и их интерпретация в robots.txt.
С помощью этих изменений предполагается привести представления всех роботов к единому виду, а также сделать представления роботов более информативными.

Новый User-Agent робота, который индексирует страницы сайтов — участников Рекламной сети Яндекса:

Mozilla/5.0 (compatible; YandexDirect/3.0)

Владельцам сайтов РСЯ предлагается обратить внимание на то, что в связи с изменением интерпретации файла robots.txt, блокировка робота User-agent: Yandex в robots.txt может привести к блокировке всех роботов Яндекса, включая робота РСЯ.

Чтобы удостовериться, что робот Рекламной сети Яндекса будет обходить ваш сайт, необходимо добавить в начало файла robots.txt в корневой папке следующую запись:

User-Agent: YaDirectBot
Disallow:

Оставьте комментарий