Изменение User-Agent робота РСЯ
Рекламная сеть Яндекса сообщает, что в июне 2010 года изменится вид представления роботов Яндекса в User-Agent и их интерпретация в robots.txt.
С помощью этих изменений предполагается привести представления всех роботов к единому виду, а также сделать представления роботов более информативными.
Новый User-Agent робота, который индексирует страницы сайтов – участников Рекламной сети Яндекса:
Mozilla/5.0 (compatible; YandexDirect/3.0)
Владельцам сайтов РСЯ предлагается обратить внимание на то, что в связи с изменением интерпретации файла robots.txt, блокировка робота User-agent: Yandex в robots.txt может привести к блокировке всех роботов Яндекса, включая робота РСЯ.
Чтобы удостовериться, что робот Рекламной сети Яндекса будет обходить ваш сайт, необходимо добавить в начало файла robots.txt в корневой папке следующую запись:
User-Agent: YaDirectBot
Disallow:
Связанные записи:
Опубликовал Blade