Яндекс, в сервисе Яндекс.Помощь представил полное руководство для улучшения взаимодействия сайтов с роботами.
Руководство касается:
— содержания тегов, учитываемых роботом Яндекса (Keywords, Description, Content-Type, refresh);
— указания мета-тегов (meta name=»robots», noindex и nofollow). Если мета-теги не указаны, по умолчанию они имеют положительное значение (index, follow, archive). В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию;
— использования тега noindex для запрета индексирования служебных участков текста. Тег noindex не чувствителен к вложенности и может находиться в любом месте html-кода страницы;
— использования атрибута rel=»nofollow» в теге a. Атрибут работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.