Что такое робот-зеркальщик?

Автор статьи
Андрей Буйлов

Подробнее об авторе

Для поисковых систем сам факт того, что они содержат у себя в базе идентичные или хотя бы схожие документы, очень неприятен. Поэтому ими используется так называемый робот-зеркальщик, проверяющий проиндексированные документы на предмет наличия копий. Если он находит копии, то подклеивает их одна под другую. Это первая его механика.

Вторая механика заключается в том, что при проверке робот-зеркальщик находит достаточно большое количество одинаковых документов, либо вообще устанавливает, что все документы одинаковые. К примеру, один сайт имеет два адреса: основной и дополнительный. В таком случае поисковая система с помощью робота-зеркальщика собирает и индексирует эти адреса. Он как бы подклеивает их один под другой и, вероятно, сделает это не так, как того хотелось бы владельцам.

В качестве примера дополнительного ресурса можно указать рф-домены, часто регистрируемые владельцем, скажем, для дополнительной информации на визитных карточках. Проблема заключается в том, что робот-зеркальщик может подклеить основной домен к второстепенному, а потому желательно сообщать поисковой системе о том, какая версия вашего сайта является основной.