Неканонические страницы теперь попадают в индекс

4 июля Яндекс анонсировал, что теперь страницы, отмеченные как «неканонические» с помощью атрибута rel=«canonical», но которые он посчитает полезными, будут попадать в индекс, показываться в поиске. 

Обычно страницы, помеченные этим атрибутом, в котором указана другая страница, по идее в индекс Яндекса никак не должны попадать. Однако теперь их будут сравнивать с указанной в rel=«canonical», и если отличия значительные, то может быть принято решение эту страницу из индекса не выбрасывать.

Если такое случилось с вашей страницей, то в Яндекс.Вебмастере придет сообщение о том, что «страница попала в поиск, поскольку во время сканирования роботом ее содержимое существенно отличалось от содержимого страницы по адресу, который указывался в rel=«canonical». И похоже, что эта страница будет ранжироваться точно так же, как если бы этого атрибута не было.

Какие могут быть негативные эффекты?

Чем это может быть чревато? В индекс могут попасть страницы, которые вы бы точно не хотели, чтобы туда попадали. 

Но не стоит слишком паниковать. По тому, что демонстрирует Яндекс на данный момент, в тех случаях, когда приходили такие сообщения в Вебмастер, по факту оказывалось — там действительно страница имела некоторую самостоятельную ценностью. 

То есть, когда применяется rel=«canonical»?

Например, на сайте есть страницы, которые создают дубль основной: с лишним слешем, с какими-то параметрами, с другим размером букв и т.д. И обычно в тех случаях, когда их не закрывают от поисковика другим способом — можно поставить редирект, например — то используют атрибут rel=«canonical». Для программистов это самый простой вариант, так действительно часто делают — и это нормальная ситуация. Этот атрибут закрывает от поиска нежелательные страницы и дубль не создается.

И здесь Яндекс пока ни разу не ошибся. То есть в тех страницах, которые действительно полностью дублируют «родительскую», атрибут rel=«canonical» применялся правлиьно — закрывал от поиска.

Когда же приходит в Вебмастер это сообщение, в каких случаях страница добавляется обратно в индекс? В основном это страницы типа форумов либо постраничная пагинация в комментариях — то есть там, где отличия существенны. И важно посмотреть, действительно ли имеются какие-то посты на форуме, которые несут самостоятельную ценность и могут ранжироваться. Стоит отдельно посмотреть на пагинацию на сайтах (то есть там, где в рубриках есть постраничность). Здесь есть такой нюанс: если у вас страницы вроде как друг от друга никак не отличаются и по идее указанные в rel=«canonical» не должны выводится, следует учесть, что товары на них указаны разные. И Яндекс может посчитать, что такие страницы имеют самостоятельную ценность и индексировать их. Что даст некоторый негативный эффект. 

Чем это грозит?

Например, вы оптимизировали первую страницу рубрики, и у вас в остальные также подтянется и тайтл тот же самый, и h1 будет одинаковый, а в ряде случаев еще и тексты туда размножатся. Что в общем может создать негативный эффект: разные страницы рубрики будут мешаться друг другу, периодически может слетать релевантность с первой, перекидываясь на другую страницу пагинации, позиции в этот момент у первой страницы в большинстве случаев будут просаживаться. Поэтому стоит учесть этот момент и заранее проверить свои сайты.

Что делать?

Если у вас страницы пагинации стали залетать в индекс с таким статусом, то можно: 

  1. закрыть их от индексации более жестко;

  2. попытался уникализировать настолько, чтобы они несли некоторую самостоятельную ценность. Сделать заголовки уникальными, тексты отдельные закидывать — то есть действительно оптимизировать под какую-то группу ключей, раз уж Яндекс посчитал их нормальными. 

Но здесь опять же непонятно, под какую группу ключей тогда оптимизировать, потому что это же не подрубрика, а одна из страниц рубрики. То есть подобный вариант действий не оптимален. И скорее всего, если сайты с постраничностью начнут «влетать» под такое, то эти страницы лучше закрывать в robots, а может и в X-Robots-Tag, чтобы робот их не сканировал и не индексировал.

Стоит внимательно следить за этой ситуацией, за сайтами, потому как в любой момент может что-то пойти не так, «сбоинуть» и на позиции повлиять не лучшим образом.



Пишите с вопросами. Обязательно ответим