Что делать, если в индекс попадают неканонические страницы?

Автор статьи
Андрей Буйлов

Подробнее об авторе

В данной статье поговорим про канонические страницы, и разберем, почему неканонические попадают в поиск Яндекса. А также стоит ли менять карту сайта, если в ней указаны ссылки на оба варианта, или атрибута rel=canonical будет достаточно.

Для начала, нужно сказать, что не слишком важно, указаны ли страницы в карте сайта или нет — Яндекс использует этот файл в основном для того, чтобы узнать, какие новые страницы вообще появились. И в общем особого приоритета тем, которые там есть,.не дает, поэтому вряд ли они залетают в индекс только потому, что ссылки есть в карте. Но можно на всякий случай и убрать, если не хотите рисковать, вдруг поисковик всё же как-то использует эти сведения, хотя по наблюдениям такого и нет.

Почему попадают в индекс

Яндекс не так давно решил, что часть неканонических страниц имеют  достаточную важность и значимость для пользователя, чтобы могли попадать в индекс. И этот алгоритм работает не очень хорошо, многие бесполезные для людей страницы теперь часто залетают в индекс. Возможно через 1-2 года они этот алгоритм починят, и он станет работать нормально.

Что можно делать

Во-первых, можно ничего не делать. То есть, раз Яндекс посчитал эти страницы достаточно значимыми, то можно надеяться, что их нахождение в индексе никак не повлияет.

Хотя, конечно, особо на это уповать не стоит. Лучше все же, если явно бесполезные страницы попадают в индекс, для начала посмотреть, отчего  или вопреки чему это происходит — допустим, они не были закрыты от индексации, но были закрыты canonical, то есть по идее не должны были индексироваться. 

Классический пример таких страниц — это пагинация. И стоит смотреть, действительно ли страницы пагинации могут принести пользу, при попадании в индекс ранжируются ли они по каким-либо запросам, мелькают ли хоть где-то, показываются ли хотя бы на 50 местах. И если показываются, то действительно ли будут лучшим ответом внутри сайта на те запросы, по которым они выходят. В 9 из 10 случаев ответ — нет. Почти всегда это полумусорные страницы, которые не являются лучшим ответом на запрос пользователя внутри сайта, поэтому желательно что-то сделать, как-то закрыть их.

Если такое происходит массово — например, есть такие проекты, где 20 страниц пагинации, и несмотря на то, что они были закрыты canonical, они влетели в индекс. Это много, и Яндекс сам же потом рано или поздно признает их мусорными, и это потом может повлияет на представление поисковика о сайте в целом. Точно также, если бы вы сами сделали такое, что индексировались бы пустые страницы или страницы пагинации — позже это могло бы негативно сказаться на продвижении сайта.  Поэтому можно с этими страницами что-то делать:

• закрывать их более жестко от индексации: либо все страницы пагинации - например, в robots или через метатег "robots"="noindex"; 

• можно закрыть не все, а только те, что проиндексировались. Каноникл оставить на тех, что не попали в индекс, а которые попали, закрыть более жестко через noindex;

• можно сделать их более похожими на первую страницу. Например, если на первой есть текст, а на остальных нет, на первой заголовок, а на остальных «страница 2», «страница 3»,.. — можно это исправить, подогнать по формату так, чтобы были похожи, и посомтреть, что получится, как Яндекс на это отреагирует.

Если до этого у вас применялся каноникал, то это все основные способы, как можно избежать попадания неканонических старниц в индекс. Как правило, неканонические страницы в индексе — это не проблема, но если их объем становится большой (10-30%), то уже можно и даже желательно самые бесполезные из индекса выкидывать, потому как иначе сам Яндекс на всю эту ситуацию и отреагирует негативно.