Добавит ли поисковик в свою базу страницы, которые не сразу открыли для индексации?

Автор статьи
Андрей Буйлов

Подробнее об авторе

В данной статье рассмотрим, будет ли поисковая система добавлять к себе в базу страницы, которые до этого были закрыты от индексации, а потом открылись.

Подписчик спрашивает: «Если страница изначально не индексируется, но в ней есть какие-то стандартные блоки (например, «Последние матчи команд»), а после добавления контента в поле «описание» она автоматически переходит в индексируемую. Бот пройдет ли на нее после того, как изначально увидит noindex?»

Будут ли добавлены в базу?

Когда закрываем страницу от поисковой системы с помощью noindex или любым другим способом, или она сама решает какую-либо их них исключить, то через некоторое время любой поисковик всё равно на эту страницу будет заходить. Однако чем дольше была закрыта от индексации (от добавления в базу поисковика), тем реже поисковая система на нее заходит. Потому что для чего ей это делать часто?

Предположим, какие-то разделы на сайте год были закрыты от поисковика. Зачем тогда тратить на них много ресурсов? Если есть «живые» страницы, то краулинговый бюджет (лимит обхода) лучше потратить на них. В итоге на такие страницы поисковые системы заходить будут, но намного реже.

Как ускорить индексацию

Таким образом, когда у вас какие-то разделы были закрыты, а потом открылись, то вам необходимо каким-нибудь образом намекнуть поисковой системе, что такая-то страница повысила свою значимость. И что поисковику было бы неплохо сходить и проверить, открылась ли она для индексации.

Для этого можно использовать разные приемы.

1. Если это Google, то использовать Indexing API.

2. Для Google и Яндекс можно ставить как внутренние, так и внешние ссылки на эту страницу.

3. Для Яндекса также можно брать Яндекс.Браузер и заходить через него на нужные разделы, которые таким вот образом открылись для индексации.

Есть скрипты, сайты отдельные, в которых можно имитировать заходы на эти страницы. Я.Браузер видит, что на них начали заходить люди, а у него в базе их нет. Тогда Яндекс идет проверять, и если страница действительно стала доступна, то добавляет к себе в базу и может ей отвечать на какие-то запросы пользователей. Таким образом обеспечивая большее количество поиска и больше прибыли для себя.

Поэтому такая механика ускорит добавление страниц в базу. Но даже если ничего не сделаете, все равно со временем они попадут в индекс. Вернее, не то, чтобы обязательно попадут в базу поисковика, потому как для этого им нужно не только быть открытыми для индексации, а также и соответствовать ряду требований, критериев по качеству и т. д. Однако поисковая система через время все-таки зайдет на эти страницы, увидит, что запрета на индексацию нет, заберет их и будет принимать решение, добавлять ли в свою базу. Но уже зная, что вы со своей стороны открыли и готовы показывать их людям в поиске.