Косяки в 404 страницах убьют SEO

Автор статьи
Андрей Буйлов

Подробнее об авторе

Ошибка 404 означает, что серверу не удается найти запрошенную пользователем страницу, так как ее не существует. Когда она возникает?

Допустим, у вас закончился какой-то товар, и вы решаете не просто поставить «нет в наличии», а прямо убрать страницу с ним. Или появились неактуальные статьи, которые попросту удаляете. И в том, и в другом случае на сайте пропадает определенная страница, но остается ее адрес, адрес этого товара, рубрики. При этом внутри содержимого нет. Тогда вы сообщаете поисковой системе, что такой страницы не существует — или в движке сайта устанавливаете, или просите программиста сделать так, чтобы вместо стандартного ответа «200 ok» выдавало «404, страница не найдена».

Такая ситуация на большинстве сайтов настроена по умолчанию и при удалении автоматически выдается «ошибка 404».

В каких случаях возникает ложная «ошибка 404»?

Однако бывает ряд случаев, когда движок может генерировать новые страницы, которых никогда не было на сайте. И они не всегда отдают «404». Например, такая ситуация часто возникает, когда к адресу сайта или к адресу конкретной страницы в конце добавляются произвольные символы.

Это можно легко проверить: заходите на любую страницу вашего сайта, в конце добавляете слэш (если его нет), после которого пишете любые буквы (к примеру, а,б,с). Далее нажимаете «enter» и пробуете перейти по этой странице.

Иногда при этом выдается не ошибка, а какая-то страница. Либо будет написано, что ошибка, но при этом, проверяя ответ сервера, вы увидите «200 ok» — как будто эта страница найдена.

Таких нюансов может быть довольно много. Движок реагирует на различные действия — возможно действия злоумышленников — и отдает неправильный ответ сервера, вместо «404» сообщая, будто страница существует. А на самом деле на ней дубль другой. И конечно там нужно выдавать как минимум 404, т.е. отвечать пользователям и поисковикам, что на самом деле ее нет.

Какие проблемы могут возникнуть?

Подобная уязвимость на сайте может случайным образом сработать против вас: как-то сгенерировать какие-то ссылки либо вашим движком, либо сторонним, партнерским, и многие такие страницы быстро заходят в индекс и т.д.

Возможен вариант, когда созданные и удаленные рубрики (если в движке эти ошибки есть) продолжают отдавать «200» вместо «404» — то есть продолжают отвечать поисковым системам, что «я нормальная страница, я есть». Поисковик туда заходит и видит дубль вышестоящего раздела. Это может стать проблемой, потому что сайт постепенно начинает состоять из таких дублей, из малозначимых страниц, а для поисковика это негативный сигнал. Как минимум, минус к расходованию так называемого крауд-бюджета. Также для поисковой системы это может явиться сигналом того, что с ресурсом и в других аспектах что-то не так, потому с ним надо быть осторожным.

И вы можете как случайно упереться в эту проблему, так и злоумышленники могут этим воспользоваться.

Например, у вас крупный сайт, для которого быстрая индексация поисковой системы критически важна, и ваши конкуренты об этом знают. Найдя у вас такую уязвимость, они могут начать загонять в индекс — ставить ссылки на эти страницы в такие несуществующие страницы вашего сайта и, соответственно, скармливать это поисковой системе. Поисковик будет захлебываться в новых страницах, не индексируя нормальные карточки товаров или нормальные новые информационные статьи.

Поэтому 404 ошибка, неправильно обработанная и неправильно обрабатываемая вашим движком, может принести серьезные проблемы при SEO-продвижении. И эту ситуацию нужно выявлять и устранять в один из первых месяцев.