Ошибка 404 появляется, если перейти по ссылке на ресурс, которого уже не существует. При этом важно, чтобы сайт не только проинформировал об отсутствии запрошенной им страницы, но и отдал поисковой системе правильный ответ сервера, чтобы та знала об этом. Для этого существует ответ сервера «404», или «страница не найдена — not found». Для пользователя при этом предлагается вариант интерфейса, где он видит информацию об отсутствии и предложение вернуться на главную, либо меню с навигацией, предлагающей пути решения в поиске его запроса.
Если поисковая система при попытке открыть несуществующий ресурс вместо ответа «404 — not found» получает ответ «200 о'кей», это может создать проблемы для индексации сайта, а соответственно и для позиции его продвижения. Это происходит потому, что поисковая система будет получать большое количество однотипных ответов сервера, будто бы они существуют на самом деле.
Робот-зеркальщик поисковой системы будет принимать решение, индексировать их или нет, и при большом количестве подобных все же примет решение подклеивать их, то есть удалять из индекса все повторы. В итоге под эту процедуру могут попасть и нормальные страницы. К вышеуказанной проблеме присоединяется и то, что у поисковой системы снижается уровень доверия к вашему сайту.
Поэтому необходимо следить, чтобы корректная информация об отсутствии искомой страницы получалась не только пользователем, но и поисковой системой. Это и есть ответ сервера — «404 — not found».