Error 404 — что значит, как найти и исправить ошибку

В этой статье мы разберём, что такое 404 ошибка, когда и каким образом она может навредить и как её отследить, а также приведём перечень рекомендаций по созданию собственной несуществующей страницы.

• Что такое 404 ошибка?
• Почему она появляется?
• Как отследить битые ссылки и переходы по ним?
• Может ли навредить?
• Собственная 404 страница.

 

404 ошибка: страница не найдена

“Ошибка 404” (или “Page Not Found”) – стандартный код статуса HTTP для случаев, когда сервер не может найти запрашиваемый пользователем документ. Проще говоря, вы попали на несуществующую страницу.

 

Причины появления ошибки:

• страница удалена с сайта;
• пользователь неправильно ввёл URL;
• страница переехала и редирект настроен неверно;
• сервер работает неправильно (случается крайне редко).

В идеальной ситуации ссылок, отдающих 404 ошибку сервера, на сайте (или внешних ссылках) не должно быть вообще. Будем реалистами: если у сайта более тысячи страниц, их появления чаще всего не избежать. Немного удивляет, когда в работе сталкиваешься с сайтом, у которого небольшое количество страниц (то есть отследить все неработающие ссылки можно вручную), а в рубрике “Свежие новости” на главной – три битые ссылки на статьи.

 

Резкий рост количества 404 ошибок

Одно дело, когда при обходе сайта поисковые роботы сообщают, что обнаружили несколько десятков ошибок, а если каждый день количество увеличивается на сотни или даже тысячи? Оперативное вмешательство и решение проблемы стоит начинать, если количество 404 ошибок превысило 10% от общего числа страниц на сайте.

Причины появления большого количества несуществующих страниц могут быть самые разные, но в основном они связаны с ошибками в коде (например, такие страницы могут создаваться скриптом и стилями, если стили находятся в коде шаблона, а не в отдельном файле).

Ещё одна причина, по которой роботы обходят страницы, которых никогда не было на сайте — последствия вирусной атаки (например, размещение дорвеев на сайте). Даже после её предотвращения и удаления дора, некоторое время роботы по-прежнему будут пытаться обходить созданные страницы. Это может создать огромное количество ошибок 404.

Благодаря различным инструментам можно без особого труда отслеживать переходы по таким ссылкам.

Как найти?

1. GTM, Google Analytics и Яндекс.Метрика

Отслеживать переходы пользователей на 404 страницу можно с помощью следующих сервисов:

Яндекс.Метрика

Для отслеживания переходов пользователей по битым ссылкам следует использовать “Параметры визитов” в Яндекс.Метрике. Для это нужно разместить в код счётчика строку “params:window.yaParams||{ }});”.

На самой странице 404 в любом месте нужно разместить следующий JS-код:

<script>
var url = document.location.pathname + document.location.search
var url_referrer = document.referrer;
var yaParams = {error404: {page: url, from: url_referrer}};
</script>

В этом коде: url — текущий адрес страницы 404, а url_referrer — адрес с которого на него попали. Так вы сможете отследить не только все битые ссылки, но и страницы, на которых они размещены.

Google Analytics

Чтобы отслеживать переходы, нужно установить на 404 страницу следующий код:

<script>
ga('send', 'pageview', '404.html?page='+ document.location.pathname + document.location.search +'&from=' + document.referrer);
</script>

, где document.location.pathname + document.location.search – URL отсутствующей на сайте страницы;

document.referrer – URL страницы, с которой пользователь перешёл на 404 страницу.

Google Tag Manager

Об отслеживании ошибок с помощью GTM вы можете ознакомиться в статье: “Настройка отслеживания 404 ошибок с помощью Google Tag Manager”.

2. Яндекс.Вебмастер и Google Search Console

Ознакомится с 404 ошибками, с которыми сталкиваются поисковые роботы, можно в сервисах для вебмастеров.

Яндекс.Вебмастер

Для просмотра страниц нужно перейти в раздел “Индексирование” — “Страницы в поиске” — “Исключенные страницы”. Выделить только страницы с нужной ошибкой можно с помощью фильтра по статусу “Ошибка HTTP: 404”.

Google Search Console

Обнаружить ошибки в Гугл Вебмастер можно через: “Сканирование” — “Ошибки сканирования” — “Ошибка 404”.

 

3. Инструменты для сканирования сайта на наличие битых ссылок

С помощью следующих инструментов можно просканировать сайт и проанализировать его на наличие неработающих ссылок:

• Screaming Frog SEO Spider Tool

После того как программа спарсила весь сайт, во вкладке “Response Code” отображаются страницы с 4хх и 5хх ошибками, а также документы с размещёнными на них ссылками. Единственный минус — приложение платное.

Проверить сайт на наличие страниц можно с помощью таких бесплатных инструментов, как:

• Netpeak Spider
• Xenu’s Link Sleuth
• Siteliner
• WildShark SEO Spider
• Webbee SEO Spider Tool

Проверить ответ сервера страниц из карты сайта можно с помощью Map Broker XML Sitemap Validator.
Подробнее: Как найти битые ссылки на сайте: обзор 4 удобных инструментов.

Или можно сделать так:

 

Чем опасна 404 ошибка?

Бытует мнение, что наличие 404 ошибок напрямую негативно влияет на индексирование сайта или на его позиции в поисковой выдаче. В большинстве случаев это не так.

Что происходит с такой страницей, когда робот находит её? Он удаляет её из индекса (если она уже там, если нет — просто не сканирует). Это естественно, ведь страница неинформативная и не полезна.

Но нужно помнить о существовании SOFT ошибок. “Мягкая” 404 — это не официальный ответ сервера, а скорее ярлык, который поисковые системы присваивают страницам после обхода.

Что не так с этими страницами и почему ПС так решили:

1. На странице мало или вовсе нет контента (Google может определить как 404, Яндекс — как некачественную).
2. Настроен редирект на страницу, которая не отвечает запросу пользователей.
3. Несуществующая страница выдаёт ответ сервера не 404 или 410.

В моей практике был случай, когда во время диагностики была обнаружена 404 страница, закрытая от индексации в файле robots.txt. В силу неопытности, для меня это было чем-то странным и непонятным: зачем закрывать от индексации несуществующую страницу? На самом деле всё оказалось намного интересней. Все ссылки на несуществующие страницы (и URL с ошибками) перенаправляли с помощью 302 редиректа на специально созданную страницу.

 

Чем это плохо?

302 редирект говорит поисковым системам о том, что страница временно переехала. Поэтому из индекса такие страницы не удаляются. Таким образом, роботы тратят ваше драгоценное время, продолжая раз за разом их обходить. Плюс к этому, вы заставляете их чувствовать себя некомпетентными, ведь они ведут пользователей на нерелевантные страницы.

Что выбрать: 301 или 404?

После удаления страницы возникает вопрос, что с ней делать дальше: настроить 404 ответ сервера или 301 редирект?

Каждый случай нужно анализировать по отдельности. Например, метод, которым успешно пользовались для интернет-магазина, может не подойти сайту услуг или другому интернет-магазину.

Настраиваем 404 ответ сервера, если по каким-то причинам страница полностью удалена с сайта.

301 редирект более уместен, чем 404, если:

• изменился адрес страницы (например, при смене структуры);
• страница релевантна запросу пользователей;
• возможно перенаправление на другую страницу с похожим контентом (одной тематики или с карточки товара на каталог);
• есть внешние ссылки на страницу.

301 перенаправление на главную страницу будет не самым лучшим решением как для пользователей (вызовет у них недоумение), так и для SEO (например, Googlebot расценивает их как SOFT 404).

404 ошибка и поведенческие факторы

Вспомните ощущения, когда вы заходите на сайт, чтобы получить ответ, а вместо информации видите белый экран с надписью “404 Error. Page Not Found”. Что обычно делает пользователь? Закрывает вкладку и открывает другой сайт.

Естественно, чем больше страниц на сайте отдают 404 ответ сервера, чем чаще пользователи сталкиваются с этой ошибкой, тем меньше времени они будут проводить на сайте и тем больше будет отказов. Алгоритмы поисковых систем настроены таким образом, что поведенческим факторам уделяется особое внимание. Они играют немаловажную роль в ранжировании.

Чтобы избежать ухудшения поведенческих факторов, нужно мотивировать пользователей остаться на сайте. Для этого нужно грамотно и креативно подойти к созданию 404 страницы.

Несуществующая страница

Чтобы пользователь остался на сайте, нужно подумать над созданием собственной 404 страницы, которая будет отображаться при возникновении ошибки.

Часто веб-мастера вовсе не придают ей значения, и пользователь видит следующее:

Задачи страницы:

• привлечь внимание пользователей;
• объяснить что произошло;
• подсказать пути решения проблемы.

Поисковые системы касательно собственной страницы 404 рекомендуют следующее:

Яндекс:

• страница должна внешне отличаться от остальных страниц сайта;
• для создания страницы выберите другие цвета или не используйте графику.

Google:

• страница должна быть выполнена в том же стиле (включая навигацию), что и основной сайт;
• разместите на ней ссылки на самые популярные статьи или разделы комментариев;
• дайте пользователям возможность сообщать о неработающих ссылках.

Общие рекомендации:

• она должна содержать ссылку на главную страницу;
• в вежливой форме донесите пользователю что страница, на которую он хотел попасть, недоступна.

Вышеперечисленные рекомендации не являются безоговорочными правилами для 404 страницы. Всё зависит от тематики сайта и целевой аудитории. Например, для интернет-магазина было бы уместно добавить поисковую строку, а для сайта услуг — контактные данные. У более взрослого поколения вряд ли вызовет восторг такая страница, но для сайта, у которого основная часть посетителей — играющая в компьютерные игры молодёжь, она будет уместной.

Полная анимационная версия на сайте Blizzard.

Заключение

При условии правильной настройки ответа сервера и грамотно разработанной страницы 404, у сайта не должно возникать проблем даже при большом количестве страниц с 404 ошибкой. Не пытайтесь обмануть поисковые системы и пользователей, настраивая редиректы, которые ведут не на релевантные страницы. Выбрав удобный способ, вы всегда сможете отследить битые ссылки и понять, как их исправить.

P.S. В знак благодарности, что дочитали статью до конца, мы подготовили подборку интересных и забавных 404 страниц. Наслаждайтесь 🙂

 

 

 

 

 

 

 

 

 

Если сомневаетесь насчёт отсутствия на сайте битых ссылок или других технических проблем, которые усложняют процесс его продвижения — отправьте нам запрос на лечение сайта, и мы постараемся помочь.

Еще по теме:

• Обновление PageSpeed Insights: что изменилось, на какие метрики обращать внимание?
• 301, 302 или 404? Что применять и в каких случаях?
• Страницы низкого качества или как понять, что твой сайт «не очень»