Error 404 – що означає, як знайти та виправити помилку

У цій статті ми розберемо, що таке 404 помилка, коли і яким чином вона може нашкодити і як її відстежити, а також наведемо перелік рекомендацій щодо створення власної неіснуючої сторінки.

• Що таке 404 помилка?
• Чому вона з’являється?
• Як відстежити биті посилання та переходи за ними?
• Чи може нашкодити?
• Власна 404 сторінка

 

404 помилка: сторінка не знайдена

“Помилка 404” (або “Page Not Found”) – стандартний код статусу HTTP для випадків, коли сервер не може знайти документ, запит якого зробив користувач . Простіше кажучи, ви потрапили на неіснуючу сторінку.

 

Причини появи помилки:

• сторінка видалена з сайту;
• користувач неправильно ввів URL;
• сторінка переїхала і редирект налаштований неправильно;
• сервер не працює належним чином (трапляється вкрай рідко).

В ідеальній ситуації посилань, які віддають 404 помилку серверу, на сайті (або зовнішні посилання) не повинно бути взагалі. Будемо реалістами: якщо у сайту понад тисяча сторінок, їх появи найчастіше не уникнути. Трохи дивує, коли в роботі стикаєшся з сайтом, у якого невелика кількість сторінок (тобто відстежити всі непрацюючі посилання можна вручну), а в рубриці “Свіжі новини” на головній – три биті посилання на статті.

 

Різке зростання кількості 404 помилок

Одна справа, коли під час обходу сайту пошукові роботи повідомляють, що виявили кілька десятків помилок, а якщо кожен день кількість збільшується на сотні або навіть тисячі? Оперативне втручання та вирішення проблеми варто починати, якщо кількість 404 помилок перевищила 10% від загальної кількості сторінок на сайті.

Причини появи великої кількості неіснуючих сторінок можуть бути найрізноманітніші, але в основному вони пов’язані з помилками в коді (наприклад, такі сторінки можуть створюватися скриптом і стилями, якщо стилі знаходяться в коді шаблону, а не в окремому файлі).

Ще одна причина, через яку роботи обходять сторінки, яких ніколи не було на сайті – наслідки вірусної атаки (наприклад, розміщення дорвеїв на сайті). Навіть після її запобігання та видалення дору, деякий час роботи, як і раніше, будуть намагатися обходити створені сторінки. Це може створити величезну кількість помилок 404.

Завдяки різним інструментам можна без особливих зусиль відслідковувати переходи за такими посиланнями.

Як знайти?

1. GTM, Google Analytics i Яндекс.Метрика

Відслідковувати переходи користувачів на 404 сторінку можна за допомогою наступних сервісів:

Яндекс.Метрика

Для відстеження переходів користувачів за битими посиланнями, слід використовувати “Параметри візитів” у Яндекс.Метрику. Для цього потрібно розмістити в код лічильника рядок “params: window.yaParams||{}});”.

На самій сторінці 404 у будь-якому місці потрібно розмістити наступний JS-код:

<script>
var url = document.location.pathname + document.location.search
var url_referrer = document.referrer;
var yaParams = {error404: {page: url, from: url_referrer}};
</script>

У цьому коді: url – поточна адреса сторінки 404, а url_referrer – адреса з якого на нього потрапили. Так ви зможете відстежити не тільки всі биті посилання, але і сторінки, на яких вони розміщені.

Google Analytics

Щоб відстежувати переходи, потрібно встановити на 404 сторінку наступний код:

<script>
ga('send', 'pageview', '404.html?page='+ document.location.pathname + document.location.search +'&from=' + document.referrer);
</script>

, де document.location.pathname + document.location.search – URL відсутньої на сайті сторінки;

document.referrer – URL сторінки, з якої користувач перейшов на 404 сторінку.

Google Tag Manager

Про відстеження помилок за допомогою GTM ви можете ознайомитися в статті: “Налаштування відстеження 404 помилок за допомогою Google Tag Manager”.

2. Яндекс.Вебмастер i Google Search Console

Ознайомитися з 404 помилками, з якими стикаються пошукові роботи, можна в сервісах для вебмайстрів.

Яндекс.Вебмайстер

Для перегляду сторінок потрібно перейти в розділ “Індексування” – “Сторінки в пошуку” – “Виключені сторінки”. Виділити тільки сторінки з потрібною помилкою можна за допомогою фільтру за статусом “Помилка HTTP: 404”.

Google Search Console

Виявити помилки в Гугл Вебмайстрі можна через: “Сканування” – “Помилки сканування” – “Помилка 404”.

 

3.  Інструменти для сканування сайту на наявність битих посилань

За допомогою таких інструментів можна просканувати сайт і проаналізувати його на наявність непрацюючих посилань:

• Screaming Frog SEO Spider Tool

Після того, як програма спарсила весь сайт, у вкладці “Response Code” відображаються сторінки з 4хх і 5хх помилками, а також документи з розміщеними на них посиланнями. Єдиний мінус – додаток платний.

Перевірити сайт на наявність сторінок можна за допомогою таких безкоштовних інструментів, як:

• Netpeak Spider
• Xenu’s Link Sleuth
• Siteliner
• WildShark SEO Spider
• Webbee SEO Spider Tool

Перевірити відповідь сервера сторінок з карти сайту можна за допомогою Map Broker XML Sitemap Validator.
Детальніше: Як знайти биті посилання на сайті: огляд 4 зручних інструментів.

Або можна зробити так:

 

Чим небезпечна 404 помилка?

Існує думка, що наявність 404 помилок безпосередньо негативно впливає на індексування сайту або на його позиції в пошуковій видачі. У більшості випадків це не так.

Що відбувається з такою сторінкою, коли робот знаходить її? Він видаляє її з індексу (якщо вона вже там, якщо немає – просто не сканує). Це природно, адже сторінка неінформативна і не корисна.

Але потрібно пам’ятати про існування SOFT помилок. “М’яка” 404 – це не офіційна відповідь сервера, а скоріше ярлик, який пошукові системи надають сторінкам після обходу.

Що не так з цими сторінками і чому ПС так вирішили:

1. На сторінці мало або зовсім немає контенту (Google може визначити як 404, Яндекс – як неякісну).
2. Налаштований редирект на сторінку, яка не відповідає запиту користувачів.
3. Неіснуюча сторінка видає відповідь серверу не 404 або 410.

У моїй практиці був випадок, коли під час діагностики була виявлена ​​404 сторінка, закрита від індексації у файлі robots.txt. Через недосвідченість, для мене це було чимось дивним і незрозумілим: навіщо закривати від індексації неіснуючу сторінку? Насправді все виявилося набагато цікавішим. Усі номери неіснуючі сторінки (і URL з помилками) перенаправляли за допомогою 302 редіректу на спеціально створену сторінку.

 

Чим це погано?

302 редирект говорить пошуковим системам про те, що сторінка тимчасово переїхала. Тому з індексу такі сторінки не видаляються. Таким чином, роботи витрачають ваш дорогоцінний час, продовжуючи раз по раз їх обходити. Плюс до цього, ви змушуєте їх відчувати себе некомпетентними, адже вони ведуть користувачів на нерелевантні сторінки.

Що вибрати: 301 або 404?

Після видалення сторінки виникає питання, що з нею робити далі: налаштувати 404 відповідь сервера чи 301 редирект?

Кожен випадок потрібно аналізувати окремо. Наприклад, метод, яким успішно користувалися для інтернет-магазину, може не підійти сайту послуг або іншому інтернет-магазину.

Налаштовуємо 404 відповідь серверу, якщо з якихось причин сторінка повністю видалена з сайту.

301 редирект більш доречний, ніж 404, якщо:

• змінилася адреса сторінки (наприклад, під час зміни структури);
• сторінка релевантна запиту користувачів;
• можливе перенаправлення на іншу сторінку зі схожим контентом (однієї тематики чи з картки товару на каталог);
• є зовнішні посилання на сторінку.

301 перенаправлення на головну сторінку буде не найкращим рішенням як для користувачів (викличе у них здивування), так і для SEO (наприклад, Googlebot розцінює їх як SOFT 404).

404 помилка та поведінкові чинники

Згадайте відчуття, коли ви заходите на сайт, щоб отримати відповідь, а замість інформації бачите білий екран з написом “404 Error. Page Not Found”. Що зазвичай робить користувач? Закриває вкладку та відкриває інший сайт.

Природно, чим більше сторінок на сайті віддають 404 відповідь серверу, чим частіше користувачі стикаються з цією помилкою, тим менше часу вони проводитимуть на сайті і тим більше буде відмов. Алгоритми пошукових систем налаштовані таким чином, що поведінковим факторам приділяється особлива увага. Вони відіграють важливу роль у ранжуванні.

Щоб уникнути погіршення поведінкових факторів, потрібно мотивувати користувачів залишитися на сайті. Для цього потрібно грамотно та креативно підійти до створення 404 сторінки.

Неіснуюча сторінка

Щоб користувач залишився на сайті, потрібно подумати над створенням власної 404 сторінки, яка буде відображатися під час виникнення помилки.

Часто веб-майстри зовсім не надають їй значення, і користувач бачить наступне:

Завдання сторінки:

• привернути увагу користувачів;
• пояснити що сталося;
• підказати шляхи вирішення проблеми.

Пошукові системи щодо власної сторінки 404 рекомендують наступне:

Яндекс:

• сторінка повинна зовні відрізнятися від решти сторінок сайту;
• для створення сторінки виберіть інші кольори або не використовуйте графіку.

Google:

• сторінка повинна бути виконана в тому ж стилі (включаючи навігацію), що і основний сайт;
• розмістіть на ній посилання на найпопулярніші статті чи розділи коментарів;
• дайте користувачам можливість повідомляти про непрацюючі посилання.

Загальні рекомендації:

• вона повинна містити посилання на головну сторінку;
• у ввічливій формі донесіть користувачеві, що сторінка, на яку він хотів потрапити, недоступна.

Перераховані вище рекомендації не є беззаперечними правилами для 404 сторінки. Все залежить від тематики сайту та цільової аудиторії. Наприклад, для інтернет-магазину було б доречно додати пошуковий рядок, а для сайту послуг – контактні дані. У більш дорослого покоління навряд чи викличе захоплення така сторінка, але для сайту, у якого основна частина відвідувачів грає в комп’ютерні ігри, молодь, вона буде доречною.

Повна анімаційна версія на сайті Blizzard.

Висновок

За умови правильного налаштування відповіді серверу та грамотно розробленої сторінки 404, у сайту не повинно виникати проблем навіть за умови великої кількості сторінок з 404 помилкою. Не намагайтеся обдурити пошукові системи та користувачів, налаштовуючи редиректи, які ведуть не на релевантні сторінки. Вибравши зручний спосіб, ви завжди зможете відстежити биті посилання і зрозуміти, як їх виправити.

P.S. На знак подяки, що дочитали статтю до кінця, ми підготували добірку цікавих і кумедних 404 сторінок. Насолоджуйтесь 🙂

 

 

 

 

 

 

 

 

 

Якщо сумніваєтеся щодо відсутності на сайті битих посилань або інших технічних проблем, які ускладнюють процес його просування – надішліть нам запит на лікування сайту, і ми постараємося допомогти.

Еще по теме:

• Сторінки низької якості або як зрозуміти, що твій сайт «не дуже»
• Огляд CMS-систем. Потужний, гнучкий, безпечний Drupal
• Що впливає на частоту індексації і як змусити пошукового робота відвідувати ваш сайт частіше