Сторінки низької якості або як зрозуміти, що твій сайт «не дуже»

Не такий страшний чорт, як його малюють
– російське прислів’я

Іноді досить складно зрозуміти, що від тебе хочуть пошукові системи, що саме вони розуміють під значенням «сторінки низької якості»? Часом дивишся на сторінку і відверто не розумієш, чому ж її не злюбив Яндекс або Google. У цій статті ми розглянемо сторінки, які ПС видаляють з пошуку, вважаючи недостатньо якісними.

• Що таке «низькоякісні сторінки»
• Як знайти проблемні сторінки на своєму сайті
• Типи низькоякісних сторінок
• Вплив сторінок низької якості на ранжування всього сайту
• І, головне, що робити з такими сторінками

Сторінки низької якості в розумінні пошукових систем

У блозі Яндексу Олена Першина дає наступне визначення сторінки низької якості: «Під поняттям неякісна сторінка ми розуміємо сторінки, ймовірність показу яких в пошуку практично нульова. Зі зрозумілих причин ми не розповідаємо способи визначення таких сторінок, але це чіткий сигнал, що якщо ви хочете бачити цю сторінку в пошуку, то зі сторінкою потрібно щось робити».

Внесемо трохи коректив у слова представника Яндексу: оскільки алгоритми іноді дають збій, причому на користь сайтів, сторінка може займати ТОП, а потім безслідно зникнути з видачі.

Тобто, сторінки низької якості – це документи, які не мають цінності, не несуть нову та корисну інформацію, не дають релевантну відповідь на питання користувача, з точки зору пошукових систем.

Як виявити віддалені низькоякісні сторінки

Яндекс.Вебмайстер

Найпростіше знайти виключені сторінки, скориставшись інструментом Яндекс.Вебмайстер.

Переходимо в розділ «Індексування» – «Сторінки в пошуку».

Переходимо на вкладку «Виключені сторінки» – вибираємо статус «Недостатньо якісна».

Можна, не переходячи з «Останніх змін», вибрати статус «Вилучено: Недостатньо якісна».

Google Search Console

На відміну від Яндексу, Google не надає інформацію про те, які статті було вилучено з пошуку через якість. Навіть у новій бета-версії Google Search Console, на жаль, ця функція відсутня.

Єдиним сигналом від Google зараз можна вважати «Відправлений URL повертає неправдиву помилку 404». У таких випадках потрібно проаналізувати сторінки, переконатися, що вони існують, а не видалені (і просто відповідь сервера некоректна). Детальніше про м’яку 404 можна прочитати в нашому блозi.

Отже:

1.  Переходимо в нову версію Google Search Console.
2.  У бічному меню знаходимо «Статус» – «Індексування відправлених URL».

3. Вибираємо рядок «Відправлений URL повертає неправдиву помилку 404».

4. Аналізуємо виключені сторінки.

Причини видалення сторінок

Проаналізувавши велику кількість різних сайтів і виявивши закономірність у сторінках, видалених через низьку якість, ми прийшли до наступних висновків:
1)  Алгоритм Яндексу недосконалий: замість того, щоб віднести сторінку в видалені, наприклад, через дублювання, він виключає її як низькоякісну.
2) Сторінки низької якості частіше зустрічаються на комерційних сайтах – інтернет-магазинах і агрегаторах, ніж на інформаційних (за рахунок автоматичної генерації).

Типологія вилучених сторінок низької якості

1. «Жертви» некоректної роботи алгоритму

До цієї категорії ми віднесемо сторінки, які повинні були бути видалені з інших причин.

1.1. Дублі сторінок

До сторінок низької якості досить часто потрапляють дублікати сторінок.

Такі сторінки досить легко визначити, якщо крім URL нічого не унікалізувати.

1.2. Сторінки сортування, пагінації та GET-параметри

Найчастіше Яндекс виключає такі сторінки, як дублі, але, як показано на прикладі нижче, вони можуть бути видалені і з іншої причини.

Сторінки сортування:

Сторінки пагінації:

GET-параметри:
У цьому прикладі GET-параметри визначають регіон користувача.

1.3. Неголовне дзеркало

Сайт переїхав на захищений протокол. Довгий час робот Яндексу не знав, що робити зі старою сторінкою на HTTP і, то видаляв її як неякісну, то додавав назад у пошук. За підсумком, через кілька місяців, він видалив сторінку як не головне дзеркало.

1.4. Сторінки, закриті в файлі robots.txt

Директиви в файлі robots.txt не є прямими вказівками для пошукових роботів, а служать більше рекомендаціями. Виходячи з практики, бот Яндексу більше дотримується установок, прописаних у файлі, ніж Google. Але не цього разу. Як і в попередньому випадку, «помучивши» кілька разів сторінку, він все-таки «зглянувся» і видалив її з пошуку як заборонену в файлі robots.txt.

2. Дійсні недостатньо якісні сторінки

У цю групу «я поганий, некорисний і нікому не потрібний» потрапляють сторінки низької якості, які дійсно є такими.

2.1. Шаблонна генерація сторінок
Часто шаблонне заповнення та генерація сторінок тягне за собою помилки внутрішньої оптимізації: неунікальні Title, відсутній Description, з H1 щось не так і т.д.

Тут важливо сказати, що користувач без проблем зрозуміє різницю у сторінках і для нього вони можуть бути навіть корисними, але він про них не дізнається, оскільки роботи стоять на сторожі порядку не допустять потрапляння даних сторінок у пошук.

Побачивши Title на сторінці, довго не довелося гадати, що з нею не так.

2.2. Погане заповнення карток товару

Створити картку товару просто, а от наповнити її якісним контентом, описом товару, зображеннями – не кожному під силу.

2.3. Лістинг без лістингу

Створювати сторінки категорій/підкатегорій без товару – немає сенсу, оскільки:

• навряд чи така сторінка потрапить у ТОП;
• найімовірніше, показник відмов на такій сторінці буде максимальний.

Про це скаже і сам Яндекс, виключивши статтю зі свого пошуку як недостатньо якісну.

2.4. Сторінки з малою кількістю контенту

Незважаючи на слова підтримки Яндексу, що важлива не кількість контенту, а якість, його відсутність – не дуже гарна ідея.
Наприклад, на цій сторінці, крім шаблонної частини та двох зображень, нічого немає.

2.5. Сторінки, не призначені для пошуку

До цієї групи відносяться сторінки robots.txt, Sitemap, RSS-стрічки.
Мало не в кожному проекті можна зустріти файл robots.txt, видалений з пошуку як недостатньо якісну сторінку.

Не варто панікувати, робот про нього знає і пам’ятає. Сторінка просто не буде відображатися в пошуковій видачі – ну а навіщо вона там потрібна?
XML- и HTML-карти сайту також виключаються. Особливо якщо у вас багатосторінкова карта сайту – яка користь від неї в пошуку?

Яндекс вважає, що RSS-стрічкам в пошуку теж немає місця.

2.6. Сторінки з некоректною відповіддю сервера

У цю групу ми віднесемо сторінки, які повинні видавати 404 відповідь серверу, а замість цього відповідають 200 ОК.

Наприклад, це можуть бути неіснуючі сторінки пагінації. Яндекс виключив восьму сторінку пагінації при наявних семи.

Також це можуть бути порожні сторінки. У такому випадку потрібно аналізувати та приймати рішення: налаштовувати 404 відповідь серверу або 301 редирект.

Google може видалити такі сторінки, як SOFT 404, але про це трохи пізніше.

2.7. «Потрібно більше сторінок»

Цим часто грішать агрегатори та інтернет-магазини, вважаючи, що чим більше сторінок, тим більше видимість і трафік. Сторінки створюють, не беручи до уваги їх якість і потребу.

Наприклад, низькоякісними є сторінки, створені під кожне питання з FAQ.

Часто непотрібні сторінки створюються за допомогою застосування всіх фільтрів. Я погоджуся, що потрібно думати про відвідувачів і зручність користування сайтом. Якщо у інтернет-магазину великий асортимент, то структура сайту повинна складатися з безлічі категорій і підкатегорій, а також мати різні фільтри. Але, по-перше, чи потрібно створювати сторінку для «порцелянових ляльок 20 см з блакитними очима в рожевій сукні з кошиком» і, по-друге, чи потрібні такі сторінки в пошуку?

2.8. Технічні помилки

Яндекс не шанує сторінки з pop-upом, який перекриває текст без можливості його закрити, або випадково створені сторінки під зображення.

Як повинно бути і як реалізовано на сайті:

Випадково створена сторінка:

2.9. SOFT 404

Як ми вже говорили, Google прикріплює сторінкам саме такий ярлик. Це можуть бути порожні сторінки або ж сторінки з дуже малою кількістю контенту.

Вплив низькоякісних сторінок на ранжування

Скільки б сторінок не було виключено з пошуку з цієї причини, на ранжируванні інших сторінок сайту це ніяк не відіб’ється.

Цей алгоритм видалення сторінок аналізує кожну сторінку окремо, намагаючись відповісти на питання: «Якщо сторінка буде в пошуку, чи дасть вона релевантну відповідь на питання користувача?».

Як каже Яндекс, сторінка може бути виключена з пошуку навіть у тому випадку, якщо відсутні запити. Робот може повернути її, якщо кількість запитів, яким буде релевантна сторінка, збільшиться.

Що ж робити зі сторінками низької якості

Вживати заходів можна тільки після того, як ви визначили причину виключення сторінки з пошуку. Без з’ясування обставин не варто панікувати, відразу видаляти сторінки, налаштовувати 301 редирект.

Алгоритм дій після визначення причини видалення сторінки:

Дублі сторінок: 301 редирект або rel=”canonical”.

Сторінки сортування, пагінації та GET-параметри: налаштовуємо rel=”canonical”/унікалізуємо сторінки пагінації.

Неголовне дзеркало: перевіряємо 301 редирект, відправляємо на переіндексацію.

Сторінки, закриті в файлі robots.txt: якщо сторінка не потрібна в пошуку, налаштовуємо метатег noindex.

Шаблонна генерація сторінок: якщо сторінка потрібна в пошуку – унікалізуємо її, працюємо над якістю.

Погане заповнення карток товару: додаємо опис товару, зображення і т.д.

Лістинг без лістингу:

• перевіряємо, чи приносили такі сторінки трафік;
• визначаємо, чи потрібні вони користувачам;
• чи тимчасово на них відсутній товар, чи його не було і не буде.

Вживаємо заходів, виходячи з результату. Наприклад, якщо сторінка приносила трафік і на ній тимчасово відсутній товар, можна вивести стрічку зі схожими товарами або з суміжними категоріями.

Сторінки з малою кількістю контенту: визначаємо необхідність таких сторінок у пошуку, якщо вони потрібні – наповнюємо якісним контентом; не потрібні – налаштовуємо метатег noindex.

Сторінки, не призначені для пошуку: тут все просто – нічого не робимо, просто живемо з цим.

Сторінки з некоректною відповіддю серверу та SOFT 404: як би не логічно це прозвучало, налаштовуємо коректну відповідь серверу.

«Потрібно більше сторінок»: перевіряємо, чи приносили такі сторінки трафік, визначаємо, чи потрібні вони користувачам у пошуку, чи частотні запити – вживаємо заходів, виходячи з результату.

Сторінки з технічними помилками: виправляємо недоліки/якщо сторінки не потрібні – закриваємо noindex/налаштовуємо 404 відповідь серверу.

ВАЖЛИВО: вище перераховані загальні рекомендації, які найчастіше застосовуються в тій чи іншій ситуації. Кожен випадок треба розглядати в індивідуальному порядку, знаходити оптимальне вирішення проблеми.

Висновок

На жаль, видача пошукових систем переповнена сміттям, неякісним контентом і безглуздими згенерованими сторінками. Яндекс і Google активно борються з такими сторінками, виключаючи їх з пошуку. Ми за якісний контент. Тому, якщо у вас виникли труднощі, ви спостерігаєте, як пошукові системи видаляють сторінки, посилаючись на недостатню якість, ми можемо провести технiчний аудит вашого сайту та написати інструкції щодо вирішення проблеми.

Еще по теме:

• Структура комерційного сайту та SEO
• Огляд CMS-систем. Потужний, гнучкий, безпечний Drupal
• Сторінки низької якості або як зрозуміти, що твій сайт «не дуже»