Що впливає на частоту індексації і як змусити пошукового робота відвідувати ваш сайт частіше

Вебмастера часто стикаються з проблемою, коли сторінки тижнями не потрапляють в індекс пошукової системи. Особливо актуальна вона в Яндексі – нові сторінки в ньому з’являються значно пізніше, ніж у Google. А останнім часом Яндекс ще й рідко робить текстові апдейти – 2-3 рази на місяць. У цій статті ми розглянемо, що впливає на індексацію сайту, як її можна прискорити і як стежити за нею.

Швидкі посилання:

– Що впливає на частоту індексування сайту пошуковим роботом

– Як поліпшити індексацію сайту

– Як стежити за індексацією сайту

– Як повідомити робота ПС про зміни на сайті

– Завантаженість серверу, на якому знаходиться сайт (якість хостингу)

Якщо на сервері знаходиться багато інших ресурсів, а технічні характеристики серверу не дозволяють оперативно справлятися з усіма запитами роботу, робот починає відвідувати такий сайт рідше. Відповідно, йому буде потрібно більше часу для включення сторінок у результати пошуку.

– Частота оновлення сайту загалом

Пошукові роботи аналізують частоту оновлення контенту на сайті, в результаті чого визначають, як часто будуть відвідувати той чи інший сайт.
Чим частіше на сайт додається новий контент, тим частіше роботи ПС відвідують його.

– Інтерес відвідувачів до сайту (ПФ)

Пошуковий робот може переглянути політику планування та відвідувати сайт частіше, якщо на сайт регулярно додаються нові матеріали, цікаві користувачам (наприклад, новини, статті):

• користувачі затримуються на сайті;
• переходять по внутрішнім сторінкам;
• додають сайт у закладки;
• діляться матеріалом у соц. мережах і т.д.

Пошуковий робот за один візит індексує певну кількість сторінок згідно виділеної квоти, яка залежить від безлічі параметрів сайту. Тобто навіть якщо робот відвідав ваш сайт, це ще не означає, що він проиндексирует і включить в свою базу всі сторінки сайту. Тому дуже важливо, щоб робот-індексатор не тільки відвідав ваш сайт, але і включив у свою базу всі нові та змінені сторінки сайту.

Нижче в статті ми розглянемо, як змусити робота ПС частіше відвідувати ваш сайт і при цьому збільшити кількість сторінок, яку за раз може проіндексувати робот ПС, – краулінговий бюджет.

1. Проаналізуйте сайт на наявність дублів

Даний пункт поставили першим, оскільки дублі сторінок – одна з основних проблем, яка погіршує індексацію сайту пошуковими роботами.

Коли на сайті є дублі, краулінговий бюджет витрачається на непотрібні сторінки замість нових сторінок або сторінок з оновленим матеріалом.

Про те, як знайти на сайті дублі, докладно написано в статтях нашого блогу:

– Дублі сторінок. Чим небезпечні? Як знайти та видалити?
– Як провести технічний аудит сайту

2. Налаштуйте сервер на видачу правильного HTTP-статусу

Коректне налаштування кодів статусу HTTP дуже важливе для правильної індексації сайту.

Коли робот ПС запитує сторінку сайту, код статусу надає йому інформацію про сайт і конкретну сторінку:

• існує сторінка чи ні,
• налаштована переадресація,
• чи немає на стороні сервера помилки.

Наприклад, код http «404 Not Found» повідомляє, що сторінка за адресою, яку запитують, не існує, а код http «OK 200» повідомляє, що сторінка доступна.

Також рекомендуємо налаштувати заголовок Last-Modified.

Тема Last-Modified інформує робота ПС про дату останньої зміни документа. Таким чином, робот-індексатор перевіряє на оновлення тільки документи, які дійсно змінилися з часу попереднього обходу, або нові сторінки, не витрачаючи при цьому краулінговий бюджет на сторінки, які не змінювалися.

Детально про заголовок Last-Modified тут. 

3. Моніторте час відгуку серверу та швидкість завантаження сторінок

Час відповіді серверу на запит браузера безпосередньо впливає на індексацію сайту.

З урахуванням мережевих затримок він повинен бути не більше 300 мс.

Сервіси для вимірювання відгуку сервера:

– https://www.host-tracker.com/
– Яндекс.Вебмастер 

Для індексації сайту також дуже важлива швидкість завантаження сайту.

Час завантаження сторінки не повинен перевищувати 3-5 секунд.

Сервіси по перевірці швидкості завантаження:

– https://tools.pingdom.com/fpt/
– https://www.webpagetest.org/

Побачити, чи є недоліки, можна за допомогою сервісу Google PageSpeed.

4. Грамотно організуйте структуру сайту

Чим зрозуміліше для пошукового робота виглядає структура сайту, тим він краще буде його індексувати.

Рекомендації щодо структури сайту:

– Рівень вкладеності сторінок

Будь-яка сторінка, що просувається, повинна бути не далі, ніж за 3 кліки від головної. Це дуже важливо для індексації, оскільки пошуковому роботу буде потрібно набагато менше часу для індексації простого та неглибокого сайту, ніж на складний ресурс із заплутаною системою навігації.

– Реалізуйте на сайті хабів сторінки

Хабові сторінки – це сторінки, які містять посилання на розділи та підрозділи, що служать для навігації користувачів по сайту.

Для того щоб поліпшити індексацію, хабові сторінки необхідно реалізувати за один клік від головної сторінки сайту.

Що нам дасть реалізація хабових сторінок:

А. Зменшить рівень вкладеності
Б. Прискорить індексацію сторінок пошуковим ботом
В. Допоможе користувачам легше знайти потрібний матеріал

Приклад хабових сторінок:

– Виводьте анонси на нові сторінки на головну сайту

Пошуковий робот найчастіше відвідує головну сторінку сайту. Якщо на ній будуть розміщені посилання на нові сторінки або сторінки з оновленим контентом, є велика ймовірність, що робот їх проіндексує.

Наприклад:

– Реалізуйте віджет у сайдбарі останніх статей

Ще один хороший спосіб зв’язати між собою сторінки сайту:

– Не робіть меню на скриптах і flash

Головним недоліком використання меню на скриптах і flash є те, що пошукові роботи його не бачать.

5. Налаштуйте файл robots.txt

Коректно складений robots.txt дозволить виключити можливі проблеми, що виникають під час сканування сайту роботом. Це може значно прискорити індексацію ресурсу загалом.

У файлі robots.txt потрібно прописати інструкції для роботів пошукових систем: які сторінки сайту індексувати, а які – ні. У такому випадку пошуковикам потрібно менше часу для сканування сайту.

Наприклад, у robots.txt можна закрити:

• службові файли та папки CMS;
• внутрішні та зовнішні дублі (якщо є);
• форми відповіді на форумі;
• технічні сторінки;
• файли, які не несуть користь для користувача (наприклад, статистика відвідувань, сторінки з результатами пошуку).

Як створити правильний robots.txt?

1. Створіть файл robots.txt у текстовому редакторі.

2. Заповніть його відповідно до правил. Синтаксис Robots можна подивитися в рекомендаціях Яндексу для вебмайстрів.

3. Перевірте файл у сервісі Яндекс.Вебмайстер -> Аналіз robots.txt.

Скріншот з Яндекс.Вебмайстра:

4. Якщо перевірка пройшла успішно і помилок не виявлено, завантажте файл у корінь сайту.

6. Зовнішні сигнали посиланнями

Щоб прискорити індексацію сайту, рекомендуємо залучати на нього роботів ПС за допомогою зовнішніх посилань. Наприклад:

• Зареєструйте сайт у трастових каталогах, довідниках і рейтингах (наприклад, Яндекс.Каталог, DMOZ і Каталог Mail.ru);
• Розміщуйте свої статті на платній основі на сайтах такої самої тематики;
• Спілкуйтеся на тематичних форумах (про крауд-маркетингу докладніше тут);
• Інтегруйте сайт із соціальними мережами
• Створіть RSS-трансляцію на сайті;
• Розміщуйте статті у сервісах соціальних новин;
• Працюйте із соціальними закладками

7. Пишіть якісний і унікальний контент

Якість контенту також впливає на швидкість індексації сайту. Поганий контент, який не дає повну відповідь на запит користувача, в якому є граматичні помилки, велика щільність ключових слів, індексується гірше.

Під час написання тексту важливо враховувати, що:

• Тексти повинні містити тільки найбільш важливу інформацію, корисну для відвідувачів.
• Матеріал повинен давати повну відповідь на запит, після прочитання якого користувач перестане шукати інформацію на цю тему.
• Акцентуйте увагу на важливих нюансах, прибирайте «воду» та міркування ні про що.
• Тексти повинні бути грамотно структурованими (використовуйте заголовки, підзаголовки, діліть текст на абзаци, робіть списки, коли вони доречні, і т.д.)
• Тексти повинні містити ключові слова, але в помірній кількості – уникайте переспаму.
• Бажано, щоб унікальність текстів була не нижче 70%, згідно з сервісом https://advego.ru/plagiatus/ або https://www.etxt.ru/antiplagiat/.

Додайте сайт у сервіс Яндекс.Вебмайстер і Google Search Console

Якщо сайт ще не додано в панелі вебмайстрів пошукових систем, настійно рекомендуємо додати. З їх допомогою ви зможете легко аналізувати індексацію проекту. Наприклад:

• коли робот останній раз відвідував ваш ресурс;
• скільки сторінок він завантажив у свою базу;
• включена певна сторінка в базу пошуку;
• які помилки виявив робот;
• час завантаження сторінки.

Також ви можете повідомити ПС про нові або видалені сторінки і моніторити інші параметри сайту, не пов’язані з індексацією. Наприклад, зовнішні посилання, що ведуть на сайт, запити, за якими користувачі переходять на сайт, і т.д.

Тільки повний аналіз зможе допомогти вчасно виявити та виправити помилки індексації сайту.

Зареєструвати сайт у вебмайстрах Яндексу та Google просто.

Для цього потрібно виконати процедуру в 3 кроки, які супроводжуються докладною інструкцією, в Я.Вебмайстрі:

Додавання сайту в Google Search Console також супроводжується інструкцією:

– Створіть карту сайту

Щоб допомогти пошуковому роботу знайти нові сторінки на сайті, рекомендуємо створити карту сайту в двох форматах: xml і html.

Карту в форматі html потрібно викласти на сайт як окрему сторінку. Під час сканування сайту робот потрапляє на дану сторінку – вона повинна містити посилання на всі сторінки сайту, а це допоможе йому знайти їх.

Карту в форматі XML (Sitemaps) слід додати в панель інструментів для веб-майстрів Google і Яндексу.

Рекомендації щодо створення карти сайту XML (Sitemap):

– Карта сайту повинна автоматично генеруватися й оновлюватися під час додавання на сайт нових URL або видалення старих.

– У карту сайту не повинні потрапляти закриті від індексації сторінки.

– Після створення файлу необхідно переконатися, що в ньому немає помилок. Зробити це можна за допомогою спеціальних інструментів пошукових систем:

• Яндекс-валідатор файлів Sitemap
• Google – «Як перевірити файл Sitemap?»

Також у карті XML (Sitemap) можна вказати:

• пріоритет індексації – за допомогою тегу <priority>;
• частоту оновлення конкретної сторінки – за допомогою тегу <changefred>.

Після того як карта сайту буде створена, інформацію про неї потрібно додати в панель інструментів для веб-майстрів Google і Яндексу.

• Рекомендації Яндексу
• Рекомендації Google

– Напишіть скрипт «Ловець ботів»

Для великого проекту можна застосувати таку методику – в момент приходу роботу ПС на сайт спеціальний скрипт показує роботу посилання на непроіндексовані сторінки сайту.

Недолік використання методики – складна технічна реалізація.

– Використовуйте «Add URL» пошукових систем

Це найбільш «традиційний» спосіб прискорення індексації нових сторінок на сайті. За допомогою « Add URL » пошуковій системі можна повідомити як про новий сайт, так і про нову сторінку на сайті.

Нижче наведемо посилання на «Add URL» найбільш популярних пошукових систем:

Щоб повідомити про нову сторінку ПС Яндексу, використовуйте форму add url Яндекс:

Щоб повідомити про нову ПС Google, використовуйте форму add url Google:

Недолік використання цього інструменту – додавання сторінок у дані форми не дає гарантій, що сторінка відразу ж виявиться в базі пошукової системи.

– Для швидкої індексації нових сторінок в Google за допомогою інструменту «Подивитися як Googlebot»

Скористатися даним інструментом можна після того, як сайт буде додано в Google Search Console (вебмайстер).

Google Search Console -> Розділ Сканування -> Подивитись як Googlebot -> Вводимо потрібний URL -> Кнопка «Сканувати» -> Кнопка «Додати в індекс», після чого з’явиться напис «URL відправлений на індексування»:

Також за допомогою даного інструменту можна дізнатися час завантаження сторінки та дані по процесу сканування.

Єдиний недолік – необхідно кожен раз під час додавання нового матеріалу адресу вводити вручну.

– Плагін-Пінгер для прискорення індексації нових сторінок в Яндекс

Підвищити пріоритет індексування нових сторінок сайту можна за допомогою спеціальних POST-запитів. Детальніше тут.

Якщо ваш сайт побудований на основі популярних CMS, наприклад, WordPress, Joomla, Drupal – встановіть спеціальний плагін Пінгер. Він автоматично буде повідомляти Яндексу про появу нових сторінок на вашому сайті.

Що для цього необхідно зробити:

А. Встановіть Пошук Яндекс:

Б. Встановіть і налаштуйте плагін відповідно до інструкції:

Після публікації нової сторінки зайдіть у налаштування плагіна, у вікні «Повідомлення про статус плагіна» має з’являтися повідомлення «Плагін працює коректно» і виводитися остання додана адреса.

Інші можливі статуси та їх значення можна подивитися тут.

– Спеціальні форми ПС для прискорення індексації блогу «Пінг»

Якщо у вас блог з підпискою на RSS, для прискорення індексації нових сторінок ви можете використовувати спеціальну форму ПС «Пінг».

«Пінг» – це оповіщення пошукових систем про зміни на вашому сайті.

Для додавання нового запису в ПС Google потрібно використовувати форму «Blog Search» за адресою:

Для додавання нового запису в ПС Яндекс потрібно використовувати форму «Надіслати пінг» за адресою:

– Безкоштовні сервіси пінгування

Для прискорення індексації нових документів використовуйте безкоштовні сервіси пінгування, наприклад, https://seo-ng.net/seo-instrumenty/ping_services.html:

Важливо! Сервіси пінгування використовуйте тільки за наявності свіжого матеріалу на сайті. Також не варто один і той самий сайт пінгувати в різних сервісах.

Підіб’ємо підсумки – щоб прискорити індексацію сайту в цілому, необхідно:

1. Провести технічну оптимізацію сайту.

2. Організувати грамотну структуру сайту.

3. Регулярно додавати новий якісний матеріал на сайт.

4. Додаючи нові сторінки, потрібно повідомляти про них ПС.

5. Залучати на сайт роботів ПС за допомогою зовнішніх посилань.

Еще по теме:

• 301, 302 або 404? Що застосовувати і в яких випадках?
• 6 плагінів для прискорення сайту на WordPress
• Огляд CMS: PrestaShop – переваги та недоліки