Швидковидача Яндексу. Як залучити швидкоробота

• Швидковидача та її види
• Який бот індексує, як його відстежити
• Який контент потрапляє у швидковидачу
• Як оптимізувати контент, щоб потрапити у швидковидачу
• Проблема індексації швидкоботом
• Висновок

Думаю, кожен веб-майстер або власник хотів би, щоб сторінки його сайту якомога швидше потрапляли в індекс і приносили трафік.
Це стало можливим. 9 липня 2010 року Яндекс представив рішення у вигляді швидковидачі. Не варто поспішати радіти, все не так просто, як хотілося б. У швидковидачі багато нюансів, до того ж не всі ресурси можуть потрапити у неї. Нижче розглянемо, що таке швидковидача, як стати одним з обраних, котрим дозволено у неї потрапити.

Швидковидача та її види

Швидковидача – це технологія Яндексу, яка додає (підмішує) в індекс документи протягом декількох хвилин після їх появи на сайті. Вона використовує окремий алгоритм ранжування, під час розрахунку якого враховуються лише внутрішні фактори.

Приклад швидковидачі

Термін життя швидковидачі – 3 дні. Після цього сторінки, які в неї потрапили, індексує основний бот. На них діє вже основний алгоритм ранжування, після обчислення якого, сторінка займає відповідну позицію у видачі.

Раніше швидковидача ділилася на 2 типи: Ultra і звичайну. Ultra перебувала у видачі до 3 годин, потім переходила у звичайну, яка жила до 3 днів.

Їх можна було визначити за такими показниками:

Ultra – через збережену копію сторінки, в адресі якої перебував параметр «src=FT».

Приклад адреси збереженої копії зі значенням «src=FT»

Звичайна визначалася через Яндекс.XML, в якому значення size = 0.

Приклад XML- коду із значенням size=0

Зараз такими способами не можна визначити, до якого типу належить та чи інша сторінка швидковидачі (крім перегляду дати додавання).

В Ultra показник «src=FT» збереженої копії з’являється без прив’язки до часу додавання. Він може з’явитися, якщо документ був доданий вчора, і не з’явитися, якщо доданий годину тому і навпаки.

Таблиця наявності показника «src=FT» у видачі за запитом «іспанія швейцария прогноз матчу»

Зі звичайною швидковидачею все так само, як і з Ultra: у частини сторінок є значення size 0, а у частини – немає. У цьому випадку також немає прив’язки до часу додавання.

Дізнатися, що сторінка потрапила у швидкоіндекс, можна двома способами:

1. Через оператор url: адреса сторінки.

Приклад застосування оператору url:

2. Через запит, який належить до сторінки.

Пошук сторінки у швидковидачі через запит

Також варто сказати, що позиції у швидковидачі постійно змінюються. Це ускладнює їх аналіз. Так, позиції можуть змінюватися кожні 5 хвилин.

Таблиця порівняння позицій

Який бот індексує і як його відстежити

Для швидковидачі є спеціальний бот – Orange. Він працює в режимі реального часу, обходить сайти, дивиться на нові сторінки, обробляє їх і відразу додає в індекс.

Хоч ми і знаємо, який бот належить дошвидковидачі, побачити його не вийде. Справа в тому, що він «хлопець сором’язливий», тому краулить сайт під виглядом звичайного пошукового бота.

Відповідь техпідтримки

Щоб зрозуміти, що бот заходив на сайт, потрібно відкрити логи. Не варто дивитися сторінки, які були додані тиждень тому.
Краще звернути увагу на ті, які були додані протягом дня, максимум двох.

Приклад логів

Подивитися, чи заходив бот на сайт, також можна через Веб-майстра. Для цього слід перейти у вкладку «Індексування», вибрати пункт «Статистика обходу» → «Все». Після цього вивантажити список сторінок, які обійшов бот.

Скріншот з Вебмайстра «Статистика обходу»

Таким чином, з’являється можливість перевірити, на які сторінки заходив краулер. Ці рішення доцільно застосовувати, коли на сайті виникають проблеми з індексацією сторінок швидкоботом.

Який контент потрапляє у швидковидачу

У швидковидачу потрапляють подієві сторінки – сторінки, контент яких висвітлює подію, яка відбудеться або вже відбулася в певний день. Отже, є 3 основних типи сайтів, які потрапляють під цю категорію:

1. Новинні сайти.
2. Букмекерські сайти.
3. Сайти трансляцій.

Крім загальної тематики сторінки, є ряд критеріїв, які враховуються під час попадання у швидковидачу:

1. Частота оновлення контенту.
2. Якість сторінок, контенту та сайту в цілому.
3. Відсутність технічних помилок, що впливають на індексацію.

Завдяки критерієм частоти оновлення контенту, швидкобот періодично плутається і додає в індекс сторінки, які жодним чином не належать до подієвої тематики. Наприклад, інтернет-магазин часто додавав нові картки товарів, швидкобот помилився і додав деякі сторінки у швидковидачу.

Приклад сторінок інтернет-магазину у швидковидачі

Для бажаючих потрапити у ТОП, створюючи багато сторінок під ВЧ/СЧ запити, і збирати трафік за допомогою швидковидачі, у мене є сумна новина – алгоритм досить точно визначає приналежність сторінки до події. Якщо вона не належить до цієї категорії, буде знаходитися явно не на топовій позиції у швидковидачі.

Як оптимізувати контент, щоб потрапити у швидковидачу

Оскільки швидковидача використовує у ранжуванні лише внутрішні чинники, слід приділяти увагу якості контенту та відсутності технічних помилок, які можуть ускладнити індексацію або негативно вплинути на ранжування.

У цілому оптимізація сторінок під швидковидачу не сильно відрізняється від звичайної, але є основний нюанс – не вийде зібрати повноцінну семантику для сторінок. Може зовсім не бути запитів під подію. У такому випадку виникають «танці з бубном».
У найгіршому становищі, на мій погляд, опинилися новинні сайти, які, на відміну від тих же букмекерських і сайтів трансляцій, не можуть робити заголовки за певним шаблоном.

Також не забуваємо, що у швидковидачі хаотичні позиції. Щоб закріпитися в ТОПі, потрібен якісний контент і сторінка.

Тепер розглянемо, як оптимізувати сторінку, щоб потрапити у швидковидачу.

Title i Description
– як правило, не спам, все повинно бути чітко та логічно. Єдиний нюанс – оскільки найчастіше подія закріплюється за якоюсь певною датою, потрібно вписати її в ці теги. Наприклад:

Title: Франція – Італія прогноз футбольного матчу на 01.06.2018

Description: Прогноз на товариський матч збірних Франції та Італії, який відбудеться 1 червня 2018 року в Ніцці.

Тема H1
– також є невелика особливість заповнення. Під час його складання бажано використовувати дієслова.

Наприклад: «Франція – Італія: чекаємо голів у Ніцці» або «Франція – Італія: чи переможе Італія?».

Контент
– з ним варто бути уважнішими. Щоб зрозуміти, яким повинен бути контент, слід проаналізувати ТОП. Оскільки позиції у швидковидачі постійно змінюються, слід звертати увагу на ті сайти, чиї показники більш-менш стабільні. Під час аналізу видачі зазапитами буде видно, які сайти стабільно займають топові позиції у швидковидачі. Їх позиції або не змінюються протягом дня, або змінюються незначним чином  – на 1-2 пункти. Відбираємо такі сайти і дивимося:

• Кількість тексту, наскільки він інформативний.
• Чи є на сторінках: зображення, відео або таблиці, яка в них інформація.
• Звертаємо увагу на дрібниці, наприклад: фото автора новини, логотипи команд (якщо ваш сайт про спортивні прогнози) і т.д.
• Що є на цих сайтах і чого немає на вашому.

Після аналізу ТОПу ви будете мати інформацію про те, яким повинен бути контент.

У будь-якому випадку текст повинен бути інформативним, легко читатися, повністю відповідати на запит користувача. На сторінках має бути присутня додаткова цінність у вигляді зображень, відео, таблиць, тощо. Наприклад, для букмекерських сайтів хорошим рішенням буде додати зображення складу команд і їх розташування на полі.

Приклад зображення складу команд

Також потрібно, щоб була активність у коментарях на сторінці. Ви можете самі симулювати її або написати перший коментар, тим самим підштовхнути інших користувачів до обговорення.

Якщо на сайті є реклама, потрібно бути обережним, дотримуватися наступних правил:

• реклама не повинна бути схожа на елементи інтерфейсу;
• реклама повинна бути якісною (не повинно бути повідомлень, наприклад: «схудни за один день…» або «цей засіб лікує від усього…»;
• рекламні блоки не повинні заважати переглядати контент вашого сайту, їх не повинно бути багато на сторінці.

З технічної точки зору, важливо, щоб на сайті були відсутні дублі, не було проблем з індексацією сторінок, усі елементи знаходилися в справному стані, був швидкий час завантаження і т.д. Щоб виявити такі помилки, слід провести технічний аудит.

Хоча вище було сказано, що зовнішні чинники не беруть участі в ранжуванні, не забуваємо про посилання – вони потрібні. Посилання приманюють швидкобота до нової сторінки. Найкраще підходять посилання з соціальних мереж і хабів. Бажано налаштувати автоматичне розміщення таких посилань у великих кількостях.

Проблема індексації швидкоботом

Якщо ви помічаєте просідання трафіку з швидковидачі, слід звернути увагу, індексуються нові сторінки чи ні.

Це можна перевірити, скориставшись даними з логів або Вебмайстра. Для цього слід піти за таким алгоритмом і скласти таблицю:

1. Скласти список сторінок, які були додані на сайт у певний день, подивитися їхню кількість.
2. Вивантажити логи або дані Вебмайстра і подивитися, які сторінки обходив бот, скільки всього він обійшов.
3. Перевірити, чи обходив бот сторінки з першого пункту, скільки він обійшов.
4. Перевірити, скільки сторінок потрапило в індекс.

Для зручності можна дивитися за окремими категоріями і, якщо потрібно, розширювати таблицю.

У результаті вийде таблиця наступного вигляду:

Приклад порівняльної таблиці обходу ботом

Після того як була складена таблиця, потрібно її проаналізувати. Візьмемо для прикладу таблицю вище.

На сайт у певний день (назвемо його день X) було додано 850 сторінок. Усього бот обійшов (на наступний день після дня X) 2814 сторінок. З цієї кількості бот обійшов усього лише 50 сторінок, доданих у день X.

Відразу бачимо першу проблему – бот обходить критично мало нових сторінок, всього 50 з 850. Тепер потрібно подивитися, скільки сторінок він обійшов за день-два до дня X. Це підкаже нам, через який час після додавання сторінок бот їх обходить.

Умовно скажемо, що таких сторінок було 200. Тепер ми знаємо, що 2564 (сторінки, які бот обійшов за день-два до дня X, віднесли до нових) старих сторінок було прокраулено ботом. Робимо висновок, що некоректно витрачається краулінговий бюджет.
Потрібно зробити все можливе, щоб змістити акцент краулер на нові сторінки. Звичайно, те, що бот обходить старі сторінки – не помилка, але для сайту, який отримує основний трафік зі швидковидачі, це стає серйозною проблемою.

Тепер потрібно подивитися, яка ситуація була до просадки. Це слід зробити, щоб підтвердити або спростувати теорію з проблемою індексації.

Для цього також беремо дані з логів і складаємо таку ж таблицю, яку зробили раніше. Якщо з якихось причин у вас немає даних логів за період до просадки, знадобиться Яндекс.Метрика (Веб-майстер уже не використовуємо, оскільки він показує статистику обходу за 3 дні). Відкриваємо «Звіти» → «Сторінки входу», сегментуємо за пошуковою системою Яндекс, вказуємо певний день і вивантажуємо звіт.

Скріншот Яндекс.Метрики

Відкриваємо звіт, знаходимо сторінки, які були додані в той самий день. Далі дивимося, скільки сторінок було додано цього дня, робимо табличку – це покаже, скільки сторінок потрапляло в індекс до просадки.

Таблиця порівняння кількості доданих сторінок і сторінок, які приносили трафік

Склавши та проаналізувавши таблицю, ми бачимо, що раніше бот краще індексував сторінки. Це підтверджує нашу теорію про погану індексацію нових сторінок.

Після цього слід вживати заходів щодо оптимізації краулінгового бюджету.

Краулінговий бюджет можна оптимізувати наступним чином:

• Налаштувати HTTP-заголовок If-Modified-Since для всіх сторінок. Його суть у наступному: якщо після останнього обходу бота на сторінки не вносилися зміни, сервер повинен дати 304 відповідь – не викачувати їх вміст, витрачаючи квоту, перш за все, на документи, що реально змінилися з часу попередньої індексації або ж на нові.
• Встановити на сайт «Ловець ботів». Коли пошуковий робот буде приходити на сторінку, спеціальний скрипт покаже йому посилання саме на непроіндексовані сторінки. Варто згадати, що це досить дороге задоволення.
• Налаштувати перелінківку. На сайт потрібно додати нові блоки, які будуть рандомно (випадковим чином) видавати нові сторінки, додані в той самий день, під час кожного оновлення сторінки.

Приклад блоку з перелінківкою

• Закрити від індексації сторінки пагінації, які ведуть на старі сторінки. Залишити відкритою пагінацію, яка веде на нові сторінки, додані протягом 4-5 днів.
• Додавати нові сторінки на переобхід у Вебмайстер. Є нюанс – на переобхід можна відправити обмежену кількість сторінок, різну для кожного сайту. Цю функцію можна знайти у Вебмайстрі, перейшовши на вкладку «Індексування» → «Переобхід».
• Налаштувати автоматичне додавання посилань з соціальних мереж або хабів з посиланням на нову сторінку. Це приверне бота, він перейде за посиланням і обійде сторінку. Таких посилань повинно бути багато.

Також варто перевірити сайт на наявність технічних помилок, які можуть призвести до поганої індексації, наприклад, дублі, закриті
сторінки/категорії від індексації, які ведуть на нові сторінки і т.д.

З таблиці також видно, що, хоча бот і обійшов 50 нових сторінок, всього 40 з них потрапило в індекс. Це говорить про те, що
боту не подобається сторінка. Також можна провести експеримент: додати ряд сторінок на переобхід і перевірити, скільки з
них потрапить в індекс. Якщо буде така сама ситуація, значить, є проблеми зі сторінками. У цьому випадку потрібно працювати над
поліпшенням якості самих сторінок і контенту.

Висновок

Підсумуємо, якими якостями повинна володіти сторінка та сайт у цілому, щоб потрапити у швидковидачу:

• Сторінки повинні мати подієвий характер.
• Контент і сторінки сайту в цілому повинні бути якісними, не містити спаму, інформативними та повністю відповідати на запит користувача.
• Під час розміщення нової сторінки, повинні автоматично розміщуватися посилання з хабів і соціальних мереж.
• Контент сайту потрібно часто оновлювати.
• На сайті не повинно бути технічних помилок.
• Потрібно правильно налаштувати краулінговий бюджет, швидкобот повинен безперешкодно обходити нові сторінки.

 

Еще по теме:

• Основні причини, через які просування сайтів терпить фіаско
• Як створити вбивчий контент: побудова карти ключових слів
• Що важливо перевірити, перед тим як відкривати сайт для індексації