Що робити, якщо сайт потрапив під фільтр за обман користувачів мобільного інтернету

Опубліковано: 08.01.2016 |
Автор: Руслан Калінін |

30 квітня 2015 Яндекс «оголосив війну» сайтам, які обманюють користувачів мобільного інтернету. Через місяць посипалася низка обурень від власників сайтів щодо різкого зниження відвідуваності. Причини були не зовсім зрозумілі, а відповіді Платона, як завжди, стримані та «сухі», причина – «обман користувачів мобільного інтернету». 

 

Багатьох вебмайстрів така відповідь збила з пантелику, бо перевірка сайту з мобільного пристрою не давала жодних результатів – на їхню думку, сайти були «білими й пухнастими». Як з'ясувалося пізніше, фільтр реагував на «злив» певного мобільного трафіку. 

 

При цьому статистика ресурсу при песимізації виглядає приблизно так – сайт втрачає близько 80% трафіку: 
1_proval_yandex
«Провал» спостерігається на всіх сторінках: 
2_proval_yandex 
Як показує практика, найчастіше від даного фільтру страждають розважальні й інформаційні ресурси, які розміщують у себе шкідливі скрипти партнерок або встановлюють зламані плагіни/модулі. 

 

Головна причина фільтру – мобільний редирект (серверний, користувацький) – автоматичне перенаправлення користувачів на сторонні ресурси або пропозиція завантажити шкідливий файл. 

Як діагностувати фільтр 

У більшості випадків симптоми санкцій без глибокого аналізу не очевидні, а «провал» можна сплутати й з іншими фільтрами. Тому перше, що необхідно зробити, – написати лист в техпідтримку Яндекса, уточнивши причини песимізації сайту. 

 

Якщо на сайт накладено фільтр за «обман користувачів мобільного інтернету», відповідь Платона буде наступною: 

На даний момент Ваш сайт ранжується в результатах пошуку з обмеженнями з боку наших алгоритмів. Він був визнаний ними неповністю відповідним принципам, описаним в документах: https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml, 
http://company.yandex.ru/rules/optimization/index.xml. 

 

Нещодавно в наші алгоритми були внесені значні зміни, і тепер з обмеженнями можуть ранжуватися сайти, які ошукують користувачів мобільного інтернету. Іноді такі користувачі при переході на сайти з результатів пошуку не можуть отримати знайдену для них інформацію. Це відбувається через те, що деякі сайти не показують користувачам той контент, який був проіндексований пошуковим роботом. А часто просто перенаправляють відвідувачів на сторінки з підпискою на платні контент-послуги. Детальніше про це Ви можете прочитати на сторінках нашого блогу: http://webmaster.ya.ru/replies.xml?item_no=20239. 

 

Якщо Ви будете розвивати Ваш сайт для користувачів, розміщувати унікальну, корисну інформацію і слідувати нашим рекомендаціям, то з часом обмеження можуть бути зняті автоматично, і позиції сайту в результатах пошуку покращаться. 

Як виявити мобільний редирект 

Здавалося б, все просто – взяти мобільний пристрій і подивитися сайт, але складність полягає в типах мобільного редиректу та їхніх організаціях. 
Перенаправлення може спрацьовувати не завжди, а тільки за певних умов, наприклад, певний user-agent, ip-адреса, час, місце розташування користувача, мобільний оператор, з якої пошукової системи прийшов користувач. 

 

Типи редиректів: 

 

1. Один з найпростіших і розповсюджених редиректів – серверний. 

 

Ідентифікація відвідувачів відбувається за user-agent мобільного пристрою. Шкідливий код може прописуватися в технічному файлі .htaccess (знаходиться в корені сайту) або в шаблоні сайту CMS-системи. У досить рідкісних випадках у файлі конфігурації сервера httpd.conf для Apache (у разі злома сервера). 

Приклад шкідливого коду в файлі .htaccess: 

3_htacsses
Приклад коду в шаблоні сайту: 
4_v-shablone

Як відтворити серверний редирект? 

Один з можливих способів – використовувати спеціальний плагін User-Agent Switcher for Chrome, який емулює різні пристрої, підміняючи серверний заголовок User-Agent (тобто цей плагін дозволить вам подивитися, як виглядає сайт з різних пристроїв). 

 

Масштабних налаштувань плагін не потребує. За замовчуванням він містить невеликий список User-Agentів, який можна розширити, експортувавши додатковий userlist
5_exportУ результаті експорту отримаємо великий перелік User-Agentів, які в подальшому зможемо використовувати для перегляду нашого сайту. 
6_plaginЯк використовувати: 

 

1. Повністю чистимо кеш і cookies браузера. 

 

2. Зі списку плагіну вибираємо мобільний девайс, який хочемо емулювати (наприклад, Android). 

 

3. Ідемо в Яндекс, знаходимо наш сайт і переходимо на нього. 

 

Важливо відзначити, що для різних пристроїв редирект може бути як автоматичний, так і ручний. Все залежить від складності мобільного редиректу. У нашому випадку бачимо ось таке повідомлення: 
7_android_mobileСайт пропонує користувачам завантажити безкоштовний додаток, за фактом це може мобільний вірус або розширення, за яке доведеться платити (відправити SMS). Таким чином користувачів вводять в оману, надаючи їм неправдиву інформацію. Це один з простих прикладів, який виявити досить просто. 

Як усунути таку проблему? 

Основна проблема – відтворити редирект, тобто дізнатися, куди відбувається перенаправлення. На це може знадобитися досить багато часу. Більше того, редирект може бути не завжди серверним. Однак, якщо URL сайту, на який іде перенаправлення, був виявлений, то: 

 

1. Завантажуємо сайт на локальний диск (більшість хостерів дозволяє зробити це штатними засобами – створюємо архів і завантажуємо на свій ПК). 

 

2. Завантажуємо файловий менеджер Total Commander, переходимо в папку завантаженого сайту і, за допомогою пошуку за файлами, знаходимо файл з потрібним текстом, наприклад, site.ru, де site – доменне ім'я, куди йде редирект): 
8_totalЯкщо буде виявлено збіг із зазначеним текстом, у діалоговому вікні програма підсвітить шлях до цих файлів. 

 

3. Перевіряємо знайдені файли на відповідність URL адреси, якщо є збіг – видаляємо код, який відповідає за перенаправлення. 

 

Важливо! Будьте особливо уважні під час чищення коду, щоб не «зламати» решту коду CMS системи. 

 

2. Користувальницький редирект – часто реалізовується за допомогою JavaScript. 

 

Пошук даного редиректу ускладнюється через можливість кодування коду, який не завжди можна виявити візуально. Цей тип редиректу встановлюється в результаті злому сайту або завантажується з додатковими модулями/плагінами. 

 

Приклад коду: 
10_js

Як виявити шкідливий код 

Виявити шкідливий код можна за допомогою сервісів: 

 

– Сканер AI-Bolit 

 

Антивірус Manul від Яндекс 

 

Встановлюються вони досить просто – безпосередньо в корінь сайту. Сканери виконують аналіз усіх файлів на наявність шкідливого коду. Після завершення формується звіт зі знайденими проблемами. 

 

Якщо програмі вдалося виявити шкідливий код – видаляємо зазначені зауваження й чистимо файли від шкідливого коду. 

 

Однак, як би це добре не звучало в теорії, «знайти шкідливий код одним кліком», на практиці це, на жаль, не завжди так. Бувають випадки, коли зазначені сканери проблему не вирішують. У таких випадках рекомендуємо звертатися до компетентних програмістів, які спеціалізуються на безпеці сайтів. 

 

Більш того, в «гонитві за золотими горами», власники сайтів часто самі встановлюють шкідливі коди iframe, js скрипти, які пропонують партнерки (тізерки, клікандери, банери). 

 

Виявити такі редиректи дуже складно, спрацьовують вони при певних параметрах, зливаючи мобільний трафік, за що й фільтруються пошуковими системами Яндекс і Google (маскування та/або прихована переадресація). 

 

Неофіційний список таких партнерських програм був зібраний користувачами тут

 

Тому будьте особливо уважні, монетизуючи свої ресурси! Якщо на вашому сайті встановлений код однієї з перерахованих партнерок, його необхідно обов'язково зняти. 

Висновок 

Зазвичай після усунення причин фільтр знімається автоматично після переіндексації сторінок сайту. В іншому випадку, якщо трафік не відновлюється протягом 3 тижнів, причини усунені не до кінця, і необхідно проводити більш ретельний аналіз. 

 

Щоб вберегти себе від даного фільтра, рекомендуємо: 

 

  • Скачувати модулі та плагіни тільки з офіційних сайтів. Так, деякі компоненти для вашої CMS можуть бути платними, але це вбереже вас від неприємних наслідків. 
  • Щомісяця перевіряти сайт на шкідливі скрипти (обов'язково). 
  • Проводьте регулярне оновлення CMS системи, завантажуйте оновлення тільки з офіційних сайтів (докладніше про оновлення CMS). 
  • Вибираючи партнерські програми, уважно читайте відгуки й «Користувацьку згоду» – в ній іноді є інформація про арбітраж мобільного трафіку (не всі про це знають). 
  • Якщо до вас безпосередньо «постукав» рекламодавець, постарайтеся дізнатися про нього якомога більше інформації, можливо, від нього вже постраждали численні сайти. 

 

І останнє – намагайтеся постійно «конспектувати» коригування, що вносяться на сайт (у даному контексті маємо на увазі встановлення скриптів, модулів, плагінів, партнерок). Якщо сайт потрапить під фільтр, це дозволить звузити пошуки причин, а в деяких випадках – вирішити проблему набагато швидше. 

 

Оригінал статті – http://siteclinic.ru/blog/filtry/filtr-za-obman-polzovatelej/