Мануалы

Чистим кампании от ботов: лайфхаки в Keitaro

✅ Наш Чат – https://t.me/arbitragetrafikchat
✅ Наш Канал – https://t.me/arbitragetrafik
✅ Наш второй канал – https://t.me/arbitragetrafik_2

Источник

Последнее время люди часто пишут, мол, рекламу аппрувнули, но после определенного спенда сходу вылетает на policy, либо домен вылетает по политике, а РК благополучно падает. Поэтому я решил чисто для себя разобраться в чем может заключаться проблема (хоть и отчасти теоретически). Для эксперимента я буду использовать трекер Keitaro.

В нашем эксперименте будет использоваться трекер Keitaro. Стоит сразу отметить, что у каждого человека может попадаться отдельный вид ботов и их спецификации. Так что подобные действия желательно делать изначально, чтобы всегда можно было ужесточить наш отбор, кому показывать блек.

Не будем далеко ходить: первым делом соберем список UserAgent’ов, которые уже были обнаружены и доступны в паблике вот по этой ссылке. Я добавил их на стороне IMKLO — для фильтрации на стороне имкло. И продублировал в Keitaro.

Для чего это сделано? Я часто вижу, как один и тот же IP бота заходил как 2 разных клика. В 1 клике — пустой UserAgent, а во 2-ом клике UserAgent уже есть. Я думаю, что первое время для разгона вашей личной базы ботов в ситуациях, подобных той, что я описал выше, нужно покрутить и собрать IP и UserAgent’ы, чтобы в будущем они фильтровались без проблем.

Топ обменников

Ранее я использовал подобную раскладу фильтров в Keitaro :

Она и сейчас нормально работает в плане сортировки. Но я решил пойти дальше. Keitaro как и любой другой трекер очень обширный в плане настроек велосипед. И многие думают: «зачем лезть внутрь, если он едет?» Зря. Давайте разберем детали “велосипеда», чтобы понимать, что мы можем вообще использовать в ловле ботов.

Там есть как не очень полезные для нас фильтры: 

  • Интервалы дат
  • Расписание
  • Лимит кликов
  • Сайты
  • Ключевики
  • Поисковики
  • IP, IPv6
  • Сотовые операторы
  • Провайдеры (если ГЕО баз нету)
  • ОС, Версии ОС, Языки

Так и очень интересные для нас:

  • Рефереры
  • Ad Campaign ID
  • Creative ID
  • Пустой реферер
  • Прокси
  • ГЕО (Город\Старана)
  • Проверка IMKLO
  • Проверка HideClick
  • БОТ, Уникальность, Типы соединения, Браузеры (и версии) , Тип и модель устройств, UserAgent’ы и Sub’и.

А для тех, кто в теме, есть еще параметр “X-Requested-With”. С помощью этих запчастей можно собрать отличный апгрейд нашего велика. Главное знать, что делать и понимать. что получим в конечном итоге.

Давайте детальнее рассмотрим интересные для нас фильтры, исходя из данных уже отлитого трафика. Часть переменных там присутствует, и это поможет нам в будущем. При использовании ДОП параметров, которые передают с FB, ссылка получается вот такой:

https://домен/ключ?utm_creative={{ad.name}}&utm_campaign={{campaign.name}}&utm_source={{site_source_name}}&utm_placement={{placement}}&campaign_id={{campaign.id}}&adset_id={{adset.id}}&ad_id={{ad.id}}&adset_name={{adset.name}}

  • Рефереры — сайты с которых был осуществлен переход на ваш сайт.
  • Placements, Ad Campaign ID, Creative ID — данные с фб. Точнее их ID и имя
  • UserAgnet’ы — отпечаток браузера, ну и Sub’ы понятно что это.

Остальное, думаю, понятно. А теперь глянем на историю трафика:

Получается, 2\3 переходов были сделаны с адекватными юзерагентами, даже с ОС и браузером. Но что самое интересное — это другое ГЕО и пустые переменные типа  {{campaign.name}} и других. Стоит учитывать, что пустые {{}} переменные — это не всегда боты.

Как видим на видосе, идет много юзерагентов facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php). Это краулер фейсбука, который GET запросом выгружает весь HTML код вашей страницы. Более детально можно ознакомиться по этой ссылке.

Анализируем отчеты

Если смотреть более подробно, то картина выглядит следующим образом:

А вот и ярковыраженные боты:

  • facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
  • Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b
  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.89 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.188 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.88 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

А если разбить еще и на Creative ID, получится вот так:

Также в ботов записываются все клики, которые происходят не с нашего ГЕО.

Выводы

Используем вот этот публичный список ботов, добавляем юзерагент:

  • httpx — Open-source project (github.com/projectdiscovery/httpx)
  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.89 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 6P Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36
  • Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Вот полный список UA. Получаем список IP краулеров: “whois -h whois.radb.net — ‘-i origin AS32934’ | grep ^route”, IP4-айпишки добавляем в Keitaro для ботов.  IPv6 отключаем.

На этом пока все, но сразу хочу вас предупредить. Не копируйте настройки один в один — зачастую это не просто не поможет, а сделает еще хуже. Берите за пример и находите настройки, которые подойдут вам. свои настройки, которые подойдут именно вам, обновляйте айпишники краулеров FB и анализируйте свои клики!

Related Articles

Back to top button