BotFAQtor: как избавиться от ботов на сайте

BotFAQtor: как избавиться от ботов на сайте

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Рад видеть вас на своем ресурсе… Но есть те, встрече с которыми я совсем не рад. Да и вы тоже отказались бы от знакомства с ними. Что за личности?

Да боты вездесущие, везде снующие, конверсии понижающие и статистику засоряющие. От них может избавить только BotFAQtor…

Мы не такие богатые, чтоб «разводить» ботов!

Не все боты зловредные. Среди них полно тех, что несут сайту добро. Например, поисковые краулеры. Но большая часть этих искусственных «кривляк» действуют на другой стороне.

Из-за их посещений не только сбивается «стрелка» статистики, а и впустую тратятся деньги, бракуется трафик… В общем, это зло для любого бренда, сайта и кампании продвижения!

Но как от них избавиться? Ведь не будешь на входе ставить «турникет» с проверочной капчей. Так ведь можно и без посетителей остаться… А, может, по IP ботов ловить? Ага! Их адреса меняются чаще, чем мнение Трампа!

Примерно так разворачивался ход моих мыслей о планах борьбы с ботным иго. И потом меня чуть не посетило отчаяние… Но (как луч света) появился BotFAQtor… Который на деле оказался эффективным средством очистки трафика.


*при клике по картинке она откроется в полный размер в новом окне

Как ему это удается?

Что BotFAQtor делает? И ответы на другие вопросы.

  1. Что умеет сервис?

С помощью BotFAQtor можно не только определить (идентифицировать) ботов, но и блокировать их. Кроме этого сервис очищает статистику и от накруток, и от нецелевых лидов.

От пользователей, которые не заинтересованы в вашем продукте или сайте.


*при клике по картинке она откроется в полный размер в новом окне

Некоторые инструменты платформы еще находятся на стадии разработки. Но чтобы победить ботов на всех фронтах, можно немного и подождать.

Да нет! Функционалом BotFAQtor можно пользоваться и просто так. В рамках базового тарифа пользователю предоставляется бесплатных 10 тыс. проверок, а каждая сверху обойдется в полторы копейки.

Миллион проверок стоит 7,5 тыс.руб. на год. Все последующие – по копейке.


*при клике по картинке она откроется в полный размер в новом окне

Чтоб развеять оставшийся туман

Погружаемся в практические исследования BotFAQtor.

Чтобы воспользоваться сервисом и проанализировать (бесплатно!) трафик сайта на наличие ботов, сначала проходим процедуру регистрации.


*при клике по картинке она откроется в полный размер в новом окне

Затем валидируем профиль, перейдя по ссылке в полученном от BotFAQtor письме. После чего получаем доступ к личному кабинету.


*при клике по картинке она откроется в полный размер в новом окне

Активируем тарифный план и добавляем сайт для мониторинга.


*при клике по картинке она откроется в полный размер в новом окне

Настраиваем доступность показателей счетчика BotFAQtor для пользователей сайта.


*при клике по картинке она откроется в полный размер в новом окне

Затем размещаем два блока кода в HTML-разметке главной страницы сайта. Один сниппет – это код счетчика, а второй – скрипт блокировщика ботов.


*при клике по картинке она откроется в полный размер в новом окне

Получается, что за бесплатно BotFAQtor не только отслеживает «ботную» живность на сайте, но еще и блокирует!

После этого в разделе «Отчеты» начинает отображаться статистика по всем источникам трафика, типам ботов, гео и IP-адресам.


*при клике по картинке она откроется в полный размер в новом окне

В разделе «Блокировки» осуществляется настройка противоботной защиты сайта. По умолчанию доступна блокировка от всех типов ботов.


*при клике по картинке она откроется в полный размер в новом окне

Кроме этого можно создать пользовательский вариант блокировки с собственными параметрами защиты. Она позволяет блокировать сеансы с определенных гео, посадочных страниц, источников или конкретные типы ботов.


*при клике по картинке она откроется в полный размер в новом окне

В личном кабинете пользователя BotFAQtor отображается исчерпывающая статистика по всем источникам трафика, посещениям и пользователям. То есть, это не только защитный сервис, но и мощная аналитическая платформа.

Ну, что… Ботам капец!

Теперь благодаря BotFAQtor мы можем спокойно вздохнуть и сказать ботам «Давай, до свидания!»… И даже «Прощайте!».

Information Security Squad

Добрый день друзья!

Сегодня мы коснемся вопроса web безопасности, а именно нелегитимного траффика.

Наличие спама и нежелательных переходов, которые в свою очередь могут дискредитировать ваш сайт/приложение, является серьезной проблемой для многих.

По данным компании statista.com общий трафик различных вредоносных источников составляет значительную долю из всего объема.

Это могут быть как движки-поисковики по определенным целевым запросам, инструменты хакинга для накрутки, инструмента кликджекига, имитаторы, двойники и т.д.

В данной связи мы решили провести поиск средств защиты от этих угроз на нашем рынке ИБ.

Если у вас малый/средний бизнес, напрямую зависимый от вэб-технологий ( сайт, приложение, сервис) вы едва-ли сможете позвоить себе нанимать вендера услуг по защите хостинга или VPS.

Вместо этого есть альтернативные решения «под ключ».

Сегодня мы хотим познакомить вас с одним из отечественных решений по веб-безопасности botfaqtor. [ https://botfaqtor.ru/ ]

Разработана ребятами из «Бот-Фактор», которые являются эксклюзивным партнером голландской компании Witstroom в России.

Система позволяет выявлять различные типа зомби-траффика, определять его источник и блокировать в дальнейшем.

Уникальность заключается в том, что система работает не только сигнатурным методом с базами нежелальных Ip прокси, socks и т.д. , но и использует эврестический метод, т.е. анализ поведеческого фактора бота злоумышленников.

Итак, для начала работы перейдите по ссылке: https://botfaqtor.ru

На главной странице найдите кнопку «Добавить свой сайт»

Выполните регистрацию, заполнив необходимые поля:

Далее вам придет письмо, на указанную выше почту, с просьбой подтверждения аккаунта.

В моем случае, письмо пришло через 5 минут после регистрации.

Введите адрес почты и пароль, которые вы указали ранее.

После авторизации вы попадете на главную страницу управления.

1. Dashboard

Это первая страница на которую, вы попадаете. При добавленном сайте здесь вы будете видеть количество ботов/живых пользователей за выбранный период по дням и краткую классификацию ботов по 4 параметрам (тип бота, источник, посадочная страница, география).

По умолчанию у меня был выставлен голландский язык — Nl.

Чтобы изменить язык, найдите кнопку в правом верхнем углу, которая предложит вам раскрывающийся список при нажатии.

2. My sites

Эта страница показывает ваши сайты и позволяет:

  • Добавить новый сайт
  • Удалить существующий сайт
  • Изменить статус work on / work off для сайтов
  • Так же показывает количество ботов и реальных людей на данный момент времени
  • Здесь вы можете скопировать скрипты для добавления на свой сайт. С момента добавления скриптов на сайт анализ по трафику будет доступен в меню Dashboard и Reports.

3. Blocking

Здесь можно добавить блокировку на добавленный сайт и видеть количество заблокированных ботов за сегодня и в целом.

Видео обзор программы:

Как видите, интерфейс программы очень прост и понятен.

Вам не нужно обладать навыками анализа сетевых пакетов или анализа вредоносного кода, чтобы защитить свой сайт от вредоносного траффика, созданного ботами.

Также, присутствует служба техподдержки, доступная по e-mail :info@botfaqtor.ru

На мой вопрос ответили в течение 15 минут.

Предлагаю вам самим попробовать этот инструмент в работе, чтобы избежать влияние нежелательного траффика на ваши бизнес процессы.

1 комментария на “ Как удалить ботов на сайте, избежать блокировок google /yandex с помощью botfaqtor ”

Могу сказать, что аналогов Botfaqtor в России нет! Я долго искала сервис который блокировал посещение ненужных мне ботов на сайт, а тут еще и бонус в виде защиты от кликфрода! Лично я очень рада, что на просторах отечественного интернета есть такой сервис!

Входит ли ваш компьютер в ботнет? Проверьте!

Интерпол, Microsoft и Лаборатория Касперского обнаружили и обезвредили огромный ботнет, включавший порядка 770 000 зараженных компьютеров

Многие думают, что компьютерный вирус обязательно выводит компьютер из строя. Если система работает нормально, то нет смысла переживать, верно? На самом деле нет. Создатели вирусов — это отнюдь не скучающие кибервредители. И их основная цель заключается вовсе не в создании киберпетарды просто для смеха или из вредности. Основная цель киберпреступников — заработать денег. Во многих случаях это предполагает прямо противоположное поведение: лучший вирус — самый незаметный.

Например, такое скрытное поведение характерно для ботнетов. Это сети компьютеров-зомби, обычно состоящие из тысяч зараженных систем. Если говорить о самых крупных — это многие сотни тысяч. Как правило, владельцы «зомбированных» компьютеров даже не подозревают о том, что с ними что-то не в порядке. Разве что могут заметить некоторое снижение производительности, но для компьютеров это в принципе не в диковинку.

Ботнет используют для различных целей. Иногда для сбора личной информации, такой как пароли, номера кредитных карт, почтовые адреса, адреса электронной почты, телефоны, номера документов и так далее. Эта информация в дальнейшем может использоваться для разнообразных вариантов мошенничества, рассылки спама или распространения вредоносного ПО. Также ботнеты могут использоваться для распределенной атаки на серверы и сети.

Большой ботнет — сложная распределенная система. Для вывода его из строя, как правило, требуются объединенные усилия множества организаций. Самый свежий пример — ботнет Simda, который, по некоторым оценкам, «зомбифицировал» до 770 тыс. компьютеров в 190 странах мира. Наибольшее число зараженных систем обнаружено в США, Великобритании, Турции, Канаде и России.

Simda, если можно так выразиться, — это такая «торговая сеть» для «производителей» вредоносного ПО. Ботнет использовался для распространения других типов вредоносного ПО, в том числе ворующего данные платежных систем. Сами создатели ботнета зарабатывали на том, что предлагали любому желающему возможность установить собственное вредоносное ПО на зараженные компьютеры, уплачивая определенную сумму за каждую успешную установку.

Ботнет действовал в течение нескольких лет. Чтобы сделать его более эффективным, создатели Simda постоянно работали над новыми версиями, выпуская и распространяя их каждые несколько часов. На данный момент вирусная коллекция «Лаборатории Касперского» содержит более 260 тыс. образцов исполняемых файлов, принадлежащих различным версиям Simda.

Входит ли ваш компьютер в #ботнет #Simda? Проверьте!

Несколько дней назад, 9 апреля, все управляющие сервера ботнета Simda, расположенные в Нидерландах, США, Люксембурге, России и Польше, были ликвидированы.

Полный список организаций, чьими силами была осуществлена эта операция, дает отличное представление о том, насколько она была непростой. Для того чтобы противостоять преступникам, свои усилия объединили Интерпол, «Лаборатория Касперского», Microsoft, Trend Micro, Cyber Defense Institute, ФБР, Национальный центр по борьбе с преступлениями в сфере высоких технологий Нидерландов, отдел новых технологий полиции герцогства Люксембург и отдел «К» МВД России.

«Ботнеты — географически распределенные сети, из-за этого вывести ботнет из строя — очень непростая задача. Поэтому очень важно объединить усилия как государственных структур, так и частных компаний — каждая сторона вносит свой вклад в общее дело, — говорит Виталий Камлюк, исследователь «Лаборатории Касперского». — В данном случае «Лаборатория Касперского» обеспечивала технический анализ, сбор данных о деятельности ботнета через Kaspersky Security Network и давала рекомендации по стратегии обезвреживания управляющих серверов».

Расследование все еще продолжается, так что говорить о том, кто стоит за ботнетом Simda, пока рано. Что важно для нас, пользователей: сервера, позволявшие киберпреступникам связываться с зараженными компьютерами и управлять ими, на данный момент выключены. Однако это не повод расслабляться: владельцам «зомбированных» систем следует избавиться от вредоносного ПО, и чем быстрее — тем лучше.

На сайте «Лаборатории Касперского» доступна специальная страница, на которой каждый желающий может проверить, не является ли его компьютер частью ботнета Simda. Для этого используется сравнение IP-адреса со списком зараженных адресов.

Поскольку по ряду причин это не вполне надежный способ, для большей уверенности лучше сделать полную проверку системы. Например, с помощью бесплатного инструмента Kaspersky Security Scan. Или с помощью более мощного решения Kaspersky Internet Security, пробную версию которого также можно загрузить бесплатно. Разумеется, все остальные продукты «Лаборатории Касперского» также обнаруживают данное вредоносное ПО. Больше подробностей о ботнете Simda можно найти в статье на Securelist.

Как удалить фейковый трафик с вашего сайта

Очень часто мы отмечаем всплеск трафика на сайте, анализируя данные, собранные Google Analytics. Это воспринимается как интерес к ресурсу. И, разумеется, такой рост посещаемости не может не радовать.

Но это не всегда повод для радости. Позже мы обнаруживаем, что большая часть этого реферального трафика была отправлена от спамеров. Именно спам стал большой проблемой в последнее время.

Реферальный спам происходит, когда ваш сайт получает поддельные направления трафика от спам-ботов. Эта подделка трафика и записывается Google Analytics. Если вы замечаете в Аналитике трафик, полученный из спам источников, вам необходимо выполнить определенные действия, чтобы устранить эти данные из статистики.

Что такое бот?

Ботами принято называть программы, задача которых – выполнение повторяющихся задач с максимальной скоростью и степенью точности.

Традиционный вариант использования ботов — веб-индексация содержимого интернет-ресурсов, регулярно осуществляемая поисковиками. Но боты также могут использоваться и в злонамеренных целях. Например, для:

  • совершения мошенничества путем кликов;
  • аккумуляции адресов e-mail;
  • передачи содержания веб-сайтов;
  • распространения вредоносного программного обеспечения;
  • искусственного завышения трафика ресурса.

Анализируя задачи, для которых используются боты, можно разделить их на безопасные и опасные.

Опасные и безопасные боты

Пример хорошего бота — «Googlebot», используемый Google для сканирования и индексации веб-страниц в интернете.

Большинство ботов (будь то безопасные или опасные), не выполняют сценарии JavaScript, но некоторые это делают.

Поисковые боты, которые выполняют сценарии Javascript (как код аналитики Google) проявляются в отчетах Google Analytics и искажают показатели трафика (прямой трафик, реферальный трафик) и прочих метрических данных на основе сессий (показатель отказов, коэффициент конверсии и др).

Поисковые боты, которые не выполняют JavaScript (например, Googlebot), не искажают вышеуказанные данные. Но их посещения все равно записываются в логи сервера. Они также потребляют ресурсы сервера, ухудшают пропускную способность и способны негативно повлиять на скорость загрузки сайта.

Безопасные боты, в отличие от опасных, подчиняются директиве robots.txt. Они способны создавать поддельные учетные записи пользователей, рассылать спам, собирать адреса электронной почты и могут обходить CAPTCHA.

Опасные боты используют различные методы, усложняющие их обнаружение. Они могут влиять на веб-браузер (например, Chrome, Internet Explorer и т.д.), а также на трафик, поступающий от нормального сайта.

Невозможно сказать наверняка, какие опасные боты могут исказить данные аналитики Гугл, а какие — нет. Поэтому стоит рассматривать все опасные боты как угрозу целостности данных.

Спам-боты

Как понятно из названия, главная задача этих ботов – спам. Они посещают огромное количество веб-ресурсов ежедневно, отправляя HTTP запросы на сайты с поддельными заголовками реферера. Это позволяет им избежать обнаружения в качестве ботов.

Подделанный заголовок реферера содержит адрес веб-сайта, который спамер хочет продвигать, либо получать обратные ссылки.

Когда ваш сайт получает запрос HTTP от спам-бота с поддельным заголовком реферера, он сразу же записывается в журнале сервера. Если ваш журнал сервера имеет открытый доступ, то он может быть просканирован и проиндексирован Google. Система обрабатывает значение реферера в журнале сервера как обратную ссылку, которая в итоге влияет на ранжирование веб-сайта, продвигаемого спамером.

В последнее время алгоритмы индексации Google построены таким образом, чтобы не учитывать данные из логов. Это нивелирует старания создателей подобных ботов.

Спам-боты, имеющие возможность выполнять сценарии JavaScript, способны обходить методы фильтрации, используемые Google Analytics. Благодаря этой способности этот трафик отражается в аналитических отчетах Google.

Ботнет

Когда спам-бот использует ботнет (сеть зараженных компьютеров, расположенных локально или по всему миру), он может получить доступ к веб-сайту с помощью сотен различных IP-адресов. В этом случае черный список IP адресов или rate limiting (rate of traffic sent or received) становятся в значительной степени бесполезными.

Способность спам-бота искажать трафик на ваш сайт прямо пропорциональна размеру ботнета, который использует спам-бот.

При большом размере ботнета с отличающимися друг от друга IP-адресами, спам-бот может получать доступ к вашему веб-сайту без блокирования брандмауэром или другим традиционным механизмом безопасности.

Не все спам-боты отправляют заголовки реферера.

В этом случае трафик от таких ботов не появится как источник реферального трафика в отчетах Google Analytics. Он выглядит как прямой трафик, что делает его еще более трудным для обнаружения. Иными словами, всякий раз, когда реферер не передается, этот трафик обрабатывается в Google Analytics как прямой.

Spambot может создать десятки поддельных заголовков рефереров.

Если вы заблокировали один источник реферера, спам-боты отправят на сайт очередную подделку. Поэтому фильтры на спам в Google Analytics или .htaccess, не дают гарантии, что ваш сайт полностью заблокирован от спам-ботов.

Теперь вы знаете, что не все спам-боты являются опасными. Но некоторые из них действительно опасны.

Очень опасные спам-боты

Цель действительно опасных спам-ботов — не только исказить трафик вашего веб-ресурса, очистить содержимое или получить адреса e-mail. Их цель — заразить чужой компьютер вредоносным ПО, сделать вашу машину частью бот-сети.

Как только ваш компьютер интегрируется в сеть ботнета, он начинает использоваться для пересылки спама, вирусов и других вредоносных программ на другие компьютеры в сети Интернет.

Есть сотни и тысячи компьютеров по всему миру, которые используются реальными людьми, одновременно являясь частью ботнета.

Существует высокая вероятность, что ваш компьютер является частью ботнета, но вы не знаете об этом.

Если вы решили заблокировать ботнет, вы, скорее всего, блокируете трафик, поступающий от реальных пользователей.

Существует вероятность, что как только вы заходите на подозрительный сайт из вашего отчета реферального трафика, ваша машина заражается вредоносным ПО.

Поэтому не посещайте подозрительные сайты из отчетов аналитики, не установов надлежащей защиты (антивирусных программ, установленных на вашем компьютере). Предпочтительно использование отдельной машины специально для посещения таких сайтов. Как вариант, можно обратиться к системному администратору, чтобы справиться с этой проблемой.

Умные спам-боты

Некоторые спам-боты (как darodar.com) могут посылать искусственный трафик даже без посещения вашего сайта. Они делают это путем воспроизведения HTTP запросов, которые исходит от кода отслеживания Google Analytics, используя при этом ваш идентификатор веб-ресурса. Они не только могут отправить вам поддельный трафик, но также и поддельных рефереров. Например, bbc.co.uk. Так как BBC является законным сайтом, то когда вы видите этот реферер в своем отчете, вы даже не думаете, что трафик, поступающий с уважаемого сайта, может быть фальшивкой. На самом же деле никто с BBC не посещал ваш сайт.

Этим умным и опасным ботам не нужно посещать ваш веб-сайт или выполнять сценарии JavaScript. Поскольку они фактически не посещают ваш сайт, эти посещения не записываются в журнал сервера.

И, раз их посещения не записываются в журнал сервера, вы не можете заблокировать их с помощью любых средств (блокирование IP, пользователя, реферального трафика и т.д.).

Умные спам-боты сканируют ваш сайт в поисках идентификаторов веб-собственности. Люди, которые не используют Google Tag Manager, оставляют код отслеживания Google Analytics на своих веб-страницах.

Код отслеживания Google Analytics содержит ваш идентификатор веб-ресурса. Идентификатор крадется умным спам-ботом и может передаваться в использование другим ботам. Никто не станет гарантировать, что бот, укравший ваш идентификатор веб-ресурса и бот, посылающий вам искусственный трафик, — одно и то же «лицо».

Вы можете решить эту проблему, воспользовавшись Google Tag Manager (GTM).

Используйте GTM для отслеживания Google Analytics на вашем сайте. Если ID вашего веб-ресурса уже был заимствован, то решать эту проблему, скорее всего, уже слишком поздно. Все, что вы можете сделать сейчас, — использовать другой ID или ждать решения проблемы со стороны Google.

Не любой сайт попадает под атаку спам-ботов.

Изначально задача спам-ботов — обнаружение и использование уязвимых сторон веб-ресурса. Они атакуют слабо защищенные сайты. Соответственно, если вы разместили страничку на «бюджетном» хостинге или с помощью пользовательского CMS, у него велики шансы подвергнуться нападению.

Иногда сайту, который часто попадает под атаку опасных ботов, достаточно сменить свой веб-хостинг. Этот простой способ действительно может помочь.

Следуйте инструкциям ниже, чтобы обнаружить источники спама

1) Перейдите к отчету реферального трафика в вашем аккаунте Google Analytics и отсортируйте отчет по проценту отказов в порядке убывания:

2) Посмотрите на рефереров с 100% или 0% показателем отказов, а также на тех, у кого 10 или более сессий. Скорее всего, это спамеры.

3) Если один из ваших подозрительных рефереров принадлежат к списку нижеперечисленных сайтов, то это реферальный спам. Вам можно не проверять это самостоятельно:

Компьютерная программа Botfaqtor.ru – отзыв

Botfaqtor – это сервис с Большой голландской буквы

Наверное, в 2018 году, уже нет необходимости упоминать о том, почему бороться с bad-ботами в интернете нужно и важно.

Помню свою первую, напрочь скликанную рекламную компанию в Яндексе: 100% отказов, 1-3 секунды посещения от каждого “пользователя”, не говоря уже о том, что 50% заходов на мой лэндинг совершили “жители” Казахстана (при том, что услуги рекламировались в Московской области). Только спустя время, набравшись опыта – осознал, что эти “пользователи и жители” были ботами.

“Бот-фактор” – это русскоязычный сервис и компания, которой принадлежат эксклюзивные права дистрибуции от голландской платформы Witstroom.

Данный сервис позволяет блокировать всех известных ботов, любой сложности, подразделяя их на 5 категорий.

У моих интернет-проектов не было серьезных проблем с ботами (по мелочи как у всех: 3-5 случайных ботов в месяц, зачем-то заходят на сайт, но особого вреда не доставляют). Но я не смог пройти мимо этой программы, тем более есть с чем сравнивать. До появления БФ в России уже были попытки создания похожих сервисов, и все они провалились: один загнулся так и оставшись стартапом, несмотря на хороший PR, другой попался на собственной же накрутке ботов!

“Бот-фактор” – это совсем другая история.

Прежде всего, отмечаем европейское качество сервиса:

1) Современная аналитика без лишней информации, выполнена в диаграммах. Конструктор отчетов – очень функционален. Можно выстраивать данные в любых разрезах, которые только можно придумать. Есть пространство для творчества.

2) Одно из самых главных качеств программы: трафик сканируется отовсюду, буквально – вам будет показано даже название мобильного приложения, с которого заходил пользователь. Поиск Google, Яндекс, Вконтакте и другие площадки легко попадают в аналитику.

Большой плюс: сканирование трафика начинается сразу после установки скрипта (например, даже для google analytics нужны сутки).

Соответственно, программа анализирует посещения как живых пользователей, так и ботов (“bots, users”)

3) Установка скрипта – это то, что делает БФ доступным для народа.

Уверен, что если бы у меня и не было опыта работы с html-кодом, я бы установил всё самостоятельно и быстро. В данном примере, устанавливал код на WIX – просто зайдя и сохранив в разделе “Вставка кода”, фирменный скрипт.

4) Стоит отменить, режим “блокировки” бота. Он понадобится вам, в том случае если на ваш сайт боты всё-таки зашли/или уже беспокоили раньше. Конструктор блокировки позволяет настраивать данные так, как вам захочется – вплоть до того, чтобы заблокировать только бота-спамера из определенной группы в ВК, в определенном городе, а остальных ботов – допустим, оставить.

1. Функциональностью сервиса, я остался в наивысшей степени доволен. Прямо скажу, с “Бот-фактор” я чувствую, что мой сайт защищен.

2. После интеграции своего сайта в программу, я получил оперативную и визуально понятную аналитику посещений, которую можно использовать даже вместо Google.

3. Первый посетитель был зафиксирован системой спустя 30 минут (реальный клиент), и так далее. Но ботов я у себя на сайте, за целую неделю, так и не обнаружил. Кроме одного бота – которого запустил сам, чтобы проверить, поймает ли его система, а также было крайне интересно, под какую из пяти категорий он попадёт.

Вердикт: бот был зафиксирован сразу после визита, и получил категорию “Normal” (самый глупый бот).

Итог: я надеюсь, что не мои, не ваши, ни сайты моих коллег, никогда не станут посещать плохие боты. Сервис “Бот-фактор” очень полезный, хочется пожелать ему успехов.

Пожелание: сделать разработчикам e-mail-оповещение, когда на мой сайт боты всё-таки придут. Сейчас такой функции я не нашел, каждый день на сервис заходить не буду – а вот держать руку на пульсе, таким образом, было бы отлично.

Сервис Botfaqtor.ru позволит блокировать ботов бесплатно

За последние годы, количество sham-target (визит на сайт с фиктивной целью) в мировом интернете стабильно не падает ниже 30% (по данным Distil Networks).

Бот-программы (или просто, «боты») всё искуснее имитируют поведение клиента на сайте: могут набрать URL, прийти с самого авторитетного ресурса и отправить товар в корзину, позвонить, заполнить анкету, добавить ваш сайт в бот-сеть, украсть контент, опередив индексацию от Google, и конечно, без труда найти и скликать вашу контекстную или тизерную рекламу.

Рассмотрим наиболее типичные ситуации бот-атак в сети:

Ситуация №1.

Вы решили начать бизнес сами, активировали купон от поисковой системы, сделали ставки и ждёте клиентов. Совсем неожиданно, ваш сайт ночью решили посетить 30 жителей США. И если американцам было хоть как-то у вас на сайте «интересно», то юзеры из России, на следующее утро, и ещё несколько дней, стали просто заходить и сразу покидать страницу.

Данная схема чаще всего применяется к молодым сайтам, используется конкурентами для того чтобы ещё на этапе становления погасить маркетинговый пыл новичка, применив совокупность двух популярных приёмов.

Приём 1: Накрутка поведенческого фактора

«30 жителей США» – это боты, призванные совершить на вашем сайте массовые действия за короткий промежуток времени, для того чтобы дать поисковым системам негативный сигнал. Поисковая система (Google, Яндекс), проанализировав странные переходы из другой страны, посчитает это «накруткой» поведенческого фактора – конечно, тридцать ботов, не достаточно для того чтобы отправить сайт в БАН, но хватит, чтобы запомнить его, как ресурс с плохой репутацией и никогда высоко не ранжировать.

Приём 2: Повышение количества отказов

Боты-даунлодеры, на первый взгляд являются самыми примитивными (просто загружают и через несколько секунд покидают страницу сайта), но вместе с тем, наиболее болезненными из-за динамической смены IP-адреса. В данном случае, поисковик посчитает, что ваш сайт просто не интересен пользователям целевой аудитории. Обиднее всего, что именно они, чаще всего съедают и без того маленький рекламный бюджет.

Уязвимости и прецеденты: как показывает практика, блокировка 30 жителей США, путем обрезки географии метрики – не всегда эффективна: данное исключение нужно ставить либо заранее (на что, пользователи, чаще всего не обращают внимания и не догадываются), либо с сопровождающим письмом в тех.поддержку аналитики, поскольку блокируя только поиск, вы не защищаете свой сайт от прямых наборов URL). Кроме того, для профана в сфере Web-безопасности, самостоятельная блокировка динамического IP может вылиться обрезкой живых пользователей.

Ситуация №2.

Вы стали самостоятельно или при помощи копирайтера, развивать текстовое SEO: на сайте всегда свежие статьи и новости, по ключевым словам, URL-ам, и тегам. Вы слышали, что процесс прокачки SEO долог, но за полгода к TOP-10 вы даже не приблизились.

Возможно, дело не в словах, а на деле уже давно работает Бот-парсер.

Приём 3: Бот-парсер «тихо» посещает сайт, сканирует и републикует контент на сторонних ресурсах ещё до официальной индексации, при этом не эмулируя действий посетителей.

Уязвимости и прецеденты: можно попробовать найти украденную статью в открытом поиске, и узнав мошенника в лицо, написать жалобу поисковым системам с просьбой удалить контент. К сожалению, практика показывает, что поисковые системы к подобным просьбам относятся глухо, и реагируют медленно. В любом случае, потерянное продвижение ничем не вернуть.

Ситуация №3.

К вам на сайт попадают посетители с ТОПовых площадок, но они ничего не покупают и ведут себя как-то глупо. Вы пытаетесь найти причину отказов, меняете контент, дизайн, но и это не помогает.

Приём 4: Бот-нет (бот-сеть), имеет возможность включить в свою тусовку практически любой URL, всё зависит от свежести защиты вашего сайта. Большинство ресурсов, могут долгое время не догадываться, что они стали частью одной большой манипуляции.

Бот-нет запросто маскируется под реферальный трафик – сами того не зная, вы станете продвигать кого-то другого за счет записи в журнале вашего сервера.

Уязвимости и прецеденты: не стоит переходить по ссылкам на странные сайты из метрики. Никто просто так не будет переходить к вам на сайт с adidas.ru, если вы не размещали там ссылку.

Тенденции последних лет в сфере web-безопасности, продолжали оставлять большинство пользователей обезоруженными по отношению к bad-ботам.

Чаще всего, защита от ботов сводилась к тому, чтобы просто “подождать, переждать” поток опасного трафика. Мы слышали о ботоловах, и ботоводах, чьи личности не слишком внушали доверия, а зарплаты казались неимоверными.

“Бот-фактор” выходит на рынок с новым продуктом, и вместе с ним представляет социально-значимый посыл:

  • Мы хотим, чтобы мошенничество в сети уменьшалось, а количество конверсий и успешных стартапов возрастало.
  • Вам всегда будет доступна бесплатная версия продукта.
  • Мы стремимся стать самым популярным и нужным в работе прикладным сервисом в web-безопасности.
  • Для того, чтобы начать пользоваться сервисом – не нужно иметь специальных навыков программирования, не нужно ничего скачивать.
  • «Бот-фактор» анализирует трафик со всего интернета, включая прямые наборы URL и переходы из поисковых систем. До нас – подобные аналоги могли блокировать лишь трафик из партнерских и тизерных сетей.
  • Информация о вашем трафике – строго конфиденциальна, а результаты мониторинга – удобно визуализированы и понятны.

Мы надеемся, что благодаря нашему сервису, вы сможете не только оптимизировать рекламный бюджет (не платить за посещения ботов, предотвратить скликивание рекламы), но и сохранять благоприятную репутацию среди деловых партнеров.

Как работают web-мастера по накрутке ботов? Работает Botfaqtor.ru?

Ситуация такая: работал 2 месяца с web-мастером (выбор пал на частные услуги, т.к. РА это дорого). Трафика было много – конверсии мало, но стабильно. Возможно, для небольшого интернет-магазина это норма. Но!
Выяснил, что сайт посещают боты – 1 или 2 штуки каждый день, всегда с разных мест. Заблокировал их. На следующий день позвонил “мастеру” – он как раз сказал, что уезжает в отпуск, а также добавил что мол “сейчас всё равно конверсии не ждите, народ в отпуске, активный спрос настанет в сентябре”.
—–
Ботов сейчас нет, посещения только за счет контекстной рекламы.
Как быть в такой ситуации? Есть предположение, что он просто мошенник и гнал на сайт ботов под видом покупателей (но проблема в том, что нельзя узнать задним числом были ли боты раньше).
А сейчас получается нет ни трафика, ни ботов от него.
Главным образом – если вновь включить ботов и потом предъявить ему начистоту – деньги он может не вернуть же? У нас нет никакого договора на бумаге. И ещё вопрос, если все его посещения были ботовыми, то как тогда он делал условно 5 конверсий в месяц? В моём случае – конверсия это 2 реальных звонка с разговором более 3 минут.

Может у кого-то есть опыт, как это вообще обычно происходит?

  • Вопрос задан более года назад
  • 263 просмотра

А сейчас получается нет ни трафика, ни ботов от него.

Вам шашешчки или ехать?
Вам трафик нужен или продажи? Первом делом настраивайте цели в метрике (положил в корзину, оформил заказ и т.д.) и utm-метки в РК, стройте отчеты и выясняйте, какой трафик приводит к конверсии сайта из посетителя в покупателя (лида), и отдельно в excel считайте, какая конверсия лида в клиента. Считайте, сколько вам стоит в деньгах лид и состоявшийся клиент (ведь не все, кто положили в корзину и заказали, в итоге, выкупают реально). На основании этого вы будете знать, какой трафик из какого источника насколько окупается (или нет).

Главным образом – если вновь включить ботов и потом предъявить ему начистоту – деньги он может не вернуть же? У нас нет никакого договора на бумаге.

Не вернет 99%. Если накручивал трафик ботами — значит, изначально его подход к работе — “на#бать”. Так с чего вы взяли, что когда вы его “схватите за руку”, он вдруг превратиться в агнца небесного, пойдет каяться и вам возвращать деньги?

И ещё вопрос, если все его посещения были ботовыми, то как тогда он делал условно 5 конверсий в месяц? В моём случае – конверсия это 2 реальных звонка с разговором более 3 минут.

Изучайте метрику. Конверсия могла быть и с органики, и контекстной рекламы (раз вы говорите, что она включена), а может у вашего арбитражника тизерка сработала. Без яндекс метрики или гугл аналитики не определить, откуда был источник.
Ну и потом, 2 звонка — это с какой объема трафика, и с какого источника? Не знаете? Тогда прикручивайте колл-трекинг.

Может у кого-то есть опыт, как это вообще обычно происходит?

Ссылка на основную публикацию