Навигация
 
Сейчас на сайте
Гостей: 12

Гости:
[Ваш IP] 10:16:22
/Форум/Тема
185.25.32.37 10:15:49
/Форум/Тема
164.132.161.62 10:15:13
/main.php
217.182.132.29 10:14:54
/Поиск
217.182.132.35 10:13:47
/Форум/Тема
217.182.132.83 10:13:41
/Форум/Тема
51.255.71.117 10:13:04
/Поиск
216.244.66.229 10:12:31
/Форум/Тема
164.132.161.28 10:12:16
/Форум/Тема
137.74.207.159 10:12:05
/Форум/Тема
2 - не показано

Всего пользователей: 115
Новый пользователь: Alex_oops
 
RSS потоки
RSS Форумы: тема

RSS Новости
RSS Комментарии
RSS Форумы
RSS Статьи
RSS Фотогалерея
RSS Файлы
RSS Ссылки
 
Нажималка
[хочу себе такую панельку!]



Ваш код:
(кнопка | ссылка)

[Полный список кнопок]
 
Автор: Polarfox
ID темы: 216
Тема прикреплена
Эта тема прикреплена и может содержать важную информацию.
Просмотр темы
unLogic Lab » Инфоцентр (Info-center) » Информация (Info)
 Распечатать тему
Защита от ботов или избавление от спамов
Polarfox
Введение
Ссылочный спам беспокоит владельцев веб-сайтов с момента начала эпохи веб 2.0 как минимум, а вообще - со времен появления приложений (сайтов) с реакцией на пользовательский ввод (гостевые, базы ссылок, доски объявлений).
На сегодня он является одним из самых привычных видов спама для веб-мастеров, тысячи ботов, сотни тысяч ссылок, миллионы прокси серверов...

Кратко
Ссылочный спам существует благодаря массовости, пусть 90% сообщений не дойдут, их удалят, но 10% окупят результат, если 10% это 10000 сайтов.
Во вторых он существует благодаря тому, что не всем есть дело до него, либо используются простые методы защиты, которые легко/не очень легко обходятся ботами.
С переменным успехом можно использовать для защиты от ботов известные методы, и со 100% можно использовать редкие методы.


Принцип действия ботов
В основном разделяется на несколько этапов
  1. Найти сайт/взять из готовой базы - тут могут использоваться поисковики по ключевым словам, типичным конструкциям/частям URI и т.п.
  2. Найти форму регистрации (если можно писать гостям - пропускаем этот пункт - часто но не всегда) - используется база ссылок по определенному движку
  3. Регистрация [вынесу в отдельный блок ниже]
  4. Ожидание и/или постинг ссылок - в зависимости от типа бота [расскажу ниже]
  5. Аккаунт покидается ботом, либо бот периодически заходит и добавляет спама


Принцип регистрации
  • Часть ботов использует примитивную систему регистрации, отправляется четко определенный запрос содержащий (обычно) имя, пароль+пароль_подтверждение, ё-мейл, капча(если есть), скрыть ё-мейл(да).
  • Часть - использует полную форму - обрабатывает вашу форму регистрации и частично заполняет ее (как придется), хотя в ICQ обычно пишут асечку(случайную, а может и нет) и т.д.
  • Капча разгадывается либо на лету (ботом) - системой OCR, либо сервисами решения капч - тысячи китайцев и школьников готовы решить любую капчу за пол доллара/миску риса. Это большая проблема для любой капчи, на сегодня (хотя в теории есть решения для этого).
  • После заполнения полей (или сборки стандартного запроса) он отправляется на сервер. Особо упорные боты шлют его десятки раз, потом, очевидно, им становится скушно и они уходят.


Постинг спама
От самого простого до самого сложного, по категориям:
  • Простой спам - просто гора ссылок, немного текста для релевантности, снова ссылки на разные мусорные сайты
  • Спам сообщения - стандартное сообщение подходящее под любой контекст/такого же типа комментарий в стиле "Зачотная новость!" или "Hi i'm new to this forum" - определяются по атипичности и наличии (возможно скрытых) ссылок, возможно в подписи, если она есть.
  • Относительно релевантный спам - спам сообщения, копирующие старые посты/комментарии, либо же подходящие под тему посты с других форумов либо нечто схожее, их может пропустить даже бывалый админ
Часть ботов затаивается, например, просто оставляет свою ссылку в профиле/подписи (или вообще просто регистрируется и даже не заходит в аккаунт), ничего не постит.
Но это лишь на время, позже личинка разовьется в спам бота, и будет периодически радовать админов, если его не заблокировать/удалить.

Где бывают ссылки?
  • Подпись
  • Тело сообщения, в том числе: ссылки-пробелы, ссылки буквы, ссылки знаки пунктуации, ссылки слова и ссылки картинки. Возможно что-то пропустил? Ну и оно бывает.
  • Псевдо-подпись - на самом деле относится к телу сообщения - ставятся прочерки(или минусы, или вообще просто перенос) и далее идут ссылки, внешне напоминает подпись
  • Веб-страница - в поле для веб-страниц - обычно в профиле


Основы защиты
Что нужно сделать изначально:
Запретить комментарии гостям
Включить капчу (recaptha/secureimage(1|2) )


Вопрос-ответ или то, что должен знать каждый
Стоит ли включать подтверждение по e-mail, какова эффективность этой меры?
Чуть больше нуля, если вопрос стоит в защите от спам ботов, они отлично пользуются практически всеми сервисами бесплатной почты.
Другое дело что так - пользователь сможет восстановить пароль если будет необходимо, т.к. он указывает реальную почту.

Какова эффективность капчи?
Доходит до 95% для новых образцов (не всех), но вскоре падает почти до нуля, школьники-китайцы могут разгадать почти любую стандартную капчу. Сейчас стоит пользоваться разве, что рекапчей либо еще каким сторонним сервисом, хотя они не гарантируют защиту от спама.

Я баню их всех по IP...
Если вам скушно долгими зимними вечерами, попытайтесь забанить все мировые прокси, например - прокси спам ботов. Каждый день их появляется не одна тысяча - глупо пытаться одолеть их вручную.
Эффективность бана может проявляться если вы забаните сразу страну или первый октет включительно. Хотя бы. Заодно это могут ощутить и простые пользователи - как итог - отток посетителей (банить страны это плохая идея).

Какие домены e-mail лучше заблокировать?
Если очень хочется, то для бывшего СССР я бы порекомендовал блокировать домена aol.com ,yahoo.com ,live.com и прочие импортные, в которых фактически нет наших пользователей, зато есть спам-боты, особенно богат ими Яху (импортный тындекс) - самая большая статистика по оф-сайту.
Но! Если не хотите терять посетителей (хоть и не многих) - воздержитесь.
Решать, как обычно, вам.


Продвинутая защита

Первое что мы знаем - у ботов есть базы ссылок регистрации под движки
Замена файла регистрации
Просто смените имя файла регистрации, обычные пользователи не заметят разницы, боты же получат ошибку 404 и уйдут в растерянности.
Заранее предупреждаю, что сменить имя файла легко, а вот проверить на нормальную работу уже сложней. Будьте аккуратны, и проверяйте результат.

Второе - типичные поля в форме регистрации, бот их знает
Замена имен полей в форме регистрации
Аккуратно заменяем поля name="username" на name="chtougodno" , важно поменять обработчики этих полей так же! Здесь необходимы небольшие знания php и html и аккуратность. Обычные пользователи результат не увидят вообще, боты - не смогут даже отправить правильные данные.

Третье - секреты и ловушки
Это все, начиная от флажка "поставь галочку если ты не бот" и кончая специальными полями, куда вводится результат работы javascript автоматически
Реализуется в индивидуальном порядке, достаточно сложная штука для новичка, но эффективность обычно велика.


Как работает BlackBox - или простая защита для любопытных:
Я надеюсь вы знаете о сабже, если нет - поиск по форуму поможет.

Первое - динамически меняющееся поля пользователя, оно меняется каждый час + в зависимости от IP адреса гостя + используется ключевое слово сайта. Оно имеет случайную длинну и случайный (валидный) набор букв/цифр. На данный момент еще нет ни одного бота, который бы распознавал это поле (кроме ручных регистраций).
Но и это не предел, само собой.

Второе - маскировка под стандартное поле, простой шаблон текста позволяет менять его в случае обнаружения, разумеется в будущем я планирую упростить правку шаблона (сейчас хардкод)

Третье - гибкость интеграции - он работает не вместо, а вместе с капчей и другими системами защиты, поскольку он является типовым полем пользователя, с расширенным функционалом.

И наконец - используются ловушки - возможность блокировать ввод полей, автоматически заполняемых ботами и бан по IP за попытку ответить стандартную чушь бота (ограничит возможность для повтора, и возможно бот покинет нас)

В качестве бонуса - использование DNS-проверки IP адреса по базам спама.
Не смотря на то, что работает она хорошо, порою срабатывает на пользователей, потому решать вам - включить её или нет.


Вопросы-ответы дополню потом, да и остальное тоже, фантазия иссякла Smile
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
WhiteFox
Короткая навигация по форуму (избранное): [Пропустить]

А еще есть Файлы - небольшая полезная подборка от меня


Все мои (и не только) загрузки я размещаю на форуме.
Понравившийся аддон можно скачать , кликнув по ссылке с файлом внизу поста - первый пост по традиции - это описание, ссылки на скачку и примеры работы.
Бесплатно, без регистрации, быстро и просто.

Вы можете свободно копировать информацию к себе, при условии установки активной ссылки на автора (по большей части - это все же я), сайты партнеры могут просто указать авторство, без ссылки.
Поскольку большинство скриптов я обновляю постоянно - если вы захотите распространять мои скрипты, я рекомендую просто делать ссылки на темы, либо следить за обновлениями.

 
BAD-DIMAN
А если включить обязательно поле выбора дня своего рождения при регистрации? Ведь врятли мне кажется он тогда пройдет регистрацию?
 
http://schuchin.by
jikaka
не каждый хочет указывать, когда он родился
www.rusfusion.ru - сайт официальной поддержки PHP-Fusion в России
 
www.rusfusion.ru
Polarfox
BAD-DIMAN хороший вопрос, но как я уже писал - часть ботов будет проставлять ПРАВИЛЬНУЮ(рандом?) дату рождения.

И люди будут ставить рандомную дату тоже (те кто против).
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
BAD-DIMAN
А что если тупо переименовать register.php? На сайте Кряги один парень описывал как это сделать, и писал что благодоря этому ботов он уже давно не видел. Ваше мнение по этому поводу? Smile
 
http://schuchin.by
Polarfox
Перенес, тк оффтоп.

Теперь если оценивать эффективность - это эффективная мера, но придется менять ссылки, и следить за актуальностью этих замен.
Если не пугает это - пожалуйста, благо боты тупы и бьют только по стандартным путям.

Но потом я думаю они придумают другую тактику, а пока можно спать спокойно.
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
Polarfox
Что говорят боты про нестандартную капчу:
  • !UNKNOWN_TYPE! нефкурсе чтоэта, прямо так и напишу, прямо в капчу, а куда еще?
  • n минимум 4 символа же, тупица!


Есть любители вписать в ник больше 40 ссылок (с новыми строками даже), есть скромняги - не более 3х ссылок в нике и даже без ббкодов, самые хитрые ставят одну ссылку с ббкодом в ник, я думаю это кетайцы, кто еще будет лепить нерабочих изначально ботов кроме кетайцев (за плошку риса они слепят хоть небо, хоть аллаха) и идиотов?

Короче все как обычно, кроме набега дурь ботов с мильоном ссылок в имени.
Очень много ошибок в капче (в тч от русских ботов, те просто порой выдают пути до файлов словарей - привет криво сломанным хрумерам нищеброд-edition Pfft ), очень много ботов ленится и не хочет писать больше 1-2-3х букв в капче, да и то выбранных рандомом, то есть средние OCR валятся с пол пинка правильной капчей.

Как итог: правильная капча отсеет до 40% (а иногда до 60%!) ботов. Оставшиеся же 60-40% обеспечат вас работой по чистке канализации если кроме капчи ничего не предпринять.


BB кстати тупит, и потому я его не поддерживаю пока больше. Кто поставит сами виноваты если сломается, впрочем удалить его не проблема Smile

unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
Polarfox
Тестовое решение - блокировать ссылки по ббкодам/виду - отсекает почти весь спам (ссылочный отсекает на 100% - а это больше 90% от всего спама).

Такая штука стоит(включена) у меня в чатике, я уже забыл когда чистил его от спама,
защищенная капча с сходным функционалом стоит у меня в комментариях - кроме глупых коментов никакого спама от ботов.

Действенно, и рекомендуется.
Могу помочь с любыми общими вопросами защиты (частный порядок только за три бакса [eg $$$] ).
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
Vveb--ws
ага. почитал. в теме нет ссылок "скачать".

У меня есть мод капчи для коментов с блокировкой ссылок, эффективность близка к соточке.

Основы защиты
Что нужно сделать изначально:
Запретить комментарии гостям
Включить капчу (recaptha/secureimage(1|2) )


Мне надо чтобы
1) было 2-3 буквы или цифры, а не 15 как в гугл рекапча. потому что вводить 15 букв никто не захочет! а 2-3 буквы пробьют быстро, так ведь ?
2) чтобы оно всё работало локально а не через чей-то сервак.

я так смотрю что проще написать свои вопросы словами типа "два плюс три", потому что свои тыщу картинок я генерировать не буду. а чьи-то картинки в виде букв-цифр и грузятся с чужого сервера и распознаются наверное.
я прально мыслю ?

вот например тут уже сделано в виде текстовых вопросов капча (капча появляется после отправки текста на 2-ой странице). думаю так же сделать. и мне так очень нравицца.

просто хотел с тобой посоветоваться как лучше. а лучше ничего пока не вижу.
Изменил(а) Vveb--ws, 3.04.2014 12:21:27
 
http://Vveb.ws
Polarfox
Смотря для чего, вопросы ломают ботов, флэш ломает ботов, жаваскрипты ломают ботов, все ломает ботов если правильно подойти.

Я не пойму что ты хочешь конкретно, все расписал и не раз уже - если абстрактно, если конкретно - ты ничего вообще не сказал где и что тебе нужно.
Решений очень много, у меня например, стандартный BB стоит + блокировка ссылок как ты заметил, если не заметил значит не интересовался этим, значит непонятно зачем спрашиваешь повторно.

Какие ссылки скачать могут быть - это раздел информации.
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
Vveb--ws
Я не пойму что ты хочешь конкретно

Мне надо чтобы
1) капча не раздражала пользователей (скажем 3 цифры )
2) чтобы капча работала локально, а не через чей-то сервак.
3) чтобы капча не пробивалась
4) и чтобы не хранить тыщу картинок Smile
5) капча должна работать везде: и под регистрацию и под комменты без регистрации

у меня например, стандартный BB стоит + блокировка ссылок

речь не о BB-кодах.
BB коды я уже кстати и сам модил, делал редирект для ссылок. в коментах BB-коды не нужны вообще.

флэш ломает ботов, жаваскрипты ломают ботов, все ломает ботов если правильно подойти.

у меня нет таких штук
 
http://Vveb.ws
Polarfox
Тут везде разные варианты:

чтоб не раздражало сделай капчу со скрипта, типа ползунка.

чтоб работало локально - выбирай любую, их больше чем SAAS.

чтоб не пробивалось - опять вопрос не раскрыл, есть пробивание автоматическое, полуавтоматическое и ручное.
последние два пробивают тк это тупо ручные решения.

о каких тыщщах картинок ты говоришь вообще? все генерируется на лету всегда

капча итак везде по сути работает
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
Vveb--ws
спасибо, но слишком заумный ответ.
я не знаю какую мне выбрать.
можешь кинуть ссылки какую мне стоит скачать и установить ?
ползунки это или флеш или JS - эт я не бычу Sad кто такой SAAS тоже не в курсе.

чтоб не пробивалось - опять вопрос не раскрыл, есть пробивание автоматическое, полуавтоматическое и ручное.
последние два пробивают тк это тупо ручные решения.

разумеется что при взгляде глазами должно пробиваться. просто нужна зашита от наиболее распространённых ботов. а не от самых заумных. никто на моём сайте специально ломать её не будет. смысла нет. разве что залётный спамер появицца. сложное и заумное не надо.
 
http://Vveb.ws
Polarfox
Хочешь простой вариант - поставь флажок, проверь флажок.

Я уже писал об этом.
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
rusbody
Сделал защиту от ботов людей, которые решаются чтобы оставить ссылку. Если в течении суток после регистрации, чел пытается оставить ссылку, то отправляется в бан
 
http://rusbody.com
Polarfox
А зачем бан? Удаление, я всех выпиливаю всегда и везде, мусор нужно выбрасывать.
unLogic creator | For English speaking users
unlogic.info/images/unapproved_dev.png
 
http://unlogic.info
Перейти на форум:
 
Подобные темы
Темы Форум Ответов / Просмотров Последние сообщения
Тактика защиты от ботов для "вопросов-ответов"  →  Информация (Info) 5 / 8443 26.03.2014 17:24:39
BlackBox - защита от спама и ботов  →  Почти готово (RC) 93 / 152810 24.04.2013 07:04:11
BlackBox Lite UF - защита от ботов  →  Почти готово (RC) 9 / 12752 28.02.2013 03:15:54
Статистика ботов  →  Оффтопик и флуд 0 / 6449 13.08.2012 20:46:23
Защита от ботов - Изменяемая Бета  →  Неподдерживаемое (unsupported) 5 / 5101 8.02.2010 04:47:54