Способы фильтрации рекламного контента

Михаил Демидов

🕛 06.03.2008, 14:11

Ни для кого, конечно же, сейчас не секрет, что Интернет является точно таким же полноправным СМИ, в котором совсем не зазорно размещать рекламу. Когда Вы смотрите телевизор или слушаете радио, бороться с назойливой рекламой можно, только выключив звук и/или изображение, но как же быть с фильтрацией рекламы в Сети? В этой статье Вы узнаете про самые эффективные способы борьбы с рекламой на веб-страницах и в программах, в которых есть рекламные модули (Интернет-пейджеры, среди которых самым рекламным является ICQ, ряд бесплатных утилит, например, бесплатная программа для записи CD/DVD-дисков Burn4Free).

Врага надо знать в лицо!

Определимся сразу, какие элементы веб-страницы могут расцениваться как реклама, и соответственно могут быть удалены из поля видимости пользователя или же заменены на текст вроде: «Здесь была реклама». Самым распространенным рекламным контентом являются банеры, то есть графические изображения, создаваемые обычно в GIF/PNG или Flash-формате (SWF). Параметры этих изображений всегда стандартны: самые популярные разрешения для «кнопок» (ими часто вебмастера заменяют текстовую ссылку для обмена) или же «пузырькомеров» (счетчиков статистики веб-страницы) - 88*31 пикселей, 100*100 пикселей и 125*125 пикселей; классический размер банера (рекламного объявления) - 468*60 точек, но встречаются и образцы по 120*600 пикселей и по 120*240 пикселей. Кроме того, во всех случаях картинка или флэш-ролик содержат ссылку на рекламируемый материал, что приводит, в случае нажатия на изображение, загрузки сторонней веб-страницы. Фильтровать такой контент можно по следующим критериям: размер изображения, наличия связанной гиперссылки с изображением и описанием, содержащим ключевые слова.

Вторым видом рекламы в Сети являются всплывающие окна веб-страниц (popup) - в коде страницы вставлен особый скрипт, который при заходе на страницу активирует открытие рекламной страницы в фоновой вкладке или в новом окне, а также запускает интерактивный элемент (обычно небольшое, красочно оформленное окно, в котором за всей рекламной атрибутикой обычно скрыт «крестик» закрытия окна). В свою очередь такого рода рекламу можно «порезать», анализируя код страницы на включение известных скриптов, запрещая переадресацию на сторонние сайты.

Третьим рекламным контентом на сайте, является контекстная текстовая реклама (в качестве примера таких модулей можно привести системы «Begun», Sape, XAP). Такие рекламные блоки просто внедряются в код страницы, подсвечивая гиперссылками слова или показывая всплывающие окна при наведении курсора на ссылку (в редких случаях происходит переадресация на рекламируемую страницу). Такой вид рекламы фильтрации поддается в самых редких случаях.

Методы фильтрации: браузеры
По умолчанию Ad Block Plus предлагает подписки на зарубежные ресурсы, но предупреждает о целесообразности выбора именно регионального фильтра сайтов. Приняв этот совет, мы нажимает просмотр всех возможных подписок, и в самом конце списка находим, разумеется, неофициальную для Рунета. Так как особых альтернатив у нас нет (если только не создавать фильтры рекламы вручную, ориентируясь на советы разработчиков), мы подписываемся на ежедневные обновления с сайта российского энтузиаста по борьбе с рекламой Дениса (Denis OVS).
«Порезать» рекламу можно и не только с помощью отдельных утилит, но и просто с помощью CSS - достаточно загрузить пользовательский CSS-скрипт, который будет отслеживать загрузку картинок определенного размера. Из преимуществ такого метода стоит отметить простоту установки фильтра (нужно скопировать файл CSS в папку с пользовательскими стилями и в настройках Opera включить URL Block в Стилях), а также надежность фильтрации (не проскакивает даже модули контекстной рекламы, например Google AdSense). Кроме того, Вы не изменяете код самой страницы (о том, что его изменяет, читайте ниже), а просто отображаете ее «по-своему».

Из всех браузеров «большой тройки», которыми пользуются почти все сознательные и не очень пользователи, самым уязвимым по пропуску рекламы является Internet Explorer (любые версии, включая последнюю «седьмую»). Два других браузера, Mozilla Firefox и Opera Browser гораздо более защищены в плане фильтрации банеров (Opera) и запуска ActiveX компонентов для переадресации на сторонние сайты (Mozilla Firefox). Однако, и для них имеет смысл установить дополнительные модули для защиты от назойливого контента. Ad Block Plus - это небольшое (228 Кб) дополнение к Mozilla Firefox, позволяющее использовать пользовательские фильтры и правила для «резки рекламы». При первом запуске пользователю предлагается подписаться на одну из многочисленных подписок задетектированного рекламного контента, чтобы быть всегда «на гребне волны».

Настройки дополнения доступны в соответствующем меню, которое в случае использования русской версии вполне вменяемые, в этом же окне отображается статистика попаданий страниц по рекламе и возможность активации/деактивации каждого из фильтров. Дополнение, разумеется, обновляется периодически, а список фильтров ежедневно.

Для Opera Browser существует аналогичное дополнение под названием Opera Ad Filter. Несмотря на то, что программу нельзя назвать очень современной (последнее обновление - 2005 год), с ее помощью можно вполне адекватно настроить версии браузера выше 7.5. При запуске программа предлагает указать ей путь до файла настроек opera6def.ini, после чего создает файл фильтров URL filter.ini, в котором прописываются 1120 веб-узлов, помеченных как содержащие рекламу. Список может быть расширен пользователем, так как при запущенном приложении Opera Ad Filter все ссылки, скопированные в буфер обмена, воспринимаются как кандидаты в черный список.

Методы фильтрации: анализаторы трафика

К программам для анализа трафика (на предмет выявления наличия рекламных элементов, но не Ad-Aware) можно отнести файерволлы и схожие с ними по функционалу программы для фильтрации рекламного трафика Ad Muncher и Super Ad Blocker. В России самым популярным сетевым экраном, который «съедает» рекламу является Agnitum Outpost Firewall Pro, недавно обновившийся до версии 2008 года. Он блокирует объявления, основываясь на ключевых словах (их список может пополняться и самим пользователем - есть как личная база данных, так и такая же, но созданная другими пользователями постоянно пополняемая база Improve Net), найденных в HTML-тегах «IMG SRC=" и «a href="" рекламного баннера. Если URL баннера содержит хотя бы одно из заданных ключевых слов, баннер заменяется текстом «[AD]" или прозрачным GIF-изображением такого же размера. Кроме того, рекламные изображения могут быть заблокированы и по размерам (поддерживаются все самые популярные разрешения, можно добавить и свои).

Фильтровать средствами веб-контроля можно не только изображения, но и всплывающие окна, Java и ActiveX-скрипты, VB-скрипты и рефералы, сценарии JavaScript и ActiveX, и вообще любые внешние объекты, включенные в страницу (так называемое embedded media). Этим как раз и занимаются Ad Muncher и Super Ad Blocker. Обе программы работают по одному и тому же принципу: ваш браузер загружает страницу, а программа перехватывает вызовы картинок, определяя их на «рекламность» и, соответственно, заменяет их на самой странице фрагментом своего кода или текстом (по умолчанию - «Munched» (дословно: «зажевано») у Ad Muncher и фразой «Click here to view image/flash» у Super Ad Blocker). Перечислим основные возможности каждой из программ:
возможность Ad Muncher Super Ad Blocker
Удаление рекламы из IM-клиентов (ICQ, Yahoo, AOL, MSN) Незадокументировано, на практике удаляет из ICQ есть
Блокирование Flash-рекламы По умолчанию выключено, требуется тонкая настройка фильтров есть
Блокирование рекламных Java-script, VB-script (установка сайта в закладки, изменение фона, звуков, полос прокрутки и тому подобное). есть нет
Блокирование DHTML-рекламного кода (так называемая Fly-In реклама) Незадокументировано, на практике поддерживается есть
Блокировка всплывающих окон есть есть
Запрет на загрузку рекламных модулей есть есть
Удаление рекламы «для взрослых» есть нет
Работа с рекламными cookies нет есть
Функция анонимного серфинга Есть (IP Scramble) нет

Методы фильтрации: прокси и запросы

Напоследок, немного слов об еще одном способе «резки» рекламы, заключаемся в веб-серфинге с использованием альтернативного IP-адреса (proxy). В техническом отношении этот способ практически аналогичен вышеизложенному, разница будет в том, что в настройках Вашего Интернет-обозревателя придется прописывать адрес прокси-сервера, равно как и перенастраивать на использование прокси программ, которые несут в себе рекламу, но используют прямое подключение к Интернету. Одной из таких программ является утилита Guidescope. Для того чтобы пользоваться ей, придется выставить прокси-сервер 127.0.0.1 и порт 8000, а потом командой http://set.proxy/address:port активировать эти настройки (для Mozilla Firefox и Internet Explorer) или просто по нажатии клавиши F11 включить прокси в Opera Browser. С одной стороны плюсом, но в то же время, с другой стороны минусом в Guidescope является отсутствие GUI-интерфейса - все настройки делаются на главной веб-странице программы в не самом удобном меню (зато ресурсов потребляется минимум).

Еще одна программа, фильтрующая рекламу через прокси-соединения, называется Privoxy, правда, все-таки корректней ее назвать веб-сервером с поддержкой фильтров спама и рекламных объявлений в Интернете. Как такового GUI-интерфейса здесь нет, возникают зато недвусмысленные ассоциации с Apache Server (благо, что оба продукта «одного поля ягоды», в смысле - распространяются под лицензией GNU). Для того чтобы запустить фильтр рекламного контента файлы с расширением .action, отвечающие за действия сервера, при встрече со всплывающими окнами, реферерами, Java-script, рекламными cookies и прочей дребеденью, поедающей трафик. Если Вы чувствуете себя продвинутым пользователем, почитайте документацию по тонкой настройке этих файлов. По своей сути, программа очень будет полезна и мила сердцу системным администраторам, которые, скрупулезно изучив справочные материалы, будут задавать правила для отсеивания рекламы (конечно, мы утрируем, в файлах можно применить и маски фильтров, да и много других способов по автоматизации процесса описывается в документации).

Как вариант, рекламу можно блокировать и через фильтрацию запросов. Для тех, кто немного «не в теме», поясним: запрос это то, что передается вебсерверу при вводе в адресной строке браузера, и он может содержать несколько команд (методов), одна из которых называется GET. Метод GET обычно служит для запросов, требующих не отправки данных, а получения их (то есть, в нашем случае для демонстрации рекламы). Все данные передаются в открытом виде при помощи параметров, которые будут видны в браузере и могут быть перехвачены. В программе HtFilter как раз и осуществляется перехват данных запросов GET для анализа включения в них рекламных слов и выражений, что позволяет заблокировать сайты с рекламным содержимым полностью для отображения в браузере. По умолчанию используется штатный файл со списком рекламных слов, но он может быть свободно изменен пользователем (это обычный TXT-документ). Самое главное то, что длина строки параметров ограничена 256 символами, поэтому файл рекламных словосочетаний по идее не может быть очень большим по размеру.

Вместо заключения

Писать абстрактные фразы из рубрики «вот эта программа умеет то-то и то-то, что не умеет другая программа» по такой теме очень не хочется. Поэтому вместо заключения просто будут даны некоторые соображения и советы по использованию программ для резки рекламы. Во-первых, рекламу удалять надо, сколько бы Вы ни гордились своим безлимитным Интернетом, ведь из-за нее страницы загружаются до двух-трех раз медленнее (разумеется, это еще очень сильно зависит от сервера, на котором размещены как рекламные модули, так и сами страницы сайта). Я не прошу устраивать крестовый поход против всей рекламы, потому что среди нее встречаются довольно интересные творческие образцы (особенно на flash-банерах), но загружать счетчики, банеры, два-три окна с явно «левым содержанием» в фоне, а также судорожно искать кнопку «закрыть» на огромном банере, передвигающимся за курсором на очередном сайте, когда можно все это раз и навсегда отключить, по крайней мере, неразумно. Во-вторых, никто не отменял вирусной рекламы (имеется в виду настоящая реклама, содержащая вирусы, а не вирусный маркетинг, состоящий в размещении ссылок на дорвеях или сайтах-рефералах). Зачастую банер с целующимися барышнями 18+/- может незаметно для пользователя вызвать во фрейме исполняемый код сценария, который создаст запрос на анонимное получение данных (например, паролей из открытой сессии с почтовым ящиком по веб-интерфейсу), что, понятное дело, называется в простонародье «хакерством». По идее, использование утилит по резке рекламы снижает вероятность возникновения таких ситуаций, а с использованием Agnitum Outpost Firewall Pro 2008 они полностью исключены. В-третьих, при настройке программ для фильтрации рекламных объявлений надо учитывать, что некоторые не самые добросовестные вебмастера создают элементы навигации сайтов очень похожие на рекламные модули, поэтому при фильтрации «по умолчанию» такие ресурсы могут некорректно отображаться или не загружаться вовсе. Для таких случаев в большинстве утилит есть настройка исключений (доверенные сайты), а также обратная связь с разработчиками, которой не надо бояться, если Ваша программа легально приобретена. А если Вам жалко денег на покупку коммерческого продукта (в нем обязательно есть более-менее внятный интерфейс для настраивания фильтрации), то к Вашим услугам - бесплатные утилиты, распространяемые по GNU (о них речь шла в разделе про прокси и запросы): настоящий рай для гиков и программистов, но не для рядовых пользователей, самые доскональные настройки всего и вся, но при этом тотальная ответственность пользователя (или того программиста, который Вам это все настраивал) за работоспособность и безопасность Интернет-соединения после проведения фильтрации. Так, что вывод один - за рекламу платят рекламодатели, вебмастера получают деньги, а пользователи платят за то, чтобы от этой рекламы защититься. Выходит, что «порядок есть в природе» или, хотя бы, в Интернете.