Перелопатил весь раздел этого форума посвященный контентной фильтрации: много флейма, мало пользы. Есть "Федеральный список экстремистских материалов" Минюста РФ ( http://www.minjust.ru/ru/activity/nko/fedspisok/ ). Кто-нибудь пытался загнать его в dansguardian ? И кто какие списки для dansguardian использует?

Я некоторое время назад немного пошерстил и этот сайт, и вообще экстремистскую тематику. Результат: http://it.mosuzedu.ru/extreme-domains

Спасибо, но это только сайты. А нужно сформировать списки для контентной фильтрации. Я пока занят "печатью аттестатов", поэтому этим вопросом мне некогда заниматься

На мой вгляд, даже на федеральном уровне отфильтровать контент, опубликованного списка, невозможно, а тем более в школе. Кроме того, там четко обозначена ответственность за производство, хранение и распространение, не более того. Вот, если, этим будут заниматься в школе, тогда - увы. Но выходят на подобную деятельность, обычно с другой стороны. И вообще, как недавно заявил ВВП, мы никогда ничего не фильтровали и никакой цензуры интернет в будущем не предусматривается. Как-то по другому с этим нужно бороться.

Андрей Ивницкий писал(а):

Список на сайте минюста тоже заблокируется? :)

Да :) Причем он блокируется сразу же после включения dansguardian. Один из дефолтных фильтров срабатывает

С подачи Григория Засима состряпал скрипт подключения "чёрных" списков к Dansguardian. Списки качаться будут с www.shalla.de 1 раз в неделю по cron-у. Ничего сложного. Создаём файл с любым доступным именем. Вписываем в него вот это:

#!/bin/bash
#
##########
# Ложим скрипт shallalistinclude.sh в /usr/bin/
# Делаем его исполняемым.
#
# Пример запуска файла каждое воскресенье в 09:00
#    Запускаем crontab -e от root
#    Вписываем вот это: 00  09   *   *   7    /usr/bin/shallalistinclude.sh
##########

# Переходим в tmp
cd /tmp;

# Качаем списки от shalla
wget -N http://www.shallalist.de/Downloads/shallalist.t...

# Проверяем, а скачалось ли
if [[ -f "./shallalist.tar.gz" ]]; then

# Распаковываем списки
tar -zxf shallalist.tar.gz;

# Удаляем скачанный архив
rm ./shallalist.tar.gz;

# Исключаем из "чёрных" списков доменов то, что включено в белый exceptionsitelist
# Очень длительная процедура...
for wdom in $(cat /etc/dansguardian/lists/exceptionsitelist);
do
    wdom=$(echo $wdom | sed 's/\./\\\./g');
    find /tmp/BL -name "domains" -exec sed -i '/'$wdom'/d' {} \;
done
# Удаляем пустые строки
find /tmp/BL -name "domains" -exec sed -i '/^$/d' {} \;

# Отключаем DG
service dansguardian stop;

# Удаляем старые списки
rm -Rf /etc/dansguardian/lists/blacklists/BL;

# Перебрасываем подготовленные новые списки
mv /tmp/BL /etc/dansguardian/lists/blacklists;

# Переподключаем списки при каждом обновлении (вдруг у shalla появятся новые каталоги)
# Исключаем из конфига старые
sed -i '/\/etc\/dansguardian\/lists\/blacklists\/BL/d' /etc/dansguardian/lists/bannedurllist;
sed -i '/^$/d' /etc/dansguardian/lists/bannedurllist;
sed -i '/\/etc\/dansguardian\/lists\/blacklists\/BL/d' /etc/dansguardian/lists/bannedsitelist;
sed -i '/^$/d' /etc/dansguardian/lists/bannedsitelist;

# Включаем в конфиг новые
find /etc/dansguardian/lists/blacklists/BL -name "urls" | sed 's/^/\.Include</g' | sed 's/$/>/' >> /etc/dansguardian/lists/bannedurllist;
find /etc/dansguardian/lists/blacklists/BL -name "domains" | sed 's/^/\.Include</g' | sed 's/$/>/' >> /etc/dansguardian/lists/bannedsitelist;

# Перезагружаем squid (почему-то если этого не сделать, то шлюз будет сбрасывать соединения)
service squid stop;
service squid start;

# Запускаем DG
service dansguardian start;

fi
exit 0;

Сохраняем и делаем файл исполнимым.

Запускаем на выполнение этот сценарий один раз.

Он скачает архив со списками, распакует его и подключит в DG. Дальше будет работать cron по сформированному этим же скриптом заданию.

Готовый сценарий можно скачать с моего сайта: http://www.sakryukin.ru/?module=filesdb&amp;id=... он в архиве, так что придётся сначала его распаковать.

Всё проверялось под Debian 7.7 Wheezy - работает.

PS: От же неруси! :-) В списки от shalla включены все Российские, Беларусские и Украинские СМИ. Т.е. если кому-то нужны новости, то надо будет рыться в чёрных списках и удалять соответствующие строки. Некоторые наши каналы я освободил. Однако, в белый список ( /etc/dansguardian/lists/exceptionsitelist ) не мешает включить вот такие домены: yadro.r, live.hls.vgtrk.cdnvideo.ru, mc.yandex.ru, vesti.ru, rutv.ru - без них не хочет работать Россия 24.

Кто знает, как заставить dansguardian блокировать/разрешать домены зоны .рф?

.xn--p1ai - это .рф

http://www.unicode.org/faq/idn.html

https://ru.wikipedia.org/wiki/Punycode

https://wiki.debian.org/IDN

Как-то так

idn2 -l < turl > pturl

turl - текстовый файл со списком домен.рф

Для обратного преобразования лучше idn

idn -u < pturl > tturl

Viktor писал(а):

Извините за то, что снимок публикую именно здесь. Ну не удержался! Dansguardian же!

Короче говоря, доигрался!