Spamassassin lokalnie

[yaro@yaro /]$ su

Password: *********

[root@yaro /]#

jako, ze działamy pod Mandrake nie musimy się męczyć i instalujemy assassina jednym poleceniem:

[root@yaro /]# urpmi spamassassin

Przygotowywanie... ##################################################

1:perl-Mail-SpamAssassin ##################################################

2:spamassassin-tools ##################################################

3:spamassassin ##################################################

[root@yaro /]#

Jeśli z jakiś powodów ww sposób nie działa musimy zainstalować poniższe pakiety:

perl-Mail-SpamAssassin-2.63-1.i386.rpm

spamassassin-2.63-1.i386.rpm

spamassassin-tools-2.63-1.i386.rpm

poleceniem:

rpm -ivh perl-Mail-SpamAssassin-2.63-1.i386.rpm spamassassin-tools-2.63-1.i386.rpm spamassassin-2.63-1.i386.rpm

Jeśli i to zawiedzie pozostaje kompilacja ze źródeł. Jak to wykonać wykracza po za ramy tego HOWTO... (czyt. nie chce mi sie pisac) :)

    • Konfiguracja spamassassin'a

przechodzimy jako root do katalogu:

[root@yaro /]# cd /etc/mail/spamassassin

i edytujemy plik local.cf :

Moja zawartość tego pliku wygląda tak:

[root@yaro /]# jed local.cf

[root@yaro /]# cat local.cf

# SpamAssassin config file for version 2.5x

# generated by http://www.yrex.com/spam/spamconfig.php (version 1.01)

# Whether to change the subject of suspected spam

rewrite_subject 1

# Text to prepend to subject if rewrite_subject is used

subject_tag *****SPAM*****

# Encapsulate spam in an attachment

report_safe 0

# Use terse version of the spam report

use_terse_report 0

# Enable the Bayes system

use_bayes 1

# Enable Bayes auto-learning

auto_learn 1

# Enable or disable network checks

skip_rbl_checks 0

use_razor2 1

use_dcc 1

use_pyzor 1

# Mail using languages used in these country codes will not be marked

# as being possibly spam in a foreign language.

# - english polish

ok_languages en pl

# Mail using locales used in these country codes will not be marked

# as being possibly spam in a foreign language.

ok_locales en

allow_user_rules 1

# How many hits before a message is considered spam.

required_hits 7.5

"Czułość" spamassassina reguluje linia - required_hits

. W zależności jaka będzie tam liczba mail będzie częściej lub rzadziej kwalifikowany jako spam. Na początku sugeruje ustawienie liczby z okolic 4-6. Potem sukcesywnie powoli ją zwiększać.

Jeśli chcemy móc posiadać własne ustawienia i własne reguły MUSIMY dodać do konfigu linie:

allow_user_rules 1

Swoje własne ustawienie można wygenerować tutaj:

http://www.yrex.com/spam/spamconfig.php

    • Uruchomienie, zatrzymanie itd. Spamassassina:

Sprawdzenie stanu:

[root@yaro /]# /etc/rc.d/init.d/spamassassin status

spamd został zatrzymany

[root@yaro /]#

Restart:

[root@yaro /]# /etc/rc.d/init.d/spamassassin restart

Zamykanie spamd: [NIEUDANE]

Uruchamianie spamd: [ OK ]

[root@yaro /]#

Zatrzymanie:

[root@yaro /]# /etc/rc.d/init.d/spamassassin stop

Zamykanie spamd: [ OK ]

[root@yaro /]#

Uruchomienie:

[root@yaro /]# /etc/rc.d/init.d/spamassassin start

Uruchamianie spamd: [ OK ]

[root@yaro /]#

Teraz gdy mamy juz uruchomionego demona (spamd) możemy do niego podłączyć jakiś program pocztowy.

    • Konfiguracja Evolution

O

piszę konfigurację na przykładzie programu Evolution.

Włączmy program:

Wybieramy:

Narzędzia / Filtry / Przychodzące / Dodaj

i ustawiamy opcje jak na obrazku poniżej:

[yaro@yaro /]$ evolution

    • klikamy OK i przesuwamy regułę na sam szczyt listy reguł:potwierdzamy OK.Test działania

Aby przetestować działanie demona wyślijmy do siebie 2 testowe mail'e. Powinniśmy wysłać je na konto na serwerze poza Twoja siecią. Obu nadajmy temat "Test".

Treść pierwszego mail'a :

This is the GTUBE, the

Generic

Test for

Unsolicited

Bulk

Email

If your spam filter supports it, the GTUBE provides a test by which you

can verify that the filter is installed correctly and is detecting incoming

spam. You can send yourself a test mail containing the following string of

characters (in upper case and with no white spaces and line breaks):

XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X

You should send this test mail from an account outside of your network.

Treśc drugiego mail'a:

X5O!P%@AP[4PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*

Po odebraniu poczty powinno się okazać, że tematy obu mail'i zostały zmienione na "*****SPAM***** Test". Zaglądamy do nagłówka mail'a (Widok / Wyświetlanie listu / Wyświetlanie wszystkich nagłówków) i powinniśmy na jego końcu zobaczyć coś ZBLIZONEGO do tego:

X-Spam-Flag: YES

X-Spam-Checker-Version: SpamAssassin 2.63 (2004-01-11) on yaro

X-Spam-Level: **************************************************

X-Spam-Status: Yes, hits=1001.0 required=7.5 tests=GTUBE,VIRUS_CLEANED_MYDOOM autolearn=no version=2.63

X-Spam-Report: * 1000 GTUBE BODY: Generic Test for Unsolicited Bulk Email

i tego:

X-Spam-Flag: YES

X-Spam-Checker-Version: SpamAssassin 2.63 (2004-01-11) on yaro

X-Spam-Level: **************************************************

X-Spam-Status: Yes, hits=501.0 required=7.5 tests=AWL,VIRUS_CLEANED_MYDOOM autolearn=no version=2.63

X-Spam-Report: * 1.0 VIRUS_CLEANED_MYDOOM Failed/cleaned Mydoom infection? * 500 AWL AWL: Auto-whitelist adjustment

jeśli tak będzie nasz zabójca (assassin) działa poprawnie.

    • Ustawiamy podstawowe filtry

Tworzymy nowy filtr:

lub bardziej zaawansowana wersja:

i umieszczamy go PONIŻEJ filtru Assassin. Musimy oczywiście wcześniej stworzyć katalog "!Spam" do którego będziemy przenosić niechcianą pocztę. Później gdy będziemy już pewni działania naszego programu możemy regułę zmienić na poniższą:

    • W tym miejscu można zostawić juz program albo czytać dalej :)Filtry (sieci) Bayesian

Jeśli w local.cf ustawiliśmy:

use_bayes 1

mamy je włączone.

Jeśli nie trzeba ww frazę dopisać i zrestartować spamd (jak? było podane wcześniej)

Co to są sieci Bayesian?

Bayesian Filtering to metoda filtrowania poczty elektronicznej. Dzięki niej filtry antyspamowe automatycznie dostosowują się do specyfiki otrzymywanej poczty i na bieżąco tworzą jej profil, który może ulegać zmianie w czasie. Idea filtrowania Bayesian opiera się na statystycznej analizie częstotliwości występowania słów (czy też określonych znaków, np. $%&) w normalnych wiadomościach e-mail oraz w tych, które są klasyfikowane jako spam. Zasadę działania analizy Bayesian najlepiej zobrazuje ten oto przykład. Zakładamy, że w danym okresie czasu otrzymaliśmy 2000 listów elektronicznych sklasyfikowanych jako spam. W 700 z nich wystąpiło słowo "zarabiaj", a w tym samym okresie czasu otrzymaliśmy 400 wiadomości, które spamem nie były. W 5 z nich wystąpiło słowo "zarabiaj", stąd wynika równanie:

(700/2000)/(5/400+700/2000) = 0,96

Na podstawie powyższej analizy, wiadomości ze słowem "zarabiaj" traktowane będą jako spam, gdyż prawdopodobieństwo, że faktycznie nim są okazuje się bardzo wysokie, równe 0,96 (maksymalna wartość jest równa 1 i oznacza stuprocentową pewność, minimalna wartość jest równa 0 i odpowiada całkowicie zwyczajnej poczcie). Warto podkreślić elastyczność takiej analizy - jeśli w wiadomościach wychodzących zwiększy się częstotliwość występowania określonego słowa (np. "zarabiaj"), to wynik się zmieni. Całość operacji nie jest oczywiście przeprowadzana dla jednego słowa, analizie poddawana jest cała wiadomość, co zwiększa skuteczność tej metody. Należy także zwrócić uwagę na dodatkową zaletę - niezależność od języka w jakim prowadzona jest korespondencja.

(Na podstawie http://www.it-faq.pl/itfaqarticle.asp?id=341)

Jak teraz nauczyć czegoś nasz filtr?

Zaznaczamy wszystkie mejle które uznajemy za spam (trzymamy CTRL i klikamy kolejne), klikamy prawym, wybieramy "Zapisz jako" i zapisujemy np. do /tmp jako plik o nazwie box. Zapisane mail'e (czyt. spam) KASUJEMY.

Następnie otwieramy konsole JAKO ODPOWIEDNI UŻYTKOWNIK, np. jeśli logujemy się jako jacek i jako jacek używamy evolution to w konsoli ma być coś podobnego:

teraz klepiemy:

[jacek@localhost jacek]

[yaro@yaro yaro]$ sa-learn --spam --showdots --mbox /tmp/box

.... ........... ......

Learned from 43 message(s) (48 message(s) examined).

[yaro@yaro yaro]$

Gotowe! Jak widać z 48 mail'i filtr użył do nauki 43 (pozostałe zapewne juz były wcześniej analizowane). Dobrze jest teraz pokazać mu jakieś dobre listy. Zaznaczamy NIE-SPAM, zapisujemy jako /tmp/box (nadpisujemy poprzedni plik). I wykonujemy polecenie:

[yaro@yaro yaro]$ sa-learn --ham --showdots --mbox /tmp/box

......................................................................

Learned from 243 message(s) (243 message(s) examined).

[yaro@yaro yaro]$

I to wszystko. Co jakiś czas warto powtórzyć ww operacje z nowymi mail'ami. Wg moich spostrzeżeń po przeanalizowaniu 80-250 listów ze spamem, zaczyna to wszystko działać naprawdę dobrze.

    • Konfiguracja użytkownika

Spamassassin wszystkie spersonalizowane ustawienia trzyma w katalogu ~/.spamassassin . Znajdziemy tam zapewne kilka różnych plików ale nas interesuje konkretnie jeden - user_prefs . Jeśli takiego nie ma należy go stworzyć.

Zasadniczo nie ma potrzeby tworzenia własnych regułek jeśli stosujemy Bayesian, ale jeśli chcemy...

Ja sobie dopisałem (aby wyżej punktować pewne frazy) takie coś:

body ONET_SPAM /List został wysłany za zgodą użytkowników OnetPoczty/i

score ONET_SPAM 5

describe ONET_SPAM reklamowka_onetu

body WP_SPAM /List został wysłany zgodnie z regulaminami kont/i

score WP_SPAM 5

describe WP_SPAM Wp_spam

body TERAZ_TYLKO /teraz tylko/i

score TERAZ_TYLKO 0.3

describe TERAZ_TYLKO teraz_tylko

body YARO_GRATIS /gratis/i

score YARO_GRATIS 0.4

describe YARO_GRATIS gratis

body CHEAP /Cheap/i

score CHEAP 0.5

describe CHEAP cheap

body PRICE /price/i

score PRICE 0.3

describe PRICE price

body COCK /cock/i

score COCK 1.7

describe COCK cock

body SUCKED /sucked/i

score SUCKED 1.5

describe SUCKED sucked

body CHICKS /chicks/i

score CHICKS 1

describe CHICKS chicks

body YARO_PAY /pa(?:y|i)(?:|d|ment|out)/i

score YARO_PAT 0.5

body YARO_REFFERAL /refe(?:r|rr)(?:al|ed)/i

score YARO_REFFERAL 0.5

body YARO_PROFIT /profit/i

score YARO_PROFIT 0.4

body YARO_MONEY /money/i

score YARO_MONEY 0.4

body YARO_MONEY3 /gold/i

score YARO_MONEY3 0.4

body YARO_SHOP /shop/i

score YARO_SHOP 0.6

body YARO_REACH /reach/i

score YARO_REACH 0.2

body YARO_AFFILIATE /affiliate/i

score YARO_AFFILIATE 0.7

body YARO_INCREASE /increase/i

score YARO_INCREASE 0.4

body YARO_CUSTOMER /customer/i

score YARO_CUSTOMER 0.3

body YARO_PRICE /pric(?:e|ing|ed)/i

score YARO_PRICE 0.3

body YARO_ORGASM /orga(?:s|z)m/i

score YARO_ORGASM 1

body YARO_EJACUL /ejaculat(?:i|e)/i

score YARO_EJACUL 1

header X_WP_AntySpam_Rezultat X-WP-AntySpam-Rezultat =~ /TAK-SPAM/i

score X_WP_AntySpam_Rezultat 2.5

O co w tym chodzi? To dość proste. Tworzymy pewną grupę. np. o nazwie ONET_SPAM która będzie w TREŚCI mail'a (body) wyszukiwać frazę "List został wysłany za zgodą użytkowników OnetPoczty":

czyli:

W ww przypadku znacznikiem jest „i” - co oznacza, że regułka nie będzie sprawdzać wielkości liter. Następnie podajemy jak wysoko punktujemy daną regułkę:

body ONET_SPAM /List został wysłany za zgodą użytkowników OnetPoczty/i

score ONET_SPAM 5

Raczej łatwe do zrozumienia - Reguła o nazwie ONET_SPAM jeśli jest spełniona daje 5 pkt. I na koniec MOŻEMY dopisac:

describe ONET_SPAM reklamowka_onetu

Jak łatwo się domyślić do reguły ONET_SPAM zostaje przypisany opis "reklamowka_onetu".

Pokaże jeszcze jedną rzecz. Trochę bardziej zaawansowane pisanie regułek:

body YARO_PRICE /pric(?:e|ing|ed)/i

score YARO_PRICE 0.3

Czym to się różni? Tylko zapisem szukanego ciągu znaków. Ten zapis obejmuje słowa price, pricing, priced (pisane literami dowolnej wielkości). Konstrukcja jest taka:

/ciag_znakow(?:ciag_znakow_1| ciag_znakow_2| ciag_znakow_3|...)ciag_znakow/