SpamAssassin的中文垃圾邮件过滤规则集

bhuang

CCERT于2004年9月7日推出了第一个开放式中文垃圾邮件过滤规则集（参见：
http://www.ccert.edu.cn/spam/sa/Chinese_rules.cf），用于业界广泛
使用的免费垃圾邮件过滤系统SpamAssassin，对于中文垃圾邮件的过滤起到很好的效果，在业界引起了广泛关注。
  
    SpamAssassin 是目前最为广泛的免费反垃圾邮件系统，拥有超过3000万用户（邮件服务器）。但是，由于以前没有中文的过滤规则集，SpamAssassin 对中文邮件过滤的准确性不高。CCERT反垃圾邮件研究小组在陈光英博士的带领下，推出了中国第一个基于SpamAssassin的中文垃圾邮件过滤规则集，该规则集从CCERT垃圾邮件投诉信箱中提取大量垃圾邮件样本，利用统计方法和遗传算法来训练和优化每条规则的权重，过滤的准确率超过了99％。利用CCERT所掌握的丰富的样本数据，该规则集目前每周更新一次，时效性很好。

    该规则集是目前在SpamAssassin 官方网站上发布的唯一一个中文垃圾邮件过滤规则集（参见 :http://wiki.apache.org/spamassassin/CustomRulesets），也是用google搜索能够找到的唯一一个中文过滤规则集，自从在网络上发布以来，引起
了较大的反响。

abel

自己寫一套,還比較好:
http://211.72.210.251/spamcop.html

那個東西無法解決 QP/Base64 encoding 吧..
而且我寫的可以做到 summary 統計等,全部用 procmail+mysql 來實現
User 都可以從網頁自訂 Filter rule (Patten,RBL,White List...),且完全將信件的 encoding 解碼
核心的 procmailrc 只有 100 行程式
被檔的信件不會到 User 信箱,但每天會給 user Block list
User 只要在 Block List( EMAIL notify) 點一下就可以取回來了
而且,我們還養 spamcop.net 這個 RBL, 你可以看到最下面的地方有一個
Submit, 可以自動將這份 List 發給 RBL 組織,再自動 submit RBL 的
commit , 個人認為再也不能做得更好了(或有限) ...

flyapollo

原帖由 "abel" 发表：
自己寫一套,還比較好:
http://211.72.210.251/spamcop.html

那個東西無法解決 QP/Base64 encoding 吧..
而且我寫的可以做到 summary 統計等,全部用 procmail+mysql 來實現
User 都可以從網頁自訂 Filter rule ..........

兄弟能不能share一下啊

abel

講個主題吧...
不然光 procmailrc 語法就死一堆人...
自動 submit spamcop 也是
中文解碼還原也是 ...
...
因為若沒有根基,就沒有荿盛的葉子呀 ...

我一天會收到平均三百封 spam, 自完成這個後, 95% 以上的 spam
都可以被檔下來,誤檔率也不到 1%,且也有充份的補救措施,
可以再從 mail server 自動取回來

hzqbbc

原帖由 "abel" 发表：
自己寫一套,還比較好:
http://211.72.210.251/spamcop.html

那個東西無法解決 QP/Base64 encoding 吧..
而且我寫的可以做到 summary 統計等,全部用 procmail+mysql 來實現
User 都可以從網頁自訂 Filter rule ..........

amavisd-new配合SA可以做到QP/base64 decode..因此原则上没有问题的。。至于说垃圾邮件的digest，不知道abel兄台是怎么设计的？

是每封信到达时检测看新信笺够了n封后再发digest还是。。？愿闻其详。

abel

amavisd-new配合SA可以做到QP/base64 decode..因此原则上没有问题的。。至于说垃圾邮件的digest，不知道abel兄台是怎么设计的？

是每封信到达时检测看新信笺够了n封后再发digest还是。。？愿闻其详。

hzqbbc 兄,您的 pm 我就不回了,我想大家在這個串裏討論即可,也方便後
進可以看看大家的推演,只有我們兩個用 email 討論的話,大概其他人也
不會受益 ...

我們不是做 Mail Server 或 Anti-Spam 的,研究這些東西主要只是為了給
我們這種三十人的小單位使用,以練練自己技術, amavisd-new 是好東西,但
是和某些 MTA 搭配時,尤其是 sendmail 會有 "Lost input" 問題,至於 SA
,有人說吃 Resource 很凶...並不是說這些東西好或不好,但站在個人角度
或公司立場,我們是希望自己有一套方法來 anti-spam/anti-virus,而
anti-spam 是 User 自己決定做不做, anti-virus 站在公司角度來說是一定
要執行的,所以切合自己的需要是最重要的.

anti-virus 很簡單,用 procmailrc 常用的語法及公司政策就可以全部打死
政策就是:拒收所有的可執行檔,像 .com .pif .js ...都擋掉,並教育 user
觀念,因為我們人少,流動率低,所以三年來從沒有人中過什麼 email virus,
個人認為從政策面入手,再由技術面配合, anti-virus 實在不用什麼技巧

anti-spam 就不同了,我個人一天有400~500 封的信件,其中九成是 Spam,XD~
不擋怎受得了, SA 的作法符合大家的需求,所以很多人都用,但是 SA 並不能
滿足我們,尤其是 Forward 的信件或網頁或 mailing-list 常會誤判,甚至我
們請商業公司給我們適用一些產品,像 eShield 等,結果也是亂七八糟,判對
了就算了,判錯了你還給我加一堆 header 或是改 Subject: SPAM-xxxx, 造
成回信的困擾

anti-spam 最多人用的技術不外乎是 RBL,網路上隨便抄都有各種 MTA 設定的
Sample,不過講實在話,我相信 99.99% 人永遠不知道 Connection 就被 RBL
設定 Reject 的信有多少,到底是真 Spam 還是重要信件你也很難檢驗.個人的態
度則不然,既然我自己要寫符合公司使用的 anti-spam ,我就得做實驗,我用
我的 EMAIL account 做了一項測試,每封收進來的信由 procmail 來判讀,並計
數統計,做成像
http://www.sdsc.edu/~jeff/spam/Blacklists_Compared.html
的比較表,找出最符合我們特性的 RBL ,當然,不只計數如此而以,你還得看該
RBL 準確度,該 RBL 的運作機制等(例如檢舉/移除/可靠度..),最後找出三個
來使用(使用過多的 RBL 一點意義都沒有),有些 RBL 只是敵視某些國家或 ISP
等,其實這都不值得使用的.

我使用 procmail 來做上述的一些檢測,當然技術層面一定要夠了才做得了,
當然,我也可以使用 procmail 來做寄出/寄入的條件性備份(我是 sendmail 派的),
只是,講實在話,我看這裏的人大多都只重表面,不重實際,只要文檔,不要原理,只要
結果,不思過程,當然也有些非常重實際的人,像您一般.
我三年前,我學 procmail 相關的運用,可是花了整整一個星期,我看遍 manpage
相關的說明 (procmail/formail/procmailrc/procmailex/procmailsx..),
各大小相關的 procmail 網站都逛過,基本上這些都是做過不斷的實驗與實作,
所累積下來的經驗,即使我貼出來我的做法,我想以這個版的風氣,大概就是
"怎麼不行/mysql 連不到/我要怎麼自己加 Patten/CGI 不 Work/
Http 500 Internal Error" , XD~ ,這個版上也從沒有一篇有關 procmail
像樣的說明...,我看到的精華區幾篇關於 procmail 感覺都只是抄過來的而以

當然, procmail 如同 SA 一般給人的感覺都是吃資源,這是多數人的感覺,
一則以我們單位不大,二則以掌握度高,三則以 LDA 為 filter 對像,其實
在我們來看,並不會佔用太多 Mail Server Resource

我的個人觀點, anti-spam ,你就要懂 Mail Server, SPAM 原理,Mail Format/
Encoding 等相關東西,不然就用人家寫好的就好,實在沒必要自己做這種苦力
---------------------------------------------------------------------

以上只是個人一些在這版看到的一些感想,言歸正傳

amavisd-new配合SA可以做到QP/base64 decode..因此原则上没有问题的。。至于说垃圾邮件的digest，不知道abel兄台是怎么设计的？

是每封信到达时检测看新信笺够了n封后再发digest还是。。？愿闻其详。

hzqbbc 兄問得應該是我怎麼做的原理吧~我就只用 procmail 來做而以,procmail
這個東西在許多 MTA 上都是預設的 LDA,所以 postfix 應也是一樣做法,只是我專
走 sendmail 的研究,而版上諸友看來都是 Qmail.

procmail 收到信後往 local deliver 送時,自然會讀 $HOME/.procmailrc 是否存在,
所以,我只要把 .procmailrc 丟到該 USER 的 $HOME 下,過濾機制自然對他生效,
每封信進來就會判斷,儘量不要把 procmailrc 設在 /etc 下,因為那會對整個 MTA
生效,我做過實驗,你每個 USER 放一個 .procmailrc ,和放 /etc/procmailrc ,其
實對系統的 Loading 差很多,尤其是在一封信寄給很多人的情形,如果一封信寄到
一個 aliases, 裏面有 10 個 account , 在 /etc 下, procmail 會跑 100 次,
而 $HOME 下只會有十次, 最好的方式像 amavisd-new/Mail-Scanner 則只會做一次
當然,這是他們在進信的過程中所處的位置不同所造成的差異...(您應看得懂,其他
大概九成的人不懂).

所以,信件判斷,照多數人只看中文教學的人來說,大概只會做:

1. 
   
2. #procmailrc sample1,符合 domain.net 來信的要過濾掉
   
3. :0 H
   
4. * ^From: .*domain.net.*
   
5. /path/to/save
   
6. 
   
7. # 進來的信件要複製轉寄一份給 other_server_email@domain
   
8. :0c
   
9. ! other_server_email@domain
   
10. 
    
11. # 高明一點知道如何避免 Loop
    
12. :0c
    
13. * ! ^Have-Filter: 1
    
14. | formail -A "Have-Filter: 1" | sendmail -oi -t email
    

复制代码

好了,現在我們看到,信轉走了,或丟到別的位置去了,這都是大家從別人的 sample 學來的
但是有沒有發現 可以 pipe (|) 給一隻程式處理,這裏我們只要做一些手腳,就可以那來
做很多事了(其實像上面例子的 From: 就可以是程式)
我們可以來美化一下:

1. 
   
2. # MYSQL 變數就是你拿來存 spam info 的連接參數
   
3. MYSQL="mysql -u username -ppassword -h hostname dbname"
   
4. # 取出誰寄給你信
   
5. FROM=`formail -zxFrom:| sed -e 's/.*<\(.*\)>;.*/\1/g'`
   
6. # 取一個檔名來歸信件檔
   
7. FILE=`echo $HOME`/procmail/mail_folder/mail-`echo $$`-`date +%Y%m%d%H%I%S`.eml
   
8. # 將每個人的信件單獨存成一個檔案
   
9. tmp=`formail >; $FILE`
   
10. # 取出主旨列內容,主旨列可能是 8bit,或是有 charset, 或是有 QP 編碼及 MIME BASE64 編碼等情形
    
11. tmp=`formail -zxSubject:`
    
12. # 一個自己寫的簡單解碼程式,將編碼還原成 Big5
    
13. SUBJ=`/etc/parser_subj "$tmp"|sed -e 's/ //g'`
    
14. 
    
15. # flag HD 或下面的 fw 自己 manpage 吧
    
16. # 儘量少用 小寫 h,因為會濾掉 header,不過大概沒有人看得懂這句話
    
17. :0 HD
    
18. * (^From:|^Received:|Return-Path:) .*(mailserver.idv.tw|mailserver.com|worldad.net|mailnews.com.tw).*
    
19. {
    
20.         :0 fw
    
21.         | echo "insert into SPAM(MAIL_FROM,RCPT_TO,SUBJ,FILE_NAME,MAIL_TYPE,USERNAME,REASON,PATTEN ) values('$FROM','$TO','$SUBJ','$FILE',1,'$LOGNAME','發信軟體','mailserver 信商發出')"    | $MYSQL
    
22. 
    
23.         :0
    
24.         /dev/null
    
25. }
    

复制代码

好了,如此我們即可判斷出 (From 或 Reveived 或 Return-Path) 有 (mailserver.idv.tw 或 mailserver.....)
的信,要導給一個程式做處理,這個程式只是將必要資訊存入 mysql 中

最後,信件存入 /dev/null (就是殺掉了)

再來看一個我的範例:

1. 
   
2. :0 hD
   
3. * ! ^From: .*mydomain.net.tw.*
   
4. {
   
5.         :0 fh
   
6. # 取出的 $SUBJ 和資料庫中的該 USER 定義的中文字做比對
   
7.         | ( patten=`echo "select concat(PATTEN,\" \") from SPAM_PATTEN where USERNAME='$LOGNAME' and instr('$SUBJ',PATTEN)"|$MYSQL      | grep -v 'PATTEN'`; \
   
8. # 比對結果長度不為0,表示 Match
   
9.         if [ ${#patten} -ne 0 ] ; \
   
10. # 在信件加一個表頭欄位, Spam: 符合的字串項目
    
11.                 then    formail -A "Spam: $patten";     \
    
12. # 把資訊寫入 mysql 中
    
13.                 echo "insert into SPAM(MAIL_FROM,RCPT_TO,SUBJ,FILE_NAME,MAIL_TYPE,USERNAME,REASON,PATTEN ) values('$FROM','$TO','$SUBJ','$FILE',1,'$LOGNAME','符合特定字串','$patten')" | $MYSQL;       \
    
14. # 把該 PATTEN 計數加一,有可能一封信符合多個 PATTEN, 每個都要加一,所以要用 for loop 處理
    
15.                 for p in $patten;do        \
    
16.                         echo "update SPAM_PATTEN set CNT=CNT+1 where USERNAME='$LOGNAME' and PATTEN='$p'| $MYSQL;        \
    
17.                 done;        \
    
18.         fi );
    
19. 
    
20.         :0
    
21.         * ^Spam: .*
    
22.         /dev/null
    
23. }
    

复制代码

上述的 # 註解不應該存在那裏,只是為了方便大家看而加,不然程式為出錯

好了,大柢原則就是這樣做而以,你要怎麼 coding 看你的能力而以, 為什麼要 ; \ 懂
shell 的人一定知道,這個過程中,我們將所有資訊都存入 $FILE 及 mysql 中,
再來就只要按時 run 一個 cronjob , 把 summary 送給 user 即可,不是嗎 !?
只是這個 cronjob 送出來的是 html 的信件, user 只要在這個 summary report
上,像你看到的 http://211.72.210.251/spamcop.html 看到的例子上點主旨列
就可以取回信件,就跟網頁的做法是一樣的.

註: 取回的信件不是又進了過濾條件,怎麼取得回來呢 !? 有時間再和大家分曉吧
有興趣的人先去消化一下,沒想到這點的人你就不要關心這個主題了.

hzqbbc

原帖由 "abel" 发表：
......amavisd-new 是好東西,但
是和某些 MTA 搭配時,尤其是 sendmail 會有 "Lost input" 問題,至於 SA
,有人說吃 Resource 很凶...並不是說這些東西好或不好,但站在個人角度
或公司立場,我們是希望自己有一套方法來 anti-spam/anti-virus,而
anti-spam 是 User 自己決定做不做, anti-virus 站在公司角度來說是一定
要執行的,所以切合自己的需要是最重要的. ......

amavisd-new应该有一个sendmail的helper programe的。但我基本不玩sendmail，所以也不好说这个helper是否有用。SA吃资源是挺厉害的，全文过滤+进行n多的过滤规则test，感觉有点恐怖。。

......SA 的作法符合大家的需求,所以很多人都用,但是 SA 並不能
滿足我們,尤其是 Forward 的信件或網頁或 mailing-list 常會誤判,甚至我
們請商業公司給我們適用一些產品,像 eShield 等,結果也是亂七八糟,判對
了就算了,判錯了你還給我加一堆 header 或是改 Subject: SPAM-xxxx, 造
成回信的困擾......

对于forward的信件，这个真的就不好判断是否垃圾信了，所以还必须有机制使用户可以将一些被判为spam的信从junk mailbox里取出来放回inbox的。至于说改subject，这个大可以屏蔽掉的。 :em11:  

......anti-spam 最多人用的技術不外乎是 RBL,網路上隨便抄都有各種 MTA 設定的 Sample,不過講實在話,我相信 99.99% 人永遠不知道 Connection 就被 RBL 設定 Reject 的信有多少,到底是真 Spam 還是重要信件你也很難檢驗.個人的態 度則不然,既然我自己要寫符合公司使用的 anti-spam ,我就得做實驗,我用我的 EMAIL account 做了一項測試,每封收進來的信由 procmail 來判讀,並計 數統計,做成像.....當然,不只計數如此而以,你還得看該 RBL 準確度,該 RBL 的運作機制等(例如檢舉/移除/可靠度..),最後找出三個
來使用(使用過多的 RBL 一點意義都沒有),有些 RBL 只是敵視某些國家或 ISP
等,其實這都不值得使用的. ......

RBL是个又让人爱又让人恨的东西，可以考虑在SA里加相应规则，如果被某些rbl列进去后，则加相应的分数，如果是百名单里的ip则减掉相应的分数等，而不要简单的reject，可能会好一些。

至于ip层的检测，我修改了一下SPF设计了MSBL，可以在一定程度上解决或缓解RBL的问题，配合APS则可以较好的处理spam邮件。。目前的情况是95%或者99%（我自己的mailbox就是99%的垃圾都可以block掉）以上的spam可以blocked掉。关键还是综合多种方法。

关于abel兄提到学procmail的经历，我深有同感，任何一个工具，即便只是使用，要深刻应用也要大量的精力和试验。需要的知识更是一点一点积累而非一日之功。至于说cu上关于procmail没有一篇好文，我觉得也不足为奇，毕竟我们还是很缺乏刻苦钻研+无私奉贤精神嘛


至于说到procmailrc及.porocmail在遇到aliases时的执行次数，我倒不太明白为何procmailrc会被执行100次呢？？因为我使用的是maildrop，其不支持aliaes。。请赐教了

......註: 取回的信件不是又進了過濾條件,怎麼取得回來呢 !? 有時間再和大家分曉吧
有興趣的人先去消化一下,沒想到這點的人你就不要關心這個主題了.

我猜大概是在判别信件为spam时已打了一个标记，如果取信时进入过滤条件，一旦发现这个标记，则ignore之。不知道是不是呢？如果是我设计，首先想到的就是这个方法，打标签的方法。

最后，非常佩服abel兄将procmail用得如此娴熟，确实让偶增长见识了：）换成我的话，我大概又得写点程序来做，而不是利用mda本身的特性完成了。

hzqbbc

原帖由 "abel" 发表：

SPF 還好,但若不能有重大突破,早晚會失敗, Domain Key 多少也存在許多現實問題 ..
MSBL Subject 過濾法,我們即有使用, MATCH 即 Block,是你 User 自己設的哦,所以
     被檔了,自己去 Block List 找回來
APS 就?.........

看来abel兄弟在procmail及email等方面，比较早期就开始研究了。procmail以前一直都没仔细去研究，因为我要实现的东西和您的有点不同，您是面对小型email系统，可以使用unix account，而我要实现的是产品化的东西，主要是以virtual user（用户信息放在db而不是passwd文件里）为主。

所以走的路线是有点不同，MDA及LDA我使用的是maildrop，主要是我更习惯maildrop的语法，因此做法就有些不同而已。

客观的说，abel兄设计的整个思路很好，主要是友好的界面及丰富的设定，但对于运营级的email server，我认为机器资源有点吃紧，因为每封信都会和db有关联操作，而且还会生成spam的流量图等...

但没有实际测试过前，这样决断还是有点武断的了。

......註:我用 rrdtool 做的,但中文化也是自己K了他三天程式寫出來的,我寫出來時,mailscanner-mrtg
也還沒問世...

當然,要滙整全公司或某部間狀況,只要資料庫對 "人"和 "信" 的定義很清楚,都可
以很簡單做出來. 總結即是,你要能做到 Filter 結果存起來另外使用即可,不用每
個巳被判為 Spam/Virus 還寄到 User 信箱.

喝彩！我是2年多前才接触到rrdtool的。只是当时是用mrtg做图，显不了中文文字，只是没有去改代码解决问题，对比之下在下很惭愧

另外，关于spam的处理方法，我使用了和abel兄有点不同的办法，被判决为spam的邮件放到用户mailbox的一个特定目录里，junk mailbox里。这样就不必花力气做digest了。用户浏览这个目录就可以看到哪些信是被误判的，发现后移动到inbox就可以了。

当然，我这是有点偷懒的做法。做digest感觉更好一些。

关于SPF，我认为只是一种anti-spam的补充，对此褒贬不一，我认为在相当一段时间内还是比较有效的。当然，必须综合多种判决才比较合理。

abel

hzqbbc 兄客氣了,
確實,scale 影響整個 Mail 架構及格局,我在做的時候只以公司考量為出發點,但精神應都差不多,
至於 Unix Auth 問題,對於那些知識若只從書本來的人而言,確實在您的考量下不易實現, Sendmail
實現 username@domain 做法可參考 :
http://www.reedmedia.net/software/virtualmail-pop3d/#delivery
至於 Sendmail 帳號認證從 DB 來:
http://bbs.chinaunix.net/forum/viewtopic.php?t=411834&highlight=abel
第一個 link 做法我沒有去試過,但看來沒有什麼困難處,而第二個 link, 我們現在就在用
(當然,他沒有給我加精我覺得很奇怪,我不想加精的東西反而給我加了,我覺得這一篇文章我把許多
CU 人很少碰到的地方講解的很明白了呀,也或許依然還是太深奧了,還是我太膚淺了~)
,其實,像我們這種單位,機器數量(Public Service Host) 遠比員工數量多上許多,且又分散於各
ISP 之 IDC 機房,我們本即會考慮 User DB 化及集中化管理之顧慮,至於 login account 和
email account 的分離,用 PAM 技巧即可做到,不會有什麼困擾處(當然,個人覺得這很簡單,我
相信 hzqbbc 兄必看的懂的,至於其他朋友可能看造化了)

每封信都会和db有关联操作，而且还会生成spam的流量图等...

嗯,其實這種只要是 User Customize 空間很大的東西,都會有這個問題,我也可以用檔案實現,但其實狀況
都差不多,除非 User 不可 Customize , 就可以事先 Load 進 Memory 中處理,因為很多東西你得到 LDA
階段才知道這個人現在設了什麼 rule, 你把他先 load 進來巳是沒意義了,我的方法唯一的缺點是用了太多
外部程式或 Shell 技法,這對大量的信件時容易造成 shell fork 太多問題,不過目前來看,三十人單位,日信
件流量約 10000~20000 封,尚無太大影響:

註1:上面的高峰值是由 imap client 產生,我們給 30G 不 quota 的空間收 mail , 所以有很多人的信都超過 1G
註2: Mail Server 最近換過主機,所以我只畫換過後的資料,主要是原空間不夠及改用 LVM
註3: 這台機器還兼做網管,用 mrtg 的 target 觀念來看,超過500 個項目,只是平常只 Collect/Alert
     但不 graph, Broswer 時才 graph.  

所以 spam 的 report 我們平時是不畫的,所以 Resource 的使用壓力應還好, ,User 選擇要看 Report 時才動
態產生,而產生的語法也不需要 RRD FILE ,因為我把 RRDTOOL 中之 RRDFILE 資料庫化,直接可以從 TABLE 中讀
出數據並畫圖,再透過一些網頁的技巧,也可以做到 User 點圖可以還原成 Block List 表格,因為可以從 X,Y 座
標中反求其時間值及顏色值(rgb).

在 antispam 這個領域,像在台灣,現在用 procmail 巳經不多了,但不論用什麼技術,重要的是能實現自己想要的
功能及掌握度高,才是最重要的.

大麻

精彩！这是我迄今为止看到 cu mail 区最棒的讨论。一段时间来，我也无暇顾及这里，今天看到这样的帖子，感到非常的欣慰！

abel 和 hzqbbc 在技术方面的深厚功底、求学态度，以及诲人不倦的奉献精神，值得大家学习和敬佩。