////////////////////////////////////////////////////////////////////////////////
　　ABK - Spam Mail Filter for Sendmail
　                                              Copyright(C) 2004-2007 nabe@abk
                                               All rights reserved 'ABK Project'
////////////////////////////////////////////////////////////////////////////////
[ja_JP.eucJP]
[TAB=8]
	This filter is designed for Japanese only.

【著作権者】nabe@abk  (E-mail : nabe@abk.nu)
【動作環境】sendmail 8.10 以降（※ MILTER オプションは不要です）
【動作確認】FreeBSD 5.x + Sendmail 8.13.1
【配布形態】フリーソフト（GPL 準処）
【免責事項】このフィルタに関する一切の責任を負いません。
【一次配布】http://www.abk.nu/~nabe/

【特徴】
・milter を使用せず、*.mc に一行記述するだけですので、導入が容易です。
・確率フィルタではなく、ルールによるフィルタのため多少安心感があります。
・SPAM の同定にはヘッダ情報を利用します。
・半月の実働で SPAM の 99% 程度を検出、誤検出はありませんでした。

-------------------------------------------------------------------------------
●注意事項・免責事項

・標準設定のままでも、誤爆（正規のメールをSPAMと判断すること）の可能性が
　存在します。

・カスタマイズは、メールについての知識を得てから行ってください。

===============================================================================
0. 変更履歴
===============================================================================
●Version 1.20	2007/04/14
・DomainKey-Signature の存在確認チェックが無効になっていたので修正しました。

●Version 1.19	2007/02/03
・Version 1.18 において、フィルタや中間中継サーバがある環境で、
  Hotmail 誤判別される問題を修正しました（送信元メールサーバ名の問題）。

●Version 1.18	2007/02/02
・Hotmail 誤判別が修正されてなかったので今回は確実に修正しました。
・Hotmail が Recipient user を設定しない問題に対応しました。

●Version 1.17	2007/02/01
・正規の hotmail のメールをSPAMと誤判別する問題を修正しました。
・日本語メール（JISメール）の判定条件を厳しくしました。
　……DATA に +0900 が含まれるだけでは日本語判定しないようにしました。

●Version 1.16	2007/01/26
・access に書かれた RELAY 許可が有効に働かないことのある問題を修正しました。

●Version 1.15	2007/01/24
・@default配信ルールが明かな広告に対し常に RELAY 扱いされる問題を修正しました。

●Version 1.14	2007/01/15
・NG_Char判別が誤動作するバグを修正しました。
・X-Message-Info の検出が誤っていたバグを修正しました。

●Version 1.12	2006/12/25
・dialup(PPP)判別機能をつけました。

●Version 1.10	2006/01/23
・設定ファイルの名前を spamfilter_table から abk_filter_table に変更
・設定テーブルデータベース（abk_filter_table.db）が見つからないときの、
　標準設定がうまく動作していなかったバグを修正。
・SPAMヘッダ判別機能の強化。
　（新機能を有効にするには設定ファイルを新しいものにしてください）

●Version 1.00	2005/01/25
・正式公開版


===============================================================================
1. 導入
===============================================================================

1.1 sendmailのバージョンを確認する

	# sendmail -bt -d

　などとしたときに、最初に表示される２〜３行にバージョン情報が含まれています。
　必ず、8.10 以降であることを確認してください（これは 8.10 以降の Anti-UBE機能
を使用するためです）。


1.2 フィルタを /etc/mail にコピー

　sendmail.cf を生成時に使用する mc ファイルがある場所に、

	abk_filter.m4
	abk_filter_log.pl
	abk_filter_table	（spamfilter_user より名称変更）

　をコピーしてください。通常は /etc/mail だと思われます。
　それぞれフィルタ本体、ログ記録スクリプト、設定ファイルです。


1.3 mcファイルにフィルタを組み込み

　sendmail.cf を生成するときに使用したファイル（仮に sendmail.mc とします）の
最下行に、
---------------------------------------
include(`abk_filter.m4')
---------------------------------------
　という記述を追加してください。


1.4 sendmail.cf の再生成

　まず現在使用中の sendmail.cf ファイルを保存します。（必ず行ってください）

	# cp sendmail.cf sendmail.cf.bak

　今編集した sendmail.mc から、m4 により sendmail.cf を再生成してください。
　FreeBSD の場合は、

	# m4 /usr/share/sendmail/cf/m4/cf.m4 sendmail.mc >sendmail.cf

により生成できると思われます。


1.5 ログファイルの作成

　ログファイルを生成しておきます。

	# touch /var/log/mailfilter.log
	# chmod 600 /var/log/mailfilter.log

　ファイル所有権を、sendmail デーモンから書き込めるように設定してください。
　FreeBSD の場合は次のとおりです。（Linux の場合は、どなたか教えてください）

	# chown mailnull:mailnull /var/log/mailfilter.log

　FreeBSD の場合は、ついでに newsyslog.conf も設定しておきましょう。
（例）
	/var/log/mailfilter.log mailnull:mailnull 600  5   *    @01T00 -

＃ログが不要な場合は、ログファイルを生成しなければ ok です。
　abk_filter_log.pl 自体の実行権を消すと不具合が起こる可能性があります。
（多分、大丈夫ですけど……）


1.6 設定ファイルの生成

　ディフォルトのまま設定ファイルを作成します。

	# makemap hash abk_filter_table <abk_filter_table

　abk_filter_table.db というファイルが作成されているか確認してください。


1.7 sendmail の再起動と確認

　sendmail を再起動しますが、その前にメール送受信テストの準備をしておいてください。
　FreeBSD 5.x ならば次のコマンドです。

	# /etc/rc.d/sendmail restart

　再起動したらすぐに、メールが正しく送受信できるか必ず確認してください。
　コマンドではなく、外部から最低２通（できれば５通程度）テストしてください。
　もし不具合がありましたら、直ちに

	# /etc/rc.d/sendmail stop
	# cp sendmail.cf.bak sendmail.cf
	# /etc/rc.d/sendmail start

　などとして古い設定で再起動をかけてください。


===============================================================================
2. 動作原理と設定
===============================================================================

2.1 原理

　SPAM と疑われるメールヘッダの状況（例えば To が存在しないなど）に対して、
SPAM level という得点を設定し、それらを加算します。そして、あるしきい値を越え
た時に該当メールを SPAM と判断します。
　しきい値、および、それらメール状況についての得点は、すべて設定可能です。

　また、明らかに SPAM である証拠を見つけた場合は、しきい値の設定にかかわらず
SPAM と判断します。このケースには次のものがあります。

・hotmail を詐称しているが、実際には hotmail からのメールではない。
・SPAM メーラーを使用している。
・SPAM skelton の形跡が残っている。
・「※未承諾広告」でタイトルが始まっている
・その他ヘッダに明か、かつ通常は起こり得ない不正（RFC違反）がある。


2.2 設定

　設定は abk_filter_table ファイルを編集することで行います。
　書式は、

---------------------------------------
ユーザー名:設定項目	 設定値
---------------------------------------

　となっています。@default は全ユーザーに適応されるディフォルト設定です。
　値を変更するのは構いませんが、項目自体をコメントアウトしたり消したりしては
いけません。

　設定変更後は（accessファイルなどと同様に）設定反映のためにデータベースファ
イルを再生成してください。なお sendmail の再起動は不要です。

---------------------------------------
# makemap hash abk_filter_table <abk_filter_table
---------------------------------------


2.3 ユーザ別のリレー設定

　例えば、

---------------------------------------
test		REJECT
test2		DISCARD
test3		RELAY
---------------------------------------

　とすれば、SPAM と判別したメールの処理が次のようになります。
メールを REJECT するという設定になります。


	test ユーザ宛		REJECT
	test2 ユーザ宛		DISCARD
	test3 ユーザ宛		RELAY

（REJECT, DISCARD などの意味については、ネット上などにある access ファイル設定
　をご参照ください）

　この仕組みには、メール送信時に recipent-user で指定したユーザを使用しておりま
すが、sendmail の仕様上一人目しか判別出来ません。また、To や Cc のみに書かれた
ユーザに対しても判別出来ません。よって、このように設定しても、test の元に SPAM 
と判別されたメールが度々届きます。

　なお、SPAM と判断したメールがリレーされる場合には、

---------------------------------------
X-SPAM-Taste: Tasty[SPAM Level]; SPAM と判断した理由
---------------------------------------

というヘッダを付加します（REJECT の場合は付きません）。
例えば次のようなヘッダが付加されます。

---------------------------------------
X-SPAM-Taste: Tasty[100];"No through SMTP Server?"[100]
X-SPAM-Taste: Tasty[];"disguise as Hotmail"
---------------------------------------

※補足
　sendmail の処理は、外部からリレーされたメールを受信するか決定する処理と、
一度受信したメールを内部の受信者（複数人）に対して振り分ける処理の２種類があり、
フィルタを記述可能なのは前者のみです。
　前者の段階では、正確にメール受信者を把握したり各受信者ごとに拒否・リレーなど
の処理を行うことができません。
（もし解決策をお持ちの方はお気軽にお知らせください）


2.4 無条件でリレーされるメール

　次のいずれかに該当するメールはフィルタされることなく通過します。

・127.0.0.1 などローカルから送信されたメール。
・access ファイルで、リレーを許可している送信元IP。
・POP before SMTP により、送信が許可されている送信元IPからのメール。


2.5 日本語メールと外国語メール

@default:th		11
@default:th_ja		200

　本フィルタでは、メールを日本語メールとそうでないメールに大別します。これは、
文字コードやタイムゾーンによるもので、ほぼ成功します。前者が通常のしきい値、
後者が日本語メールのしきい値です。
　SPAM level を加算していき、このしきい値以上になってときに SPAM と判断します。
（『以上』ですから「しきい値」も含みます）

　なお、海外の方と頻繁にメールをやりとりする場合、上記設定では誤爆が起こる
可能性が高くなります。


2.6 各 SPAM 判定用ルールとレベル

　SPAM と ヘッダ の細かい話は、配布元サイトを参照ください。

@default:HTML		1

　HTML メールに対しての加算値です。

@default:multipart	1

　添付ファイル付きメールに対しての加算値です。

@default:MsgId_FQDN	10

　Message-Id のホスト部分が FQDN になっていない、lookup できない。
　Outlook 使用者の多くが、この部分で RFC 違反です。

@default:SJIS		10

　文字コードに Shift-JIS が使われている。
　通常、日本語メールは JIS で送ることになっています。

@default:Big5		20

　中国語メール。

@default:To		20

　To が存在しない。
　Mailing list や、希に送られる同胞メールも該当することがあります。

@default:From		100

　From が存在しない。または不正。

@default:Subject	20

　タイトルが存在しない。携帯メールなど、たまに送られてきます。

@default:RecBy_lookup	20

　一つ前に受信した（とされるメールサーバ）が、lookup できません。
　SMTPヘッダが、ダミーである可能性がありますが、
　正規のメールサーバでも lookup できない可能性は 0 とは言えません。

@default:RecBy_nomatch	20

　一つ前に受信した（とされるメールサーバ）と、SMTP をかけてきたサーバの
名乗ったサーバ名が一致しません。Recived ヘッダは偽装であると考えられます。
　正規のメールサーバでも、異なる可能性は 0 とは言えません。

@default:dSMTP		100

　SMTP サーバを経由せず、直接メールを送信してきています。
　通常はあり得ず、SPAM Mailer を使用している可能性が高いのですが、
正規の送信者が 直接SMTP をしてくることも 0 とは言い切れません。
（またメールマガジンなどが、そうなる可能性もあります）

@default:dSMTP2		100

　SMTP サーバ経由でメールが送信されいているはずであるが、
Message-Id が存在をしません。Recived ヘッダは偽装であると考えられます。
　ただ、メーラーから Message-Id を送信せず、しかも qmail のメールサーバ
を経由した場合、正規のメールでありながらこの条件にマッチしてしまいます。

@default:MsgId_ERR	100

　Message-Id の書式が不正（RFC違反）です。
　ホスト名が lookup 可能であるかは、関知しません。

@default:cl_resolve	100
@default:cl_resolvetemp	100

　SMTP を行ってきたクライアントが逆引きできない場合。
　cl_resolvetemp は状態が TEMP のとき（逆引きDNSが応答しない場合）です。
　sendmail 自体の機能を利用しています。（${client_resolve} マクロ）

@default:RecUser	100

　Recipient user（RCPT TO）が設定されずに送られたメールです。

@default:SenderHost	100

　送信サーバが名乗った Sender host name が localhost であったり、こちらの
サーバ名（Canonical name）を名乗った場合です。

@default:SenderPPP	100

　送信サーバが名乗った名前に 11-22-33-44 などの、IPらしき文字列がある。
　記号で区切られた４つの数字の連続を判別しています。

@default:NG_Char	100

　Subjectに不正な文字が使われたとき反応します。
　通常は、BASE64等でエンコードされずに、JIS やSJIS、EUCなどの文字列が
直接Subjectに書かれたメールが該当します。

@default:DKSig		500

　DomainKey-Signature を送る約束になっているホストをFromとして名乗るメール
でありながら、DomainKey-Signature ヘッダが存在しない場合。
（注意：DomainKey-Signature の存在を確認しているだけで、計算し正当性まで
　　　　確認しているわけではありません。）

　標準対象サーバ）yahoo.co.jp, yahoo.com, gmail.com, ybb.ne.jp

2.6 設定のヒント

　基本的には、標準設定のまま運用する方かよいと思われます。
　海外と頻繁に（日本語以外の）メールのやりとりをされる方は、

---------------------------------------
*:th		200
---------------------------------------

　とする方が良いでしょう。


2.7 誤判別対策

　送信側が利用しているメールシステムにもよりますが、
次のものは誤判別されやすいので注意してください。

・メーリングリスト、メールマガジン（メール送信システムによる）
・webメールやその多登録受け付けメールなどのメール
・プログラム等により送信された自動送信メール
・実装に問題のあるメーラーから送信されたメール

　真っ当なメーリングリストシステムなら問題ないのですが、メールサーバを中継
せず、直接受け取り側サーバ宛にメール送信をしてくるメーリングリストやメール
マガジンがあったり、送信時に名乗るメールサーバ名がいい加減だったりします。


===============================================================================
3. その他
===============================================================================

3.1 技術情報と戯言

　各所で暗号と言われる sendmail.cf ですが、慣れれば意外と手書き出来ます。
（正規表現と簡単なプログラムの知識、メールの基礎知識は必要ですが……）
　実際、今回のフィルタはすべて手書きしたものです。

　sendmail.cf の書き方やこのフィルタに関連する sendmail の内部動作につい
ては、一次配布サイトの方で紹介する予定ですので、よろしければご参照ください。

	http://www.abk.nu/~nabe/

3.2 最後に

　機能追加の要望、修正指摘、アドバイス、バグ報告その他ありましたら、メール
または一次配布サイト掲示板にてお知らせ下さい。
　特に、当環境の SPAM に適合するよう試行錯誤を繰り返し作成したため、他の環
境ではさほどフィルタとして効力を発揮しなかったり、SPAM でないものを SPAM 
として認識してしまうかもしれません。その場合は、ご連絡頂けると対応できる場
合があるかも知れません（注：無論、対応お約束するものではありません）。

　このフィルタが進化して、メールサーバを運用するみなさんが、少しでも SPAM 
の被害から逃れられることをお祈りしています。