基于策略的反垃圾邮件技术--APF

优点：
便于向SPF过渡，降低了使用SPF的门槛，对域 名管理员要求低，能对SPF实现前后向兼容，成 本低。
MSPF原理
关键点：变分布数据为集中数据 关键点
SPF domain.tld TXT v=spf1 a mx ip4:192.168.234.0/24 -all
MSPF
domain.tld
. msbl.damail.cn
Cleint_address: 69.157.172.209 Sender: asd28zkis@hzqbbc.com 69.157.172.209 210.21.115.69 Bell Canada CHINA CNC
hzqbbc.com A/MX
210.21.115.69
APF策略模块：fakehelo
APF策略模块：dnsbl+
描述： 集成了RBL/RBLs及域名黑名单等 功能： 实现了对多个不同类型的rbl/rhsbl的综合查询。 目前支持的RBL站点： anti-spam.org.cn (CASA) bl.spamcop.net relays.ordb.org sbl.spamhaus.org dsn.rfc-ignorant.org
V2.0
badhelo=DUNNO whitelist=OK dnsbl=fail, blocked by bl.domain.tld, reason: [ip4 addr] string.. mspf=fail, {domain.tld} was not designate [ip4 addr] .. fakehelo=fail, reason: [fqdn] may be forgery for [ip4 addr] ……
Final result
Fra Baidu bibliotek
APF 基本原理(2)
V2.0 APF服务端 改进
模块处理相互独立 处理结果最后汇总 相互结果不影响
模块 1
ACT MSG
主程序接口
模块 2
ACT MSG
优点
可进行加权 用户高度定制结果 便于综合分析
模块 3
ACT MSG
模块 N
End Loop
ACTs+MSGs
APF 基本原理(3)
APF基本原理(1)
三大部分构成
MTA APF客户端 APF服务端 (浅兰色标记）
外域服 务器 应 答 :reject or accept 处理 SMTP 会话信 息，判定该外域服务 器所发信件是否合法 smtp 请求
SMTPD
APF 服务器
典型的Client/ Server结构
响应
mail box
1000 0.00% 50.00% 100.00%
统计分析结果(3-10月)
70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00%
Mar A pr May Jun J ul Aug Sep Oc t 总计
badhelo badhost dnsbl fakehelo forgery ham overate other
黑 IP
正面信息 positive
有效 IP
已知黑 IP
非法负面信息 非法负面信息 negative 负面
SPF的不足
SPF依然是草案(Draft) 用户对SPF认知极其有限 SPF涉及DNS修改，部署起 来工程浩大 国内绝大部分域名一定时期 内都无法实施SPF 域名注册/管理商不提供SPF 支持
反垃圾邮件部署成本高
企业自力开发/实施
技术人员AntiSpam经验丰富 综合利用多种技术 管控整个团队，耗时耗力
购买软/硬件部署
专用商业软/硬件非常昂贵! 使用复杂且定制困难
内容过滤技术仍需改进
Bayes算法 基于规则匹配 加权类 DNA遗传算法
分析发现SMTP阶段就可识别UCE
垃圾邮件样本分析
Three in ONE!
RBL RHSBL SPF
使用MSBL
使用方法 只使用RBL/RHSBL部分： 与使用其他RBL/RHSBL无异常：
smtpd_sender_restrictions = reject_non_fqdn_sender reject_rhsbl_sender msbl.damail.cn reject_unknow_sender （以postfix为例子）
为什么设计APF?
RBL命中率不足，误判，即时性不够 SPF依然是Draft，国内推广困难 现有技术/框架使用部署成本很高 内容过滤技术仍不足，有待改进 分析发现SMTP阶段就可识别UCE
RBL的不足
RBL属于被动还击类技术 99%的RBL都是国外组织维护 中国IP被封杀严重 准确率不够，易误杀 面临IPV6问题
其他变化
未来考虑增加诸如 信件MD5，更细化 的特征传递等
size
module1=fail/ok, reason string<NL> moduleN=fail/ok, reason string<NL> <NL> ( v2.0结果格式 )
APF 基本原理(4)
判决结果
V1.0
action={4xx/5xx} reason text link status
只使用SPF记录部分：
使用APF插件或精简之 用户自行开发补丁
APF策略模块：AFS
描述：
AFS（Anti Forgery Sender）用于识别伪造来信人的邮件，作为 MSPF的补充。
功能：
通过综合各种有关信息（DNS，IP地址，HELO信息，whois信息及 PTR，AFS 数据库等）判决，对没有MSPF也没有SPF支持的域名有 效
UCE的SMTP特征
缺乏必需信头的信件(Header-lacking) 不符合RFC中关于电子邮件规定的信件 （RFC-ignorant） 错误的信件标记信息（Header-forgery） 同样内容发送频率（Abnormal-rate）过高 的信件。
APF设计宗旨
APF在设计过程中遵循了如下原则: 集中/半集中式C/S数据交换结构 难度适中的实现技术+良好的构思 使用20%的精力去对付80%的Spam 尽量使用现成的优秀自由软件方案/技术 降低使用难度，提供尽可能高的灵活性
APF策略模块：ratestat
描述： 连接/发送频率监视及统计 功能：
对SMTP会话过程中客户的RCPT或连接频率进行统计及 限制，自动封锁超标IP并能自动解封
实现细节：
内存中使用hash表来保存统计信息 对每台APS客户机都保留一个单独的hash表 多进程之间共享数据
APF策略模块：MSBL/SPF+
垃圾邮件大量充斥着邮件队列！ 通信中断！损失大量合作机会！ 耗费大量网络资源，年损失几百亿美元！ 我们需要便宜、有效的手段遏止Spam!
NO SPAM！
什么技术可以胜任？
效能好
部署易
成本低
APF can!
APF原理
APF 定义
APF=Antispam Policy Framework 是一种利用综合策略分析SMTP信息，主要 用于对付垃圾邮件的一套框架。 APS=APF Service/System 主要以Client/Server模式对外提供APF完整 支持的服务体系，模式类似于RBL/DNS。
应用APF的典型例子
S: log show: client [10.2.3.5] connected …… C: Helo www.163.com S: 220 ESMTP (No Spam) mx1.damail.cn C: mail from:<fake@hotmail.com> S: 250 Ok recipient C: rcpt to:<fake@domain.tld> S: 554 Forgery sender address! sender mx does not match your ip address 504 <www.163.com> Helo command rejected: helo name does not match your ip address ( APF v1.0 ) client_address helo_name sender
如何实现前后向兼容SPF?
本质
在SPF未普及前使用 MSPF 同时推广SPF，并保证 优先采信域名的SPF记 录
SPF 记录? Sender=foo.tld Client=10.1.1.3 Helo=smtp.foo.tld foo.tld TXT v=spf1 xxxxxxx
结论：
如果某个域名增加了SPF记 录，那么MSBL记录里的 SPF记录将自动作废
描述：
针对部分垃圾邮件发送服务器发送假冒的HELO主机名而设计
功能：
屏蔽一些伪造的HELO 主机名行为，例如：
V1.0协议
标签名 request protocol_state protocol_name helo_name sender recipient client_address client_name 描述(绿色为目前支持) 目前只支持一个值：smtpd_access_policy 可能的值：CONNECT, EHLO, HELO, MAIL, RCPT, DATA, VRFY ,ETRN 可能的值：ESMTP 或 SMTP SMTP 客户端的主机名 MAIL FROM阶段的来信人地址 RCPT TO阶段的收件人地址 SMTP客户端的ip地址 SMTP客户端ip地址反解（PTR）
基于策略的反垃圾邮 件技术－－APF
广州市大邮信息科技 何智强
2004-10-18 hzqbbc@damail.cn
前言
垃圾邮件泛滥成灾！
2003年及2004年垃圾邮件异常猖狂
垃圾邮件层出不穷 形如用特殊字符分隔单词 将文字保存在图片里 html格式等
反垃圾邮件软件依然不足
人工智能算法/DNA算法实现依然复杂 目前识别技术无法与人脑相比 基于内容过滤的算法（如Bayes）对中文的处理能力依然 薄弱。
MSPF 记录?
foo.tld.msbl.damail.cn TXT v=spf1 xxxx
下一级别处理
MSBL介绍
定义：
MSBL是一个支持MSPF并可供查询记录在案的域名SPF记录列表
特点：
除了支持MSPF外，还集成了域名黑名单列表及IP地址黑名单列表 （RHSBL+RBL），一个列表多种用途。
结果：基于SMTP特征的准确率较 内容过滤（使用Spam Assassin及 自定义的规则）要高。
特征例子
伪造来信人(Sender) 来自Open-relay主机 正文变化多端，但都来自同一个ip 地址 某个时段发送大量邮件 信头缺失或不符合RFC
5000
3000 SMTP特征 SMTP 特征 内容过滤 2000
APF的优势
综合成本低 结构简单 部署简便 能灵活定制 功能强大
APF主要策略模块介绍
Hostname dnsbl+ Ratestat MSBL/SPF+ afs Fakehelo other
APF策略模块：hostname
功能：
校验HELO及信头相关主机名是否合法
非法主机名例子 rsproxy.myhost.local *abc$?-\/!-myhost.com 最新娱乐情报.请进入 SzAvadsuzqp <>@zs%$i95qaw/khs&*I()
APF 客户端
查询
主要运算/处理负载交给APF服务端 客户端非常简单
APF 基本原理(2)
V1.0 APF服务端
软件流水线 串行工作 任一异常即跳出
模块 1
dunno other
主程序接口
模块 2
dunno other
缺点：
只获得某个模块的 判决结果 不能综合判断
模块 3
dunno other
模块 N
APF 基本原理(3)
V2.0 协议
增补了一些新的属 性名及策略调整
标签名 描述
Result_type Auth_user Auth_method Auth_sender
有效值：USR DFT ADV OLD SMTP 认证的用户名 SMTP认证的方法（plain, crammd5等） SMTP认证后的sender 邮件大小
描述： 该模块提供了对SPF的前后向兼容支持，用 于识别邮件是否经过授权发送 特点： 支持标准SPF记录及MSPF记录，并优先采 纳标准SPF记录。可以完美地从MSPF过渡 到SPF
MSPF SPF
MSPF介绍
定义：
MSPF是一个经过小量修改的SPF实现，MSBL则 是对应的查询列表服务，保存了已知没有支持 SPF但已知授权以其域名发送邮件的主机地址的 域名信息。