AC算法BM算法

序言: ....................................................................... 错误！未定义书签。

多模匹配算法之AC算法详解 (2)算法概述 (2)转向函数goto原理 (2)输出函数output原理 (3)失效函数failure原理 (3)算法使用的存储结构 (4)转向函数goto的实现 (5)输出函数Output的实现 (6)失效函数failure的实现 (6)匹配函数的实现 (7)总结 (8)单模匹配之BM算法详解 (9)算法概述 (9)坏字符规则原理 (9)好后缀规则原理 (10)坏字符规则实现 (11)好后缀规则实现 (11)匹配函数的实现 (12)总结 (13)多模匹配算法之AC算法详解算法概述●Aho-Corasick算法-这是一种字典匹配算法，它用于在输入文本中查找字典中的字符串。

时间复杂度是线性的。

该算法应用有限自动机巧妙地将字符比较转化为了状态转移。

●该算法的基本思想−在预处理阶段，AC自动机算法建立了三个函数，转向函数goto，失效函数failure和输出函数output，由此构造了一个树型有限自动机。

−在搜索查找阶段，则通过这三个函数的交叉使用扫描文本，定位出关键字在文本中的所有出现位置。

●字典树的构造-要匹配的一些字符串添加到树结构中去，树边就是单词中的字符，单词中最后一个字符的连接节点添加标志，以表示改节点路径包含1个字典中的字符串，搜索到此节点就表示找到了字典中的某个单词，可以直接输出。

例：模式串集合P=｛he,she,his,hers｝，下面的分析都根据这个集合展开图1转向函数goto原理我们规定g(state1,ch) = state2.：状态state1 经过字符ch 可以到达状态state2 。

(1)模式串he：g(0,h)=1 g(1,e)=2 模式串he的转向函数构造完毕；(2)模式串she：g(0,s)=3 g(3,h)=4 g(4,e)=5 模式串she构造完毕；(3)模式串his：g(0,h)=1 g(1,i)=6 g(6,s)=7 模式串hers构造完毕；(4)模式串hers：g(0,h)=1 g(1,e)=2 g(2,r)=8 g(8,s)=9 模式串hers构造完毕；注：(3)中g(0,h)为何不跳到6状态，原因(这个跳转也已存在，所以无需在添加新的状态)，(4)中的g(0,h)=1 g(1,e)=2一样的原因。

整个模式串集合构造完毕。

可以根据转向函数画出上面的图1。

输出函数output原理在转向函数构造的基础上实现输出函数output()。

模式串he最后的状态为状态2。

当模式匹配的时候遇到状态2。

说明待匹配的字符串,已经匹配到了模式串he。

在构造模式串的转向函数的结尾，来完成output函数的构建。

失效函数failure原理算法使用的存储结构1．AC字典树的存储结构typedef struct{int acsmMaxStates; /*总的模式串的长度*/int acsmNumStates; /*状态，实现跳转函数g*/ ACSM_PATTERN * acsmPatterns; /*模式串链表头*/ACSM_STATETABLE * acsmStateTable; /*状态链表，g*/ }ACSM_STRUCT;/*ACSM_STRUCT * acsm*//*acsm->acsmStateTable[M].NextState[i] = N; 意思就是g(M,i) = N;*/2. 模式串存储结构typedef struct _acsm_pattern{struct _acsm_pattern *next;unsigned char *patrn; /*经过转化以后的模式串*/unsigned char *casepatrn; /*源模式串*/int n; /*源模式串长度*/int nocase; /*模式串是否进行大小写转化*/ void *id; /*保留字段，未用*/int nmatch; /*该模式串所匹配的次数*/ } ACSM_PATTERN;3.状态表typedef struct{int NextState[ ALPHABET_SIZE ]; /*下一跳*/int FailState; /*失效函数f的跳转*/ACSM_PATTERN *MatchList; /*输出函数的存储链表头*/ }ACSM_STATETABLE;转向函数goto的实现转向函数g(状态，字符) = 下一个状态的构建。

例:模式串集合(he,she,his,hers) 第一个模式串he，g(0,h)=1, g(1,e)=2;第二个模式串she,g(0,s)=3, g(3,h)=4,g(4,e)=5;第三个模式串his, g(0,h) =1,g(1,i)=6,g(6,s)=7;第四个模式串hers, g(0,h) =1, g(1,e)=2,g(2,r)=8,g(8,s)=9. *如果字符匹配到了状态2,5,7,9就说明了已经匹配上了关键字。

构建输出函数output。

static void AddPatternStates (ACSM_STRUCT * acsm, ACSM_PATTERN * p) { unsigned char *pattern;int state=0, next, n;n = p->n;pattern = p->patrn;/*这个for循环就是检查是否前面的模式串已经存在当前的跳转，如果存在则无需创建新的状态，如果不存在，则break跳转到下面的for循环来赋予新的跳转*/ for (; n > 0; pattern++, n--) { next = acsm->acsmStateTable[state].NextState[*pattern];if (next == ACSM_FAIL_STATE) break;state = next;} /*模式串跳转状态赋值操作*/ for (; n > 0; pattern++, n--) { acsm->acsmNumStates++;acsm->acsmStateTable[state].NextState[*pattern] = acsm->acsmNumStates;state = acsm->acsmNumStates;} /*增加每个模式串最后的状态,output函数的构建*/ AddMatchListEntry (acsm, state, p);}输出函数Output的实现将状态state（2,5,7,9）对应的模式串px加入到链表里，链表头MatchList.static void AddMatchListEntry (ACSM_STRUCT * acsm, int state, ACSM_PATTERN * px) { ACSM_PATTERN * p;p = (ACSM_PATTERN *) AC_MALLOC (sizeof (ACSM_PATTERN));MEMASSERT (p, "AddMatchListEntry");memcpy (p, px, sizeof (ACSM_PATTERN));p->next = acsm->acsmStateTable[state].MatchList;acsm->acsmStateTable[state].MatchList = p; }失效函数failure的实现/*****************************************************************************重点理解: (状态M 经过字符c 到达状态N。

如果在状态N的时候字符串匹配失效，则判断状态M的失效状态是否有经过字符c到达的状态X，如果有，则状态N的失效跳转必然跳转到状态 X。

如果没有则判断状态M的失效跳转的失效跳转。

直到有一个状态经过字符c到达的状态Q不为-1，状态N的失效就跳转到Q)。

状态节点深度为1的节点先入队列深度为1的失效跳转规定为0。

通俗的理解: (f(N) = g(f(M),s) | g(f(f(M)),s)......如果前面任意的一个跳转不为-1，就赋值给f(N)).*****************************************************************************/static void Build_DFA (ACSM_STRUCT * acsm){ int r, s;int i;QUEUE q, *queue = &q;ACSM_PATTERN * mlist=0;ACSM_PATTERN * px=0;/* Init a Queue */ queue_init (queue);/*深度为1 的字符匹配失效，必然会回到深度为0的状态)，将下一个状态入队列*/ for (i = 0; i < ALPHABET_SIZE; i++) { s = acsm->acsmStateTable[0].NextState[i];if (s){ queue_add (queue, s);acsm->acsmStateTable[s].FailState = 0;} }while (queue_count (queue) > 0){ r = queue_remove (queue);for (i = 0; i < ALPHABET_SIZE; i++){ int fs, next;if ((s = acsm->acsmStateTable[r].NextState[i]) != ACSM_FAIL_STATE)/* 如果存在g(r,i) = s */ { queue_add(queue,s); /*状态s 入队列*/fs=acsm->acsmStateTable[r].FailState;/*得到r失效的状态跳转fs*/while ((next=acsm->acsmStateTable[fs].NextState[i]) ==ACSM_FAIL_STATE) /*判断fs 状态经过字符i 是否有下一跳next，直到状态next 为0 为止*/ {fs = acsm->acsmStateTable[fs].FailState; /*如果没有，继续失效到fs的失效跳转*/}acsm->acsmStateTable[s].FailState = next; /*如果有,赋值状态s的失效跳转为状态next*/ }else{acsm->acsmStateTable[r].NextState[i]=acsm->acsmStateTable[acsm->acsmStateTable[r].FailState].NextState[i];/*状态r 经过字符i 到达不可达的状态，则g(r,i) = g(f(r),i)*/}}} queue_free (queue);}匹配函数的实现int acsmSearch (ACSM_STRUCT * acsm, unsigned char *Tx, int n,void (*PrintMatch) (ACSM_PATTERN * pattern,ACSM_PATTERN * mlist, int nline,int index)){ int state;ACSM_PATTERN * mlist;unsigned char *Tend;ACSM_STATETABLE * StateTable = acsm->acsmStateTable;int nfound = 0;unsigned char *T;int index;ConvertCaseEx (Tc, Tx, n);T = Tc;Tend = T + n; for (state = 0; T < Tend; T++) { state = StateTable[state].NextState[*T];if( StateTable[state].MatchList != NULL ) { for(mlist=StateTable[state].MatchList;mlist!=NULL;mlist=mlist->next ){ index = T - mlist->n + 1 - Tc;/*模式串在匹配串中的位置*/nfound++;PrintMatch (acsm->acsmPatterns,mlist, nline,index);}} } return nfound; }总结※预处理阶段：转向函数把一个由状态和输入字符组成的二元组映射成另一个状态或者一条失败消息。