词性标注说明_128601491

合集下载

英语词性详细讲解ppt课件

用来修饰动词、形容词或其他 hard艰苦
副词，表示动作或形状的特性 here这里
数
词 Numeral (num.) 表示数量或顺序
one一 first第一
代
词 Pronoun (pron.) 用来代替名词、形容词或数词 He他
等
that那
冠
词
Article (art.)
用在名词前，帮助说明名词所 an，a，the
in class在课堂上 in the class在班里
on earth 和 on the earth
in front of 和 in the front of 前面,指内部
22
零冠词的用法
1 专有名词前一般不加冠词：China, American, Grade Two, Bill Smith 2 一些抽象的不可数名词前不加冠词：
17
不定冠词（a/an）
• 1、a用于辅音发音开头的词前，而不是辅音字母前面
• 如：a useful book；a university • 2.an用于元音发音开头的词前，而不是元音
字母前，如：an apple；an hour； • an honest man
18
三. 不定冠词的用法
（一）不定冠词的用法： 1. 在叙述时用于第一次提到某人或某物 This is a book 2. 表示泛指的某人、某物 An English-English dictionary is very necessary for me. 3. 表示类别 An elephant is bigger than a horse. 4. 表示数量中的“一 ”。但数的概念没有one 强烈用在数词中，表示“一”。 A book；a man； a dog； an hour 5. 用于某些物质名词和抽象名词前，表示“一阵，一份，一类，一场” There will be a strong wind here 6. 用于某些固定词组中 have a cold； have a good time； have a look ； have a rest

词性标注的方法

规则集较大时，规则之间的冲突是难免的。例如，“数词＋量词” 和“副词＋介词”都是合法的词类序列，那么，文本中的“一把” 到底应标注为哪种词类序列呢？此时，应该根据规则的正确率、覆盖率等因素来确定规则使用的先后顺序。
（二）基于规则的标注方法的优点
可以充分而有效率地利用各种上下文信息。所谓“充分”，是说无论相关词跟当前词相隔多远都可以利用；所谓“有效率”，是说可以只把跟当前词消歧有关的词写进规则的条件部分。
张民（1998）则是先用统计方法后用规则标注，其特点是用置信区间评价统计结果，高于阈值者给出唯一候选，其余部分则用基于规则的方法来标注。
两种基本方法相结合的关键问题是：如何发挥两种方法的各自优势，避免各自的缺点。统计要有一定的语言学知识作为指导，不能盲目统计。例如，一般都把前后各N个词作为观察窗口，就是一种盲目统计。
步骤三：比较最后一个词（“好”）的每个结点的最小累计费用，在这3个最小累计费用中选择最小的一个，确定其所对应的结点为最佳路径的尾结点，例如可能是“好（a）”。
步骤四：从尾结点出发向串首扫描，找出每个结点的最佳前驱，即可得到最佳路径。例如，“好（a）”的最佳前驱可能是“锁（v）”，“锁（v）”的最佳前驱可能是 “门（n）”，“门（n）”的最佳前驱可能是“把（p）”，于是得到最佳路径“把/p门 /n锁/v好/a”。
例如，“把门锁好”有48条路径，每条路径都是由四条边组成，每计算一条路径的费用需要做3次乘法、3次加法和3次对数运算，最后还要做47次比较运算，算法的效率太低。这个问题可用多阶段决策过程的动态规划方
法来解决。最佳路径有一个重要特征：如果从起点A经过P，H到达终点G是一条最佳路径，那么，由P出发经过H到达终点G所走的这条子路径，对于从P出发到终点G的所有可能的不同路径来说，必定也是最佳路径。

3-词性标注

• 上海_NR 浦东_NR 开发_NN 与_CC 法制_NN 建设_NN 同步_VV
中科院计算所分词系统
• 字标注的分词本质是一个词性标注问题。
上/B 海/E 计/B 划/E 到/S 本/S 世/B 纪/E 末/S 实/B 现/E 人/B 均/E 国/B 内/E 生/B 产/E 总/B 值/E 五/B 千/M 美/M 元/E。/ S
把这篇报道编辑一下把/q-p-v-n 这/r 篇/q 报道/v-n 编辑/v-n 一 /m-c 下/f-q-v
英语词的兼类现象
• 对Brown语料库进行统计， DeRose(1988) 给出了如
下表：
无歧义（Unambiguous）只有1个标记： 35,340 歧义（Ambiguous）有2-7个标记： 4,100 2个标记：3,764 3个标记：264 4个标记：61 5个标记：12 6个标记：2 7个标记：1
• 不是俄罗斯数学家Markov提出。但HMM与
Markov链有关。 • 美国数学家鲍姆（Leonard E. Baum）六、七十年代提出。 • 这个模型的训练方法由他的名字命名。 • NLP中，HMM最早应用在语音识别中，后来成功地应用到了机器翻译、拼写纠错、图像处理、基因序列分析等很多IT领域。
Markov模型
• 现实中经常会出现：一个由并不互相独立的
随机变量组成的序列，序列中每个变量的值依赖于它前面的元素。 • 如：词串，每天的气温。 • 但是实际情况为：预测的将来的随机变量的依据就是现在的随机变量的值，也就是，我们并不需要了解序列中所有过去的随机变量值。即，序列中未来的元素在给定的当前元素下与过去的元素是条件独立的。—— Markov假设。
• 名实体识别也可看做是标注问题。

自然语言理解-词性标注

这样X是一个Markov链
Markov模型中的概率
• 随机转移矩阵 A aij=P(Xt+1=sj|Xt=si)
i, j, aij 0 • 初始状态的概率
i P( X1 si )
and
N
i, aij 1
j 1
N

i 1
i
1
Markov模型和n元文法
• N元文法模型是 Markov 模型 2元词模型就是Markov模型：当前的词仅依赖于前一个词，而且这个依赖型不随着词序列而变化。
i
下一状态名
Viterbi Algorithm
x1 xt-1 xt xt+1 xT
o1
ot-1
ot
ot+1
oT
ˆ T arg max (T ) X i
i
自后向前“读出” 最可能的状态序列
ˆ ^ (t 1) X t
X t 1
ˆ ) arg max (T ) P( X i
i
Viterbi algorithm(a Trellis algorithm)
S0: 他/r 做/v 了/u 一/m 个/q 报告/v 运用T1 S1: 他/r 做/v 了/u 一/m 个/q 报告/n
转换规则的模板（template）
• 改写规则：将词性标记x改写为y • 激活环境：
（1）当前词的前（后）面一个词的词性标记是z；（2）当前词的前（后）面第二个词的词性标记是z；（3）当前词的前（后）面两个词中有一个词的词性标记是z；……其中x，y，z是任意的词性标记代码。
C(?) 是出现次数
平滑
• 为什么需要平滑呢？数据稀疏!
1. 收集更多的数据从实用角度这并不是一个通用的解决方法，在训练文本中总会遗漏一些情况。 2. 平滑估计在训练文本中没有出现情况的出现概率。降低已出现情况的概率，这样留下一些概率“分给”没有出现的情况。

汉语词性自动标注-鲁东大学外国语学院教学中心

•
（5）扩充的复杂标记
• 副形词 ad 直接作状语的形容词。形容词代码a和副词代码d并在一起。 • 名形词 an 具有名词功能的形容词。形容词代码a和名词代码n并在一起。 • 副动词 vd 直接作状语的动词。动词和副词的代码并在一起。 • 名动词 vn 指具有名词功能的动词。动词和名词的代码并在一起。
这里“花”有四个词例。可以有以下几种处理：第一，概括为一个词型“花”。第二，将前一个 “花”作为词型“花1”（动词）的词例，后三个算是词型“花2”（名词）的词例。第三，“花1” 属动词“花1”，“花2”和“花3”属名词“花2” （植物）， “花4”属名词“花3”（花朵）。第四，有四个词型 “花”，各管一个词例，认为“花2” 和“花3”也有不同（一个是作宾语，另一个是作主语）。
拟声词 o 取英语拟声词onomatopoeia的第 1个字母。介词 p 取英语介词prepositional的第1个字母。连词 c 取英语连词conjunction的第1个字母。助词 u 取英语助词auxiliary 的第2个字母语气词 y 取汉字“语”的声母。
（2）非词的语言单位标记
语素 g 绝大多数语素都能作为合成词的“词根”，取汉字“根”的声母。前接成分 h 取英语head的第1个字母。后接成分 k 成语 I 取英语成语idiom的第1个字母。
• 简称略语 j 取汉字“简”的声母。 • 习用语 l 习用语尚未成为成语，有点 “临时性”，取“临”的声母。 • 标点符号 w • 非语素字 x 非语素字只是一个符号，字母x通常用于代表未知数、符号。
第一种处理其实是按词形来概括，虽不合理，
但在计算机上经常这样便于处理。第四种处理基本上没有概括，词的同一性应该只是从词汇意义上来考察，不应从语法意义上来考察，所以不可取。第三种处理在考察词的同一性时使用了较为严格的词义标准，但语言信息的加工流程一般是词性标注先于词义标注，实践中不便采用。第二种处理既区分了同形词，又使词性标注跟词义标注有所区别，所以可能是最适当的。

英语词性的分类及用法讲解

形容词： 1.放在be,seem,sound,feel,taste,smell等词
之后； 2.放在名词之前做定语．
1.Your kind donation is greatly appreciated.
2.Good hamburgers smell good.
3.Disabled people need kind help.
• 行为动词的分类
及物动词与不及物动词根据后面是否带宾语，行为动词又可分为及物动词和不及物动词，
及物动词(vt. ) 后面要跟宾语，不及物动词(vi. ) 不跟宾语。如： They study hard. (study后没有宾语，是不及物动词)
I know them well. (know后有宾语them，是及物动词) 注：有的动词既可作及物动词，也可用作不及物动词. 如：She sings very well. （sing是不及物动词）
数词
(表示数目多少或顺序多少的词叫数词，数词分为基数词和序数词。表示数目多少的数词叫基数词；表示顺序的数词叫序数词。)
• 一、基数词
•
基数词写法和读法
• 二、序数词
•
序数词的缩写形式：
• first—1st second—2nd thirty-first—31st
• 三、数词的用法
•
1）倍数表示法
• 1.并列连词用来连接平行的词、词组和分句。如：and, but, or, nor, so, as well as, both…and, not only…but also, either…or, neither…nor, (and) then等。
• 2. 从属连词经常引导一个从句，如：when, where, because, if, as等。

词性标注方法

= Viterbi[Vg, 喝]* p(Ng|Vg)*p(水|Ng) ② Viterbi(s’, t-1) = Viterbi[e, 喝];
Viterbi(s, t)
' = viterbi[ s , t 1] a s ' , s bs (ot )
= Viterbi[e, 喝]* p(Ng|e)*p(水|Ng)
③ Viterbi(s’, t-1) = Viterbi[v, 喝]; Viterbi(s, t)
' = viterbi[ s , t 1] a s ' , s bs (ot )
= Viterbi[v, 喝]* p(Ng|v)*p(水|Ng) 假设以上三条路径中路径①的 Viterbi 结果最大，则计算结果为：
(3) 计算 T3 — 水
喝 Vg p(t|<s>)p(晚上|t) 晚上 t S 喝 e
① ② ③
水 Ng 水 j
E
喝 v
水 n
求如图所示的绿色椭圆方块部分的 Viterbi 值 ① Viterbi(s’, t-1) = Viterbi[Vg, 喝]; Viterbi(s, t)
' = viterbi[ s , t 1] a s ' , s bs (ot )
= Viterbi[<s>, S] * p(t|<s>)*p(晚上|t) 记录 backpointer 值：这儿即为 <s>
(2) 计算 T2 — 喝喝 Vg p(t|<s>)p(晚上|t) 晚上 t S 喝 e 水 Ng 水 j
E
喝 v
水 n
Viterbi(s’, t-1) = Viterbi[t, 晚上]; Viterbi(s, t) =

英语词性的分类和用法详细讲解

4以s结尾,仍为单数的名词,如：
maths,politics,physics等学科名词,为不可数名词,是单数.news 是不可数名词.
找规律
要点考点聚焦
NOUN.
flower
flowers
watches
factory-factories
boxes
leaf -- leaves
找规律
NOUN. 要点考点聚焦
通常,形容词性物主代词相当形容词的用法,应该位于名词的前面；名词性物主代词相当于形容词性物主代词+名词,之后不接名词.
Eg. I like his car.
Our school is here and theirs is there.
This is your picture. And that is mine.
2单复同形如： deer,sheep,fish,Chinese,Japanese 3集体名词,以单数形式出现,但实为复数.
名词复数的不规则变化
如： people police cattle 等本身就是复数,不能说 a people,a police,a cattle,但可以说a person,a policeman,a head of cattle, the English,the British,the French,the Chinese,the Japanese,the Swiss 等名词,表示国民总称时,作复数用.
其它名词复数的规则变化
1> 以y结尾的专有名词,或元音字母+y 结尾的名词变复数时,直接加s变复数：如：two Marys the Henrys monkey---monkeys holiday---
holidays 2> 以o 结尾的名词,变复数时： a. 加s,如： photo---photos piano---pianos radio---radios zoo--zoos； b. 加es,如：potato—potatoes tomato—tomatoes 3> 以f或fe 结尾的名词变复数时： a. 加s,如： belief---beliefs roof---roofs safe---safes gulf---gulfs； b. 去f, fe 加-ves,如：half---halves

词性标注

在词性标记集已确定，并且词典中每个词都有确定词性的基础上，对一个输入词串转换成相应词性标记串的过程叫做词性标注。

词性标注需要解决的问题如何判定兼类词在具体语境中的词性。

对未登录词需要猜测其词兼类词对句法分析的影响:尽管兼类词在词汇中所占比例并不很高，但由于它们出现的比例较高，因而对于句法分析会造成直接影响。

词性标注方法：概率方法基于隐马尔可夫模型的词性标注方法机器学习规则的方法基于转换的错误驱动词性标注方法从统计模型角度考虑词性标注问题1给定一个词串W=w1w2...wn,如果T=t1t2...tn是W对应的词性标记串。

所谓对W进行词性标注就是在给定W和带有词性标注信息的词表条件下，求T的过程。

2假设W存在多个可能的词性标记串T1,T2,...Ti,对W进行词性标注就是在已知W的条件下求使P(T|W)最大的词性标注串T',即求：3T'=argmax P(T|W)例如词串“把/ 这/ 篇/ 报道/ 编辑/ 一/ 下/”中有些词有多个词性标记（兼类词），因此该词串对应的词性标注串有多个。

全部标记结果等于各个词的词性标注数目的乘积，即4×1×1×2×2×2×3=96。

词性标注的任务就是从多个可能性中找出可能性最高的词性标注串T’上例中对应的词性标注串是“prvnvmq”对于一个词性标注系统来说，它所“认为”的可能性最高的词性标注串T'可能是正确的，也有可能是错误的。

为了表示方便，做如下约定：Wi：表示一个词串；wi：表示一个具体词语；Ti：表示一个词性标注串；ti：表示一个具体词性标记；隐马尔可夫模型(Hidden Markov Model，HMM)是描述连续符号序列的条件概率统计模型,可定义为五元组λ=(S,V,A,B,π),其中S代表一个状态集合S={1,2,...,N}V代表一个可观察符号的集合V={v1,v2,...,vM}A代表状态转移矩阵(N行×N列)A=[aij]，其中aij=P(qt+1=j | qt=i), 1≤i,j≤N,即从状态i转移到下一个状态j的概率B是可观察符号的概率分布B={bj(k)},其中bj(k)是在状态j是输出观察符号vk的概率，即bj(k)=P(vk | j),1≤j≤N, 1≤k≤M.π代表初始状态的概率分布π={πi},表示在时刻1选择状态i的概率，即πi=P(q1=i)一个确定的HMM,其状态数是确定的，每个状态可能输出的观察值数目也是确定的，参数A,B,π可通过统计样本得到。

英语词性的分类及用法详述

第五章动词及其基本用法详述 ..................................................................................................... 34
一、什么是动词 ................................................................................................................................ 34 二、动词的分类 ................................................................................................................................ 34 三、及物动词与不及物动词 ............................................................................................................ 38 四、持续动词与瞬间动词 ................................................................................................................ 39 五、情态动词 .................................................................................................................................... 42

从句法分析看词性标注

从句法分析看词性标注词性标注是语言研究者进行句法分析和其他研究的基础,其划分是否得当直接影响着语料库的下一步建设。

本文从句法分析实际操作的角度对国内几个常用分词系统的词性标记问题进行了对比分析,着重探讨了其中一些标记给句法标注带来的问题,如习用语和简称、前接成分和后接成分。

针对这些问题,本文从实用的角度,在参考多方建议的基础上,提出了相应的标注策略。

标签：词性标注句法分析习用语词缀语素字一、引言对语料进行词性标注,只是语料库建设的初期阶段,也是进行下一步句法标注的基础。

我们在对语料进行句法标注的过程中发现,分词系统中一些不恰当的词类标记不仅影响到句法标注的效率,也影响到标注的准确性和一致性。

因此,本着节省人力、物力的原则,在综合考虑词类标记对句法层面的影响之后,本文力图在词性标注这一问题上提出更加科学的可行性建议,以促进基于语料库的进一步的语言研究。

首先,分词类别(或POS标记)应该在句法上有功能意义,例如名词、动词等。

不是从句法层面划分出来的标记即使标示出来也无法在句法分析中进行处理。

其次,在有意义的基础上,需要把握一个度。

在语料库的标注过程中,词类划分不宜过多或过少。

词类过少,对句法分析的深度和精度不够,词类过多,又会使语言分析和处理的过程太复杂,代价太高。

那么,到底划分多少词类才能在句法层面达到自足呢?通过对世界上13种语言依存句法的考察表明,在进行自动句法分析时,一种语言所划分出的词类数量一般应当控制在10～20之间。

本文针对两个与句法有关的词性标注问题即习用语和简称、前接成分后接成分和语素字,对比了当前国内的几个分词标注系统①,经过综合分析探讨之后,提出了一些具有可行性的建议。

二、习用语和简称关于习用语(也就是熟语)的界定,学术界的看法并不统一。

黄伯荣的《现代汉语》对其做了界定:“熟语结构上比较固定,功能上相当于一个词,包括成语、惯用语、歇后语等”。

周荐则认为习用语在功能上大于等于词,它既指成语、惯用语、歇后语等词汇单位,又指谚语、格言、警句等非词汇单位。

英语词性词类详细讲解 ppt课件

English是直接宾语）不及物动词（ intransitive verb ）: The sun rises. He works hard.
2. 动词（verb）
（2）连系动词： be动词(is, am, are, was, were, have/has been) 感官系动词（feel，smell，taste，look，sound）：后面一般加形容词变化系动词（become, get, grow, turn）：后面一般加形容词
可数性：可数名词（ countable nouns)& 不可数名词（ uncountable nouns) ①冠词的使用 ②单复数 s/es ③谓语动词的搭配 *集合类名词：council ，government， group， jury, team, family
英语词性词类详细讲解
3. 形容词（adjective）
用来表示人或事物的性质、状态和特征的词称为形容词
以-able, -al, -ful, -ish, -less, -ous, -y等后缀结尾的词
-ed 人的感受：
tired, tiring; amazed, amazing; fascinated, fascinating;
• “不怕太阳晒，也不怕那风雨狂，只怕先生骂我笨，没有学问无颜见爹娘 ……”
• “太阳当空照，花儿对我笑，小鸟说早早早……”
英语词性词类详细讲解
1.名词（noun，缩写式为n）
普通名词(common noun): 是某一类人、事物、某种物质或抽象概念的名称。 luggage, success, traffic 专有名词(proper noun):是特定的某人、地方或机构的名称。专有名词的第一个字母必须大写。 Tom, China, A Tale of Two Cities, March, Saturday

现代汉语语料库加工规范词语切分与词性标注词

18
m数词
取英语numeral的第3个字母，n，u已有他用。
1．数量词组应切分为数词和量词。三/m个/q, 10/m公斤/q,一/m盒/q点心/n ,
但少数数量词已是词典的登录单位，则不再切分。
一个/m,一些/m ,
2.基数、序数、小数、分数、百分数一律不予切分，为一个切分单位，标注为m。
一百二十三/m，20万/m，123.54/m,一个/m,第一/m，第三十五/m，20%/m，三分之二/m，千分之三十/m,几十/m人/n，十几万/m元/q，第一百零一/m个/q ,
3.地名后的行政区划有两个以上的汉字，则将地名同行政区划名称切开，不过要将地名同行政区划名称用方括号括起来，并标以短语NS。
[芜湖/ns专区/n] NS，
[宣城/ns地区/n]ns，
[内蒙古/ns自治区/n]NS，
[深圳/ns特区/n]NS，
[厦门/ns经济/n特区/n]NS，
[香港/ns特别/a行政区/n]NS，
23
nt机构团体
“团”的声母为t，名词代码n和t并在一起。
（参见2。短语标记说明--NT）
联合国/nt，中共中央/nt，国务院/nt，北京大学/nt
1．大多数团体、机构、组织的专有名称一般是短语型的，较长，且含有地名或人名等专名，再组合，标注为短语NT。
[中国/ns计算机/n学会/n]NT，
[香港/ns钟表业/n总会/n]NT,
12
h前接成分
取英语head的第1个字母。
许多/m非/h主角/n人物/n ,
办事处/n的/u“/w准/h政府/n”/w功能/n不断/d加强/v ,
13
i成语
取英语成语idiom的第1个字母。
一言一行/i ,

中文词性标注集

}),
's': ('处所词', 'locative word'),
'f': ('方位词', 'noun of locality'),
'v': ('动词', 'verb', {
'vd': ('副动词', 'auxiliary verb'),
'vn': ('名动词', 'noun-verb'),
'vshi': ('动词"是"', 'verb 是'),
}),
'rg': ('代词性语素', 'pronoun morpheme'),
}),
'm': ('数词', 'numeral', {
'mq': ('数量词', 'numeral-plus-classifier compound'),
}),
'q': ('量词', 'classifier', {
'qv': ('动量词', 'verbal classifier'),
}),
'c': ('连词', 'conjunction', {
'cc': ('并列连词', 'coordinating conjunction'),