文本标注系统

大匠通工程造价文本标注系统

开发需求

背景

需要大量的人工来对造价材料文本进行词汇标注工作，包含词汇的分割、词汇的专业属性、命名实体等人工标注，为机器学习提供学习样本。

Excel的标注方式存在以下几大问题：

很多NLP 任务训练和评估都依赖大量标注数据，对于文本分类，使用标注数据进行模型训练和评测，如商业兴趣分类、电商分类、APP分类；对于关键词抽取，使用标注数据进行评测。在标注数据获取过程中存在以下问题：Excel 标注方式效率低下；腾讯系数据源多，标注数据难于管理；标注质量难以保证，依赖人工抽样，费时费力。因此，我们快速开发了一个通用的文本标注工具并开源，工具名称为labelme，翻译成“来标我”

目前支持文本类目标注（图2）和关键词标注（图3）两个场景。类目标注支持树状类目体系，标注时自顶向下标注，从root标注到叶节点，例如图2中，先标一级“餐饮美食”，再标二级“餐馆”。关键词标注支持正在打分的关键词在文档中高亮和增加候选中没有的关键词功能。

关键词标注：

质量校验

为了保证标注数据质量，labelme引入质量校验特性，利用专家标注的数据验证普通标注人员的标注数据的准确率。将开发或者产品定义为Owner（专家），将外包同学定义为Labeler（普通标注人员），Owner标注的数据作为Golden Set，Labeler每天的标注数据中掺一定比例的Golden Set，比例可配置（配置定义中的owner_sample_ratio字段），每天以Golden Set作为正确答案，计算Labeler标注的准确率。Labeler之间的标注数据不会有交集，见图6，每天分配给Labeler的Golden Set是Labeler没有标注过的，所以一旦Golden Set用完，系统无法计算准确率，需要Owner定期标注一些Golden Set计算Labeler的准确率。

Active Learning（待实现）

对于类目标注，为了提高标注效率和减少不必要的标注，可以利用已有标注数据训练弱分类器，对未标注数据进行预测，假定预测的结果为Pi （i = 1, 2, ...N；N是类目的个数），预测结果为c = argmax_i Pi，即样本的预测类别为c，概率为Pc，labelme将Pc低于threshold的样本返回给标注人员进行标注，Pc高于threshold的样本认为是跟已标注样本很相似，不需要再标注。每天重新训练弱分类器，重新预测未标注样本的类别，重新估计threshold。另外，为了降低系统复杂度，弱分类器与labelme解耦，labelme提供接口给弱分类器，接口包括获取已标注数据和未标注数据，更改未标注数据预测类别，弱分类器由用户自行选择。另外，labelme优先展示概率比较大的类目，提高标注效率。

CDB数据管理

labelme采用mysql管理标注数据，mysql使用CDB，保证数据安全，毕竟标注数据需要大量人力。

报表推送

labelme会向任务的owner和labeler推送报表，报告样本总量，已标数据，剩余数量，每个人前一天标注数量和准确率。