人工智能技术概览

哲学 自动化 控制 逻辑学 语言学 数学 经济学
心理学
归纳学 生物学
人工 智能
计算机
统计学 仿生学
概率论
系统学
工程学
认知学
2017年9月24日
工业4.0，自动化生产线


旨在提升制造业的智能化水平，建立具有适应性、 资源效率及基因工程学的智慧工厂，在商业流程及 价值流程中整合客户及商业伙伴 其技术基础是网络实体系统及物联网
– –
信息检索方式，抽取原文中短语、句子作答 问题分析、答案类型确定、确定检索规则、句子抽 取、答案生成

Knowledge-based Question Answering
– – –
确定提问类型及答案模板 从原文抽取模板定义要素 组织语言生成答案

个人助理 、客服/导购、专家系统
2017年9月24日

人工神经网络模仿动物神经网络特征，进行分布式 并行信息处理的算法数学模型。 网络依靠系统的复杂程度，通过调整内部大量节点 之间相互连接的关系，从而达到处理信息的目的。 优势
– – –

–
并行分布处理 高度鲁棒性和容错能力 分布存储及学习能力 能充分逼近复杂的非线性关系

激活函数、损失函数、梯度下降
特斯拉工厂曝光，整个工厂只有150个机器人，超震撼
2017年9月24日 北京久其软件股份有限公司
机器人，好帮手
奔跑跳跃搬东西，这种 机器人平衡能力比人类还强
2017年9月24日
北京久其软件股份有限公司
自动驾驶

谷歌、特斯拉、百度、苹果…… 集各类人工智能技术一身
2017年9月24日
北京久其软件股份有限公司
机器学习

数据爆炸式增长催热机器学习

统计学、概率模型（贝叶斯）、神经网络 有监督学习、半监督学习、无监督学习
– –

主要区别在于人工投入的比例 无监督学习只有极少数应用

2017年9月24日
投多少人工，有多少智能？
北京久其软件股份有限公司
强化学习

reinforcement learning，RL 又称再励学习、评价学习 智能系统从环境到行为映射的学习，以使奖励信号 (强化信号)函数值最大


2017年9月24日
中文分词

11款开放中文分词引擎大比拼 目前主流分词包均采用复杂的统计模型，HMM、 CRF、SP（结构化感知） 首先统计大量已切分文本特征训练模型，然后针对 输入文本搜索最佳切分方式 目前哈工大语言云、Boson云效果最佳 THULAC（清华）是开源包中效果最佳，也非常快 结巴分词用的很广（Python），效果也不错
北京久其软件股份有限公司
适合模型 平台 上手难易 CNN 所有系统 中等 CNN/R Linux, 难 NN OSX CNN 所有系统 中等 CNN/R Linux, 中等 NN OSX CNN/R Linux, 易 NN OSX
机器学习中的问题与应对






欠拟合 – 添加其他特征，减少正则化 过拟合 – L1、L2正则化 不收敛 – 复审输入数据、修改模型设计、改变参数初始化方法、 调整学习速率 数据集过小 – 转换扩增 运算过慢 – 分布式运算，换用GPU或专用神经网络处理器 调参复杂 – 分开训练、参数各种图形化展示





2017年9月24日
没有完美方案，90%以后每提升1点都要巨大代价
北京久其软件股份有限公司
词性标注

中文词类活用现象非常多 没有英文的变形：ing、ed、er、ly 词性命名标准出自北大，基本统一 目前都只提供静态词性，非准确标注 在关键词计算、事件发现、情感判断有价值 句法分析、语义理解的前提 词法分析、句法分析、语义理解相互交织依赖，制 约了词法技术提升

2017年9月24日
只是一种高阶近似，同一含义在同一维表达，尽量分散
关键词、摘要提取

PageRank算法原理
–
–
整个www可以看作一张有向图图，节点是网页。如 果网页A存在到网页B的链接，那么有一条从网页A 指向网页B的有向边。导入的链接越多，页面的重 要程度越高 复杂的迭代优化精确权重 距离较近的词，视同有链接 可根据词性、统计规律调整权重， TF-IDF是最常用算法 句子初始权重为各词TF-IDF权重合计 权重最高的句子（必要修剪）作为摘要 自上而下的摘要用模板/知识库生存（事件、球赛）
2017年9月24日
北京久其软件股份有限公司
NLP - 自然语言处理

自然语言是人类智慧的结晶，自然语言处理是人工 智能中最为困难的问题之一 广义的NLP包含NLU、NLG 用到统计、概率、神经网络等各种算法 文本分类 信息抽取 人机对话 领域知识图谱 自动写稿
北京久其软件股份有限公司




2017年9月24日
语音识别、NLP
Bidirectional RNNs、Deep RNNs、GRU RNN
北京久其软件股份有限公司
LSTM -长短期记忆网络

Long Short-Term Memory Neural Network RNN时间上传递的神经网络，可能“梯度消失” 通过门的开关实现时间上记忆功能，防止梯度消失 遗忘门 输入门 输出门

关键词
– –
–

摘要
– – –
2017年9月24日
文本分类、聚类、情感倾向

文本分类属于有监督学习，需要训练 贝叶斯、SVM、神经网络 文本聚类属于无监督学习 划分法（K-Means ）、层次法、密度法、网格法 文本倾向性分析，主要用于舆情监控，评价挖掘 贝叶斯理论为基础 褒义词、贬义词、中性词 否定谓词、副词的识别 与地域、主体识别结合运用 难点在于各门类数据抓取、行业模型训练
–


HMM、ME、SVM、条件随机场(CRF) NN、CNN-CRF、RNN-CRF、Attention机制 训练的CRF模型，人名、时间、数字识别还行，有提升空间
北京久其软件股份有限公司

神经网络识别
–

目前缺少成熟可以API，少数付费效果尚可
–
2017年9月24日
语言模型、词向量





数据：预测、挖掘 语音：语音识别、语音合成、声纹检测 文字：分类、翻译、对话、NLP、NLU、NLG 视觉：图像识别、生成作画、视频理解 运动：智能控制、仿真机器人、自动驾驶 思考：简单推理、机器人写稿、AlphaGo
2017年9月24日
北京久其软件股份有限公司
涉及面最广的交叉学科
– –

哈工大LTP语言云、Boson云（较好） Stanford Parser、HanLP （稍差）
北京久其软件股份有限公司
2017年9月24日
语义分析/理解



知识工程：语义树 可用于句子语义理解、数据抽取、句式转换
需要强大的知识库配合，知识图谱（？） – 今天晚上吃金属吧（ ╳ ） – 法国一位老人以吃金属为生（ √ ）

Convolutional Neural Network 图像领域应用非常成功，人脸识别超99.5% 全连接 局部连接，权值共享
特征数量 卷积核大小
2017年9月24日

图像识别、OCR、语音识别（DBN+CNN+RNN最好）
RNN – 循环神经网络

Recurrent Neural Network （t+1）时刻网络的最终结果O(t+1)是该时刻输入 和所有历史共同作用的结果

Seq2Seq机器翻译 Attention Model对话
2017年9月24日
GAN -生成性对抗生成网络

Generative Adversarial Networks 它有两个模型：一个生成器，一个判别器 没有损失函数，优化过程是“二元极小极大博”
2017年9月24日
北京久其软件股份有限公司
人工智能技术概览
久其软件 - 李坤奇
2017年9月24日
北京久其软件股份有限公司
目录
1、人工智能定义、关联
2、 人工智能主要应用领域
3、机器学习算法及分类 4、主流神经网络简介 5、NLP的主要技术与方法
2017年9月24日 北京久其软件股份有限公司
人工智能定义

用机器，通常为电子仪器、电脑等，对人的意识、 思维的信息过程的模拟。 人工智能不是人的智能，但能像人那样思考、也可 能超过人的智能。
N-Grams：二元组、三元组、五元组…… 大量分词后语料进行统计 正则化、平滑 可用于拼写和语法检查，也可协助分词



Word2Vec：将词组转换成多维向量表示 CBOW、Skip-Gram、GloVe 神经网络输入需要Embedding，50,100,300维 特性
– –
相似近邻 通过向量距离查找关联词 线性加减 w2v(中国)-w2v(北京)=w2v(法国)-w2v(巴黎)

还难以理解文章，进行摘要或推理 神经网络：训练超级模型 词向量（稀疏）比较成熟，生成较快
–

Synonymy、Antonymy、Hyponym

短句可用向量相加近似表示，长句、文章尚在研究
2017年9月24日
北京久其软件股份有限公司
知识图谱(Knowledge Graph)

由知识点相互连接而成的语义网络 用可视化技术描述知识资源及其载体，挖掘、分析 、构建、绘制和显示知识及它们之间的相互联系， 并进行查询推理 RDF(资源描述框架) 、OWL(Web 本体语言)、SparQL 建立：数据源整理、实体消歧、schema(本体、关 系等)构建、查询与推理 、优化存储、更新维护
北京久其软件股份有限公司
Βιβλιοθήκη Baidu


2017年9月24日
句法分析

上下文无关文法
–
Context Free Grammar 通过分析语言单位内成分之间的依存关系揭示其句 法结构 识别“主谓宾”、“定状补”

依存文法分析(Dependency Parsing)
–
–

算法：CYK、PCFG、CRF、神经网络（？） 目前中文句法分析短句可用，长句较差
2017年9月24日
北京久其软件股份有限公司
深度学习

深度学习源于人工神经网络，多个隐含层感知器。 深度学习通过组合低层特征形成更加抽象的高层表示属性类别 或特征，以发现数据的分布式特征表示。

2017年9月24日
各层设计、图形化调参、学习速率
北京久其软件股份有限公司
CNN – 卷积神经网络



处于研究阶段 无人机， 自动化控制， 电子游戏
2017年9月24日
北京久其软件股份有限公司
迁移学习

Transfer Learning, TL 收集数据成本高；训练耗时；重复利用已有知识 样本迁移、特征迁移、模型迁移、关系迁移
2017年9月24日
北京久其软件股份有限公司
人工神经网络
库名称 Caffe TensorFlo w MXNet Torch Theano
2017年9月24日
开发语言 速度 c++/cuda 快 c++/cuda 中等 /Python c++/cuda 快 c/lua/cud 快 a python/c 中等 ++/cuda
灵活性 文档 一般 全面 好 好 好 好 中等 全面 全面 中等
深度学习框架



Caffe – 2013年底,由UC Berkely的Yangqing Jia开发 – 计算机视觉领域首选Caffe TensorFlow – Google主推的开源学习框架 – 有众多预先训练好的模型，开发简单 – 速度慢，内存占用较大 Torch
– – –
Facebook力推的深度学习框架，主要开发语言是C和Lua 有较好的灵活性和速度，开发也比较简单 缺点是接口为lua语言，不支持Python
北京久其软件股份有限公司



2017年9月24日
NER命名实体识别



Named Entity Recognition又称作“专名识别”，是指识 别文本中具有特定意义的实体 三大类：实体类、时间类和数字类 七小类：人名、机构名、地名、时间、日期、货币和百分比 基于规则和词典的方法 – 采用语言学专家手工构造规则模板,选用特征包括统计信 息、标点符号、关键字、指示词和方向词、位置词(如尾 字)、中心词等方法，以模式和字符串相匹配为主要手段 基于统计的方法



2017年9月24日
WordNet、Yago、Dbpedia CN-Dbpedia、Zhishi.Me、PKU-PIE
搜索引擎、金融分析、辅助诊断 目前似乎难以表达行为动作、限定修饰
北京久其软件股份有限公司
QA - 机器人问答、人机对话

IR-based Question Answering