人工智能深度学习基础知识培训

AlphaGo怎么做到的？

AlphaGo使用两种不同的深度神经网络：第一种 是策略网络，目标是选择在哪里落子。第二种则 是价值网络，价值网络的作用是衡量走这一步对
最终输赢的影响。

AlphaGo成功的关键在于:

海量对弈数据：6000万局对弈数据。
监督式学习
强化学习

算法创新：深度神经网络+“左右手互搏”
Deep learning深度学习概念（2/2）
Deep learning深度学习
越来越复杂的网络
越来越多的训练样本： 越来越短的迭代要求
千万规模
推理的要求越来越多
Why GPU？
项目 内核 并行 带宽 场景
CPU 最多只有 22 个 为一步步的连续计算而设计 内存带宽 文字处理 交易型数据库 网络应用 几千个核心
GPU/TPU
深度学习理论发展 海量数据的标注
对数据量较少的场景支持不力
2.2 人工智能典型应用
人工智能应用：语音识别
Skype语音聊天实时翻译
微软Cortana/小冰
人工智能应用：计算机视觉
计算机视觉
人脸识别
LFW测试准确率近100% 图像识别 ImageNet测试识别率超过人 目标检测 以图搜图 看图说话 …… 各大公司“军备竞赛” MS，Google，fb，baidu…… 1000类目标图像识别
机器人仅仅是人工智能的一个分支
人工智能的评判标准
阿兰· 图灵
英国数学家、逻辑学 家，被视为计算机科学 之父。
图灵测试
阿兰· 图灵在1950年发表 的一篇名为《计算机器与 智能》的论文，提出著名 的“图灵测试”，测试者 在与被测试者（一个人和 一台机器）隔开的情况 下，通过一些装置（如键 盘）向被测试者随意提 问。如果机器能够让30% 的测试人相信它是人类， 那么这台计算机就可以被 认为具有人类的思考能 力。
Raw Data
Training Algorithms
Regression
• • • • • • Linear regression Naï ve Bayes SVM Neutral Network K – Means Mixture of Gaussian
Classification
Cluster
卷积神经网络CNN（convolutional neural network）
2 人工智能篇
2.1
2.2 2.3 2.4
什 么 是 人 工 智 能
人工智能典型应用 人工智能技术体系 总 结 与 展 望
时代背景：新一代人工智能发展规划的提出
为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势， 加快建设创新型国家和世界科技强国，日前国务院印发《新一代人工智能发 展规划》。 -----2017.7.8
图灵测试额外加分项： 说服测试者，令他认为自己 是电脑。
人工智能发展简史
混沌初生 开天辟地
奠定了人工智能的数学基础，出现了人 工智能历史上的第一个应用。 -西蒙和纽厄尔提出了“Logic Theorist”自动定理证明系统。
百家争鸣 百花齐放
随着新的算法和模型不断涌现，学科交 叉现象日趋明显，人工智能的研究进入 了新的阶段。
K-Means Mixture of Gaussians
• Reinforcement Learning
Train algorithms算法/模型训练
Get optimized Ɵ Gradient Descent J(Ɵ) Computation Model Construction
Final Training Model
Train algorithms 模型训练：梯度下降算法（GD）
Model Validation模型验证
After get the training model:
Problem: The training model is good or bad? Underfitting ? Overfitting?
GPU 为高度并行的运行方式而设计 内存带宽 DNA排序 物理建模 图片分析 视频编解码
GPU设计哲学： 1、SIMD/SIMT，单指令多数据 2、众多线程，人多力量大
最好的时代？
政府/企业空前重视 美国《人工智能战略》 中国《新一代人工智能发展规划》 企业脑计划：Google/MS/fb/Baidu 大数据发展带来海量数据 硬件发展带来计算能力革命性提升
Data collection
Permission
android.permissioin.BRICK
Package
android.net.wifi
matrix
Data Analysis数据分析(1/2)
剔除异常数据
高斯分布
Data Analysis数据分析(2/2)
数据降维 (inches)
(cm)
专 业 级 业 余 级
入 门 级
2017年7月9日,柯洁携20连胜,等级分冲至3675分，世界排名第一
2.1 什么是人工智能
人工智能的定义
人工智能： Artificial Intelligence 英文缩写：AI
是计算机科学的一个 分支，研究包括机器 人、语音识别、图像 识别、自然语言处理 和专家系统等。 简单来说，就 是想生产出一 种能以人类智 能相似的方式 做出反应的智 能机器。
人工智能出现新的 研究高潮，机器开 始通过视频学习识 别人和事物， AlphaGo战胜围棋冠 军（2011~今）
大数据时代的到来给人工智能的发展带 来契机，人工智能全面融入人们的社会 生活
几个概念间的关系
人工智能 机器学习 深度学习
有监督 无监督 概率
Deep learning深度学习概念(1/2)
Classification
Cluster
result
Final Model
Validation
Regularization
Training Model
Feature Extraction特征提取(1/2)
图像的特征提取
Feature Extraction特征提取(2/2)
• APP特征提取
unzip decompile
《规划》指出：立足国家发展全局，准确把握全球人工智能发展态势，找准突破 口和主攻方向，全面增强科技创新基础能力，全面拓展重点领域应用深度广度， 全面提升经济社会发展和国防应用智能化水平。
AlphaGo到底有多厉害？
2016年，AlphaGo围棋程序就在19*19棋盘上无条件 战胜了人类棋王。 研制AlphaGo的团队DeepMind正在投入AlphaSC的 研发，未来将于人类顶尖高手在星际争霸游戏中一较 高下。
20%->10%->6%>5%->4%
人工智能主要应用领域
安防
电商零售 教育
3
自驾领域
4
5
金融
2
个人助理
1
人工 智能
6 7
医疗健康
人工智能应用领域
2.3 人工智能技术体系
人工智能技术体系
机器学习 Machine Learning
Machine Leaning = Machine + Learning 机器学会“人识别事物的方法 ”
。

计算能力出众：打败李世石的AlphaGo Lee 的芯片为 50 TPU,搜索速度为10k位置/秒。
AlphaGo绝非一帆风顺
“AlphaGo以 为自己做的 很好，但在 87手迷惑了， 有麻烦了”
3月13日李世石九段“神之一手”
“错误在第79 手，但 AlphaGo到 第87手才发 觉”
“AlphaGo远非人工智能的终点。” 微软研究院著名机器学习专家John Langford批评了Wired和Slashdot等媒体对于“实现人工智能”夸大其词
LSTM
长短时记忆 Long Short Term Memoery
深度神经网络DNN（Deep Neural Network）
2006年 Geoffrey Hinton
利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层 神经网络真正意义上有了“深度” ReLU、maxout等传输函数代替了 sigmoid 仍然是全连接
走 进 人 工 智 能
0引言
猿→人 信息得以交流和传递 第一次 信息革命 语言的创造 第二次 信息革命 文字的出现 信息可以被储存在文字中进行传播，解决 了语言的时间和空间的局限性
突破了人类大脑及感 觉器官加工利用信息 的能力，人类进入信 息社会时代 第六次 信息革命
第五次 信息革命 电视的出现 声音、图片影 像、文字 实现同时远距 离实时传播
的相关报道。Langford认为这些进展本是好事，但报道的时候产生了偏差，
这容易导致失望和人工智能寒冬。
John Langford 国际机器学习大会ICML2016 程序主席
从AlphaGo到AlphaGo Master
等级分
60-0 vs 顶级专业人士（在线游戏）
5000 4500 4000 3500 3000 2500 2000 1500 1000 500 0
result
Final Model
Validation Regularization
Training Model
几种深度学习网络
DNN
深度神经网络 Deep Neural Network
CNN
卷积神经网络 convolutional neural network
RNN
循环神经网络 Recurrent Neural Net
is fit or not ?
Model Validation模型验证
深度学习处理过程
4560
Feature Extraction
X
Processed Data New Data
Data Analysis
Anomaly Detection Dimension Reduction
1357 6857 0020
第三次 信息革命 印刷术的发明 扩大了信息的交流、 传递的容量和范围 第四次 信息革命
无线电的发明
计算机与互联网的使用
电磁波传播信息， 速度增长几十亿倍
（摘自人民出版社《大数据领导干部读本》）
0引言
第七次信息革命？
现在我们正经历着一场信息革命。这不是在技术上、机器 设备上、软件上或速度上的一场革命，而是一场“概念” 上的革命。以往50年信息技术的重点在“技术”上，目的 在于提升信息传播范围、传播能力和传播效率。而新的信 息革命的重点将会在“信息”上。 ——彼得·德鲁克 《21世纪的管理挑战》
Anomaly Detection Dimension Reduction
1357 6857 0020
Raw Data
Training Algorithms
Regression
• • • • • • Linear regression Naï ve Bayes SVM Neutral Network K – Means Mixture of Gaussian
Learning
Feature Extraction
training
Recognition
Red Round
apple
yellow long
orange Round
banana orange
机器学习 Machine Learning
Machine Leaning = Machine + Learning Machine Learning 机器学会“人识别事物的方法 ”
Train algorithms算法/模型训练
• Supervised Learning
Linear regression Logistic regression Naïve Bayesians Neutral Network SVM Decision Tree K-NN
• Unsupervised Learning
Feature Extraction
training
Recognition
Red Round
apple
yellow
long
orange Round
banana orange
机器学习处理过程
4560
Feature Extraction
X
Processed Data New Data
Data Analysis
物竞天择 适者生存
多伦多大学教授 Fra Baidu bibliotekinton开启深度 学习在学术界和 工业界的浪潮 （2006）
以DENDRAL系 统为代表的专家 系统大量涌现。 （1970~1980） 图灵测试的提出 标志人工智能进 入萌芽阶段。
达特茅斯会议的 召开标志着人工 智能的诞生。 （1956年）
浅层机器学习模 型兴起，SVM、 LR、Boosting算 法等纷纷面世。 （1990~2000）