大数据和人工智能

神经网络学习原理
21
训练机器，输 入大量的数据 进行喂养
神经网络做复 杂结构反应
输出预测结构
神经网络做出 基本型反应
神经网络做抽象 概念反应
典型神经网络算法
22
循环神经网络(Recurrent Neural Networks，RNN)已经在众多自 然语言处理(Natural Language Processing, NLP)中取得了巨大 成功以及广泛应用。
数据建模-季节指数
34
商品的销量可能受到多重周期性因素的影响，可以将销量描述为关于时间的函数 f t ，可以通过 傅里叶变换将复杂的函数转化成一系列周期性函数之和。
傅里叶变换将一个函数转换为sin和cos的和，相当于将一个时间函数映射到频域，在频域空间中正弦波是频域中唯一存 在的波形。通过选择能量较高（即较显著）的周期性正弦波，我们可以得出其对应的频率或周期，从而量化地描述商品 销量的季节性特征等。
数字智能介绍
大数据带来的历史变革 人工智能技术的演变 人工智能标志性产品 如何构建数据类产品
什么是大数据
3
大数据（big data），任何一组或一群可以反映事件发展本质规律，并能预测事件发展方向的数据都 可以 称为大数据。
大数据带来的价值变化
4
固定资产
无形资产
数据资产
工厂
车间
数据
收益
品牌
产权
大数据的显著特征
AlphaGo的物理结构
25
AlphaGo 是一款围棋人工智能程序。其主要工作原理是“深度学习”。“深度学习”是指多层的人 工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入，通过非线性激活方法取权 重，再产生另一个数据集合作为输出。这就像生物神经大脑的工作机理一样，通过合适的矩阵数量， 多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样。
卷积神经网络（Convolutional Neural Networks，CNN）是一种 前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周 围单元，对于大型图像处理有出色表现。
大数据带来的历史变革 人工智能技术的演变 人工智能标志性产品 如何构建数据类产品
人工智能突破性的革命
24
2016年3月，阿尔法围棋与围棋世界冠军、职业九段棋手李 世石进行围棋人机大战，以4比1的总比分获胜； 2016年末2017年初，该程序在中国棋类网站上以“大师” （Master）为注册帐号与中日韩数十位围棋高手进行快棋对 决，连续60局无一败绩； 2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的 世界围棋冠军柯洁对战，以3比0的总比分获胜。 围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水 平，在GoRatings网站公布的世界职业围棋排名中，其等级 分曾超过排名人类第一的棋手柯洁。
初识神经网路
20
+1代表偏移值(偏置项, Bias Units)；X1,X2,X2代表初始特征；w0,w1,w2,w3代表权重(Weight)， 即参数，是特征的缩放倍数；特征经过缩放和偏移后全部累加起来，此后还要经过一次激活运 算然后再输出。
神经网络的三个概念： 输入层（Input layer）：众多神经元接受大量非线形输入讯息。 输出层（Output layer）：讯息在神经元链接中传输、分析、权 衡，形成输出结果。 隐藏层（Hidden layer）：是输入层和输出层之间众多神经元和 链接组成的各个层面。
泛人工智能
核心4要素
算法
算力 数据
统计算法
机器学习 GPU
全样本数据
传统统计学 机器学习（ML） 深度学习（DL）
聚类分析 回归分析 时间序列 决策树 贝叶斯 随机森林 卷积神经网络CNN 循环神经网络RNN
场景
落地场景
14
机器学习简介（ML）
机器学习概念介绍
15
机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。 三种主要类型的机器学习：监督学习、非监督学习和强化学习。
价值判断
进行价值判断的，输入 一个对弈局面，黑棋和 白棋的胜率.
AlphaGo的计算过程
27
蒙特卡洛博弈树搜索
棋局判断
1）假设当前棋局状态为St， 对于每一种可选择的走法a， 选择走a 之后的棋局价值 Q(St,a)
2）将这个叶子节点 SL 展开，并用“价 值判断网络”计算 其价值Vθ
胜率判断
（4）将估算结果反 向更新到这次搜索 途经的全部节点， 反向更新公式计算。
5
大数据最核心的特征——预测！
大数据的另一个特征——全样本！
大数据经典案例
6
大数据经典案例
7
大数据经典案例
8
大数据带来的变革
9
Information Technology
Technology Information
过去的20年，我们为 客户提供的是支持业 务的信息技术。
未来的20年，我们为 客户提供的是驱动业 务的技术信息。
数据类产品怎么做
数据挖掘
产品定位 数据挖掘 数据建模 数字资产
快速迭代
功能开发 测试上线 需求完善 模型调优
30
收益评估
评估长期收益 生命周期管理 产品日常运维
需求分析
用户需求调研 基本数据收集 异常数据清洗
产品规划
产品雏形 技术初审 原型设计 需求文档
推广应用
特征提取 产品推荐 反馈优化
核心概念的解释
数据清洗-异常值处理
32
异常值（Outliers）是指样本中的个别值，其数值明显偏离它（或它们）所属样本的其余观测值， 也称异常数据，离群值。在进行量价关系回归过程中，异常值的存在会一定程度地影响需求函数 拟合的效果。
（1）对于每日数据，对于每周数据，剔除掉销量小于15 的记录； （2）剔除掉销量处于均值上下两倍标准差之外的记录； （3）留存销量比较高的商品进行分析； （4）产品销售与价格之间的波动趋势分析； （5）进行稳健回归模型计算； （6）剔除掉残差在均值两倍标准差之外的样本点。
一般机器学习的应用
18
决策树模型
决策树是一种十分常用的分类方法。就是给定一堆样本，每个样本都有一组属性和一个类别，这些 类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分 类。
根部节点
甜的
我要买 饼干
分枝
咸的
叶节点
有夹心
有夹心
椒盐味
麻辣味
19
深度学习简介（DL）
大数据带来的历史变革 人工智能技术的演变 人工智能标志性产品 如何构建数据类产品
什么是人工智能
12
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智 能的理论、方法、技术及应用系统的一门新的技术科学。
什么是人工智能
13
人工智能可以分成两个部分来理解，即“人工”和“智能”。人工，自然就是一些人力所能做到 的事情，由人去完成活动。智能，应该理解为智慧和能力。
数据挖掘-商品弹性
33
一个商品存在一个真实固定的弹性值ε，一个数学上更好的描述则是商品在某个时间某个价格下真实 的弹性符合一个分布。实际中最常见的分布是正态分布（Normal distribution）或高斯分布（Gaussian distribution）。
比如说我们可以假设一个商品真实的弹性服从一个均值 为μ，标准差为σ的正态分布，就是一个均值为−3，标准 差为1的高斯分布，统计上高斯分布的概率密度函数可以 表示为：
模型校验-校验方法
35
维度一、预测MAPE MAPE（mean absolute percentage error）指标是预测领域标准的一种误差度量方式，是在统计学上较为通用的预测
准确度度量方法，其计算公式为：
MAPE=���1���
n At−Ft t=1 At
其中，At代表N个集合中第t个样本的实际值，Ft代表N个集合中第t个样本的预测值。这种评估标准主要关注整体
下一个10年智能经济的浮现
10
工业革命以前，人类认识世界的方法论处在初级阶段，占卜和宗教是人类应对不确定 性的重要依据。工业革命带来了一场革命，基于理论推理、实验验证、模拟择优的科 学极大地减少了人类面临的不确定性，为人类带来了百余年的繁荣。智能经济是使用 决策机制去应对不确定性的一种经济形态。产品、个体、组织、产业、世界都将完成 微粒化的解构和智能化的重组。
监督学习：涉及一组标记数据。计算机可以使用特 定的模式来识别每种标记类型的新样本。
无监督学习：数据是无标签的。由于大多数真实世 界的数据都没有标签，这些算法特别有用。
强化学习：使用机器的个人历史和经验来做出决 定。与监督和非监督学习不同，它更关注性能。
机器学习系统的基本原理
16
机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实 践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。
31
数据收集：根据业务场景需要，提取业务系统中或手工报表存储的数据，并利用各种手段 完善数据质量。
数据清洗：针对收集上来的数据进行验证，清洗字段不完整的数据或者由于突发事件造成 的数据噪点、干扰数据。
数据分析：据分析强调使用统计学方法，发现有用信息，支持决策，构造建设性结论。
数据挖掘：大数据关联性更加密切，利用人工智能，机器学习，统计学等知识，对于大型数 据集进行分析，发现规律，预测未来，辅助决策。 数据建模：是对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形 式等直至转化成现实的数据库。数据建模大致分为三个阶段，概念建模阶段，逻辑建模阶 段和物理建模阶段。
3）在这个节点的基础上 进行多局自我对弈，根据 多局对弈的胜负比率来估 算胜Z(SL)。最后使用Vθ （SL）和Z(SL)的加权平 均来估算此节点的胜率。
估算结果
Ý 完成落子
重复计算
5.之后再从St 开 始，仍然按照（1） 的规则重新搜索。
根据落子时间蒙特 卡洛结束计算完成 棋局落子
节点搜索来自百度文库
为什么要做数据类产品
MAPD= ������������ − ������������ / ������t
其中，At代表集合中某一个的实际值，Ft代表中某一个的预测值，此种评估方式的优点是较为客观地反映了预测绝对 值偏差情况，但存在的问题是可能受个别SKU预测偏差极大而影响整体的MAPD值。
36
谢谢观看！
预测平均的绝对偏差情况，但对预测模型的预测偏多还是偏少的情况难以体现，而且整体指标一定程度上受极差样
本的影响。
维度二、预测MAPD MAPD（mean absolute percent deviation）指标是计算某个周期内整体的绝对百分比偏差情况，这种方式解决了需求和
预测（供应链领域）量化的度量问题，其计算公式为：
40个在线网络平台 3000万个棋局
1200多个CPU
AlphaGo 物理组成
170多个GPU 专门铺设的赛事光缆
AlphaGo的神经网络结构
26
快速走子网络
是一个比较低水平但是计 算量也很小的神经网络；
专家训练网络
通过职业棋手对弈的棋局训 练出来的，它的激活函数和 具体的卷积核数量
自我提升网络
通过电脑自我对弈的大量棋 局进行提升训练后的网络
28
现在多数企业都上了ERP，但ERP本身不提供决策分析, 决策还是靠拍脑袋；企业现阶段需要数据分析 类产品提升供应链管理水平。
如何 供应、 供多
少
配送周期 与成本合
理吗
从哪 制造， 产多
少
需要多 少公司、 卖什么
消费者需 求变动。
趋势
适合卖那 些品类
阿里在B端场景应用
29
过去两年，阿里巴巴已经用技术为零售业（个人端、消费端的新零售）创造巨大价值，未 来这一价值将在制造业（产业端的新制造）、金融业进一步显现。
一般机器学习的应用
17
回归模型
回归是最流行的机器学习算法，线性回归算法是基于连续变量预测特定结果的监督学习算法。另 一方面，Logistic回归专门用来预测离散值。
例：如果有100平房子出售应该卖多少钱？
Y = aX + b Y:房价 X:面积
假设a = 0.75,b = 50， 则房价 = 100 * 0.75 + 50 = 125万。