数据分析与机器学习

IoT是一个新的转折点

硬件成本降低连接遍布四周开发更加容易

递增需求带来

的巨大收益创新的场景

物联网数据走向智能

机器学习与离

线分析

Churn

analysis

Social network

analysis

Recommenda-

tion engines

Location-

based

tracking and

services

Weather

forecasting

business

planning

Fraud

detection

Equipment

monitoring

Personalized

Insurance

云计算提供

实时分析能力

数据在增长

Cortana Intelligence Suite 大数据存储Azure SQL Data Warehouse

Azure Data Lake 信息管理机器学习Azure Data Factory

Azure Data Catalog Azure Event Hub Azure Machine Learning 人工智能

Cortana Bot Framework Cognitive Services 可视化Power BI 智能

高级分析Azure HDInsight (Hadoop)

Data Lake Analytics Azure Stream Analytics 智能数据展示

典型IoT流模式

索引数据库Cortana

认知服务

Stream Analytics

▪定义

高效实时的复杂事件处理引擎

▪输入输出

输入：Storage Blob / Event Hub / IoT Hub

输出：SQL DB / Blob / T able / Document DB

Event Hub / Queue / T opic

Power BI

▪数据实时分析手段

类SQL的查询：在线编写脚本

直连机器学习Web服务

▪处理能力

事件吞吐量1GB/s

输入输出

复杂时间处理器

Stream

Analytics

Data

Stores

Event

Hub

Data Stores

仪表板

传感器和设备

Event

Hub

Machine

Learning

SQL查询

SELECT time, temp, dspl INTO output

FROM input where dspl=“sensorA”

管道

过滤网流流

自主发现隐藏规律无需干预的行为预测

针对海量数据应用更智能•定义

使用计算机运行算法模型

从海量数据中发掘隐藏规律

预测未来行为和趋势•优势

针对海量数据

很多问题无法通过显性指令集解决，机器学习可以

效率几何倍数提高

自我学习，不断提高

名字

账单欺诈Smith

$2,600.45否Potter $2,294.58是

Peters

$1,003.30是Adams

$8,488.32否名字

账单颁发地消费地年龄欺诈Smith $2,600.45

美国美国22否Potter $2,294.58

美国俄罗斯29是Peters $1,003.30

美国俄罗斯25是Adams $8,488.32

法国美国64否Pali $200.12

澳大利亚日本58否Jones $3,250.11

美国俄罗斯43否Hanfor d $8156.20

美国俄罗斯27是Marx

$540.00

英国德国32否Norse

$7,475.11美国俄罗斯27否信用卡欺诈行为检测：

这是个椅子吗？

原始数据库

全托管整合最优算法分钟级部署

无软件安装，硬件管理，只需网站简单的拖拉拽，连接数据

接口，无需为通用任务编

程。.

基于最优实现的各类算

法. 支持R和Python扩展。

点击即可操作模型，在

Machine Learning

Marketplace内收费。

Azure Machine Learning Service 数据-> 预测模型-> 分钟级可操作Web API

Blobs and Tables

Hadoop (HDInsight)

关系型DB (Azure SQL DB)数据客户端

可调用的

Web

服务

通过marketplace 消费API

API

机器学习开发环境

ML STUDIO

异常检测回归聚类

多类分类

两类分类设备有

无故障

信用卡

欺诈

用电量估算顾客行为分类

糖尿病

分类

其他功能模块

机器学习评估

交叉验证/参数扫描/模型评估

数据处理

滤波/采样/归一化

特征选择

主成分分析/Fisher线性判别/相关性/排序其他模块

OpenCV/统计/文本分析