机器学习及其应用

中医诊脉方法简介
• 脉诊的起源可追溯到公元前七世纪之前。 “至今 天下言脉者，由扁鹊也。” 《史记》 • 遵循中医“人体是一个由经络相连的整体”以及天 人合一的观点，通过“师承授受”的教育模式， 逐步发展为以形象口诀（如盘走珠，如按葱管,…） 为特征的28脉理论。
从三部九候到独取寸口
BC300 AD200
Make Tree: Training
Root
B
B+T
B
B+T
B
B+T
Test and Use Tree: Testing Root B+T B+T B+T B+T B+T
T
B+T
我个人应用机器学习的一点经验
• 基于脉博信号的中医诊断数据模型 – 特征信息提取 – 数据展示（无监督学习） – 分类算法（有监督学习） – 软件演示 • 金融时间序列分析 – 问题的数学与统计表述 – 数据展示（无监督学习） – 分类算法（有监督学习） – 软件演示
•
•
For all combinations of 2 indicators, we use the above rule to calculate the purity density of target in R, then choose the two predictors which has the highest density for the current node. Keep above procedure on going with the selected data B+T till stop.
如何用机器学习方法来从无确定性基本规律的 现象中做科学的归纳和演绎？
基于脉博信号的中医诊断数据模型
• 对大量不同人群用脉诊仪对脉搏信号取样，数字化后输入 计算机 • 用计算机从脉搏信号中提取属性，包括脉数（脉搏跳动次 数）及左右手寸关尺六部的脉位、脉力、各谐波的能量和 相位等等，共193个参数 • 用我们开发的实现PPT算法的软件平台，从这些参数中提 取有用信息来判断是否是正常人？高血压？肝硬化？妊娠 ？等等。软件随机选取80%的样本建模，20%用于测试。
AD1400
AD1700
已有脉象数据分析方法：时间域
费兆馥等编著的“现代中医脉诊学”人民卫生出版社06年1月版
主波 潮波 重博波
图2.5.2-2脉图的幅值和时值 • h1: 主波幅值； • h3: 重搏前波幅值； • h4: 降中峡幅值； • h5: 重搏波幅值； • t1: 急性射血期时值; • t4: 收缩期时值； • t5: 舒张期时值； • t: 脉动周期时值； • W: 主脉在h1上1/3处的时 值等。
最终特征参数
• 12个谐波的能量分布（%）及相位
bk bk 1 1 Ak a b , k arcsin , if ak 0; ( arcsin ), if ak 0. 2k Ak 2k Ak
2 k 2 k
• 脉数（心率）、脉位（周期起始值）和脉力（h1） • 时域参数t1，t4，h4/h1，t5，h5/h1 • 每个案例中，使用同一的脉数，但左右手、寸关尺 六部位上各取一个上述参数，共有6x32+1=193个 参数
生物物理 生物化学
统计
信 息 化 时 代
新兴交叉学科
数字信号处理 信息生物学 生物力学 生物光子学 …… ……
计量经济学 数量金融工程 统计机器学习
信息时代是一个需要和产生通才的时代。机器学习 是需要和培养通才的领域。
机器学习演化及联系
概率论 统计 信息论 数字信号处理 通讯…… 计算机科学 人工智能 数据挖掘 神经元网络
机器学习仍旧需要假设，但它又时时对所做假设抱有怀疑态度， 在建模中就不断用数据检验，最终以是否符合新的数据为标准。
机器学习大观
机器帮我们学习
无监督学习
数据展示
我们教机器学习
有监督学习 数字信号处理 最小二乘，k近邻法 生物信息学 岭回归，Lasso
交叉验证，Bootstrap 树状图，AdaBoost 随机森林 计量经济学 神经元网络…… 回归与分类(classification)
Baidu Nhomakorabea
28脉及其像图、传感器及计算机系统、实验研究、临床研究
单个脉象周期的特征参数提取
单个周期的脉压信号（兰）、它的平均值（绿）及模型拟合（红） 0.025 0.024 0.023 0.022 0.021 0.02 100 200 300 400 500 600
均值
基波相位
x 10 2 1.5 1 0.5 二次谐波振幅 0 -0.5 -1
统计机器学习：实践与理论的互动循环
概率论 演 绎
统计 验证 数据 归 纳
数学模型
假设
• 抽象思维的演绎能力使人类得以构建理论王国。她是有用的，在信息 时代也是客观存在的。建于0-1逻辑及存储基础上的计算机就是一个 严格的理论世界。各种软件都是基于0-1逻辑基础上演绎出来的。 • 演绎的结果是否正确，取决于前提假设。正确的假设只能从实际中归 纳出来。假设是否正确，可由她演绎出来的结果与实际是否相符来检 验。 • 机器学习既能帮我们从数据中归纳出假设（无监督学习），也能帮我 们在数据和假设的基础上演绎出数学模型来（有监督学习）。同时， 她在建模的过程中就强调验证，用验证来选择模型。模型最终是否正 确，还要新数据来检验。
决策树
超重
正常 超重
正常
实例：检测垃圾邮件
建树方法 1. 选择垃圾邮件中最可能出现的关 键字符，例如$,hp,！,…. 2. 根据历史数据中这些字符在垃圾 邮件和正常邮件中出现的频率， 制定相应规则(rule):当该字符出 现频率大于(或小于)某个值，就 认为该邮件是垃圾或正常邮件。 3. 决策树由一系列规则串联组成， 形成一个倒垂的树状结构。 要点 1. 如何选择关键字符？ 2. 如何选择变量和阈值？ 3. 树延伸到何处停止？ 常用算法 CART(Classification and Regression Tree), ID3, C4.5, C5.0,… From “The elements of statistical learning” by Hastie etc.
机器学习及其应用
黄大威 2014年5月
机器学习是新兴学科演化的产物 机器学习的主要内容 机器学习的基本方法 机器学习的应用
• • 中医脉诊 金融时间序列
1. 2. 3. 4.
5. 总结
天下大势，合久必分，分久必合。
自然哲学（前科学） 农业 数学 工业 概率 物理 西方 化学 生物 西医 中医 中国 算学 历法
PPT的规则
• Basic rule: Let PT be the PCA transform matrix of the TARGET data class, X be the total data, the accept region is the parallelgram:
R : Min T PT X MaxT
B+T B
Feature Selection From p(p-1)/2 combinations choose the one with highest purity density B B Root B+T B+T
T
PPT的自变量选择
• We use 54(1+d) technical indicators, including MACD, MAd, RSI and RSV with different parameters, as the predictors for peaks or troughs, here d is the delay time unit (day). • For each k(=2) combination of these predictors, find the tight region rounding up all targets by its PCA transform. • Exhaustive search for all combinations to get the best predictor combination with highest purity percentage for targets inside the region.
ˆ ( x) x( X T X )1 X T Y Y
方法介绍2：线性模型估计与认证
• 传统统计主要用最小二乘做参数估计；机器学习介绍了Ridge及 Lasso等收缩估计以避免过拟合，具有鲁棒性。 • 传统统计对变量选取有大量研究，如t-或F-检验，逐步回归；较近代 有AIC，BIC，MDL等。机器学习更多使用交叉认证及Bootstrap，但 也不排除使用前述方法。
画图
聚类(cluster) 主元素分析 ……
……
增强学习 考虑效果与控制 规划
方法介绍1：最小二乘与K近邻法
• 最小二乘源于统计，是线性模型在高斯白噪声情况下均方误 差意义最优解，在很一般性质噪声情况下也有相容解。 • K近邻法源于工程，但广泛条件下它收敛于条件期望，后者 是最小均方误差意义下的最优估计。 • 两种方法均用于机器学习，优劣不可一概而论。一般而言， 最小二乘适用于简单问题， K近邻法适用于复杂问题。
金融市场数据分析的软件平台
总结：机器学习方法示意图
数 据 数 据 数 据 现 实 世 界
概率分布 理 想 王 国
目标函数
专业知识
模型
验证
真实参数
测试
In God we trust, all others bring data. W.E. Deming 我们信奉理论，但理论也需要实践来检验。
参考资料
优点：
• • 利用频域参数及心率可相当准确地复原脉图，从而可产生任何时域参数 比简单傅里叶变换更精确
缺点：参数的医学生物物理意义不明确
使用无创、方便、简易、便携的诊断方法将是各国医改成功的关键！
探测金融市场的变化趋势
• 经济学理论对市场有不同认识，如2013年诺贝尔经济奖。 • 我们的研究结果支持市场还是在一定程度上可预测的。普遍 运用的技术分析(Technical Analysis)方法是这一研究方向上 的前驱，正在兴起的量化方法(Quantitative Analysis)就是将 机器学习和数据挖掘的方法运用于金融大数据中的试尝。 James Simons的故事。 • 在本例中，我们运用PPT方法分析目标(价格波动的顶和底) 对属性(各种技术分析中使用的指标，如具有不同参数的滑动 平均MA,RSI,MACD,RSV,…，等等共54xK个,K为延迟)的关 系，从而预测金融市场价格波动的顶和底。
机器学习
• 凡是从数据中自动分析获得规律，并利用规律对未知数据进行预测的 方法都在机器学习的研究范围中。 • 无论是获得规律，还是利用规律做预测，主要对象是随机现象，因此 统计方法是机器学习的主要工具。然而，作为交叉学科，与信息论， 计算机科学及它们衍生的应用学科都有关联；作为研究和使用规律的 学科，机器学习比这些应用学科研究对象(如数据挖掘)更广。 • 反过来，由于信息及计算机科学与应用方面的参与，机器学习也创造 了很多新方法，促进了统计的发展。
-3
模型中所用的12次谐波，拟合数据为这些谐波及上图中平均值之和
基波振幅
二次谐波相位
100 200 300 400 500 600
对划分后的周 期信号减去均 值后，根据它 的周期构造前 W(不超过12） 次谐波，用 DFT得到 Fourier系数。 由Fourier系数 即可构成单个 周期的模型。
-1.5 -2
• 统计学习基础：数据挖掘、推理与预测，黑斯蒂等，电子 工业出版社，2007 • “The elements of statistical learning – Data miming, inference and prediction” by Hastie, Tibshirani and Friedman, 2nd Edition, Springer，2009 • 机器学习导论(计算机科学丛书) Ethem Alpaydm， 机械 工业出版社 2009 • http://video.chaoxing.com/teacher_1688.shtml • http://videonew.nlic.net.cn:83/videoinfo.asp?id=1727
交叉认证
• 传统统计得到估计量后常研究它对真实参数的收敛性；机 器学习往往不假定真实模型的存在。 • 个人看法：应假定随尺度而变的近似模型。
方法介绍3：决策树
• 在机器学习中，决策树是一个预测模型，他代表的是对象属 性与对象值之间的一种映射关系。 • 例子：根据属性X1和X2对对象Y分类：Y=1超重，Y=2正常， X1 为饭量， X2为运动量。
方法创新：主元素纯洁树 PPT
1. 结构：二元树，数据分为目标T 与 背景B。 2. 规则：用主元素分析的方法在 有监督学习中分步剔除B。 3. 选择：用主元素法选取能最大 限度剔除B的自变量(参数、属 性)组合。 4. 检验：用预留数据检查树的效 能，决定树的修剪和停止。 5. 软决策：用近邻法给出各个样 本属于T类的概率估计。