智能计算与生物信息处理

7
课题组所涉及的智能计算方法
神经网络(Neural 神经网络(Neural Networks, NN) 前向传播神经网络(Froward 前向传播神经网络(Froward Propagation NN) 径向基神经网络(RBF 径向基神经网络(RBF NN) B样条神经网络(B-Spline NN) 样条神经网络(B小波神经网络(Wavelet 小波神经网络(Wavelet NN) 递归神经网络 (Recurrent NN) 自组织映射神经网络(Self自组织映射神经网络(Self-Organization Map NN) 柔性神经树 (Flexible Neural Tree) 神经网络的集成 (Ensemble of NNs) 分层神经网络 (Hierarchical NNs)
15
解微分方程
一般采用四阶定步长Runge-Kutta算法计算解常 一般采用四阶定步长Runge-Kutta算法计算解常 微分方程。该算法结构简单。求解方法如下： 微分方程。该算法结构简单。求解方法如下： 首先定义四个附加变量： 首先定义四个附加变量： K1 = f(x(t),t) K2 = f(x(t+hk1/2),t+h/2) k3 = f(x(t+hk2/2),t+h/2) k4 = f(x(t+hk3/2),t+h/2) 其中： 为计算步长， 其中：h为计算步长，在实际应用中该步长是一 个常数，这样由四阶Runge-Kutta算法可以由当 个常数，这样由四阶Runge-Kutta算法可以由当 前状态变量xt的值求解出下个状态变量 的值求解出下个状态变量xt+1的值 前状态变量xt的值求解出下个状态变量xt+1的值 x(t+1) = x(t) + h(k1/6 + k2/3 + k3/3 +k4/6)
优化算法 - 参数进化优化算法：遗传算法(Genetic Algorithm)，进化 参数进化优化算法：遗传算法(Genetic Algorithm)， 规划(Evolutionary Programming)， 规划(Evolutionary Programming)，进化策略 Strategy），粒子群优化算法(Particle ），粒子群优化算法 （Evolutionary Strategy），粒子群优化算法(Particle Swarm Optimization)，蚂蚁算法(Ant Colony)，免疫优 Optimization)，蚂蚁算法(Ant Colony)， 化算法(Immune Algorithms)，分布估计算法(Estimation 化算法(Immune Algorithms)，分布估计算法(Estimation of Distribution Algorithms)等等； Algorithms)等等 等等； - 树结构进化优化算法：遗传编程（Gnentic 树结构进化优化算法：遗传编程（ Programming） 概率增强程序进化(Probabilistic Programming）,概率增强程序进化(Probabilistic Incremental Program Evolution)，语法引导的遗传编程 Evolution)， (Gramer(Gramer-Guided Genetic Programming)，基因表达式编 Programming)， 程(Gene Expression Programming)，多表达式编程 Programming)， (Multi Expression Programming)，分布估计编程 Programming)， (Estimation of Distribution Programming)等； Programming)等 - 图结构进化算法：进化图或进化网络。 图结构进化算法：进化图或进化网络。
13
分层TS模糊系统的自动优化设计
Our Ideas: • Tree-structure based encoding • The specific function operators • Tree-structure based EA for hierarchical structure optimization • Parameter optimization
智能计算与生物信息处理
陈月辉 济南大学信息科学与工程学院 Tel： Tel：82767581 yhchen@ujn.edu.cn http://cilab.ujn.edu.cn
Outline
智能计算 – 科学问题、内容和发展 科学问题、 生物信息学与系统生物学 – 问题和需要 使用智能计算方法解决生物学问题 – 例子 未来的计划
8
Flexible Neural Tree (FNT)
x − ai 2 f (ai , bi ; x) = exp(−( ) ) bi
Hale Waihona Puke Baidu
Some of function operators and a FNT tree. - A flexible neuron operator - A general representation (encoding) of the FNT model, where the used function set is and the terminal set
4
智能计算相关的研究课题（2）
机器学习 - 多示例学习（Multi-instance learning）及其应用 多示例学习（Multilearning） - 增强学习（Reinforcement learning）及其应用 增强学习（ learning） - 流形学习（Manifold learning）及其应用 流形学习（ learning） 统计学习理论及SVM 统计学习理论及SVM 数据挖掘（ mining） 数据挖掘（Data mining） Web智能及其应用研究 Web智能及其应用研究 脑机工程（BME） 脑机工程（BME）研究 主成分分析（PCA） 主成分分析（PCA）及其应用
9
神经网络的集成
集成学习（ 集成学习（Ensemble Learning）是一种机器学习范式， ）是一种机器学习范式， 它使用多个（通常是同质的） 它使用多个（通常是同质的）学习器来解决同一个问题
集成学习中使用的多个学习器称为个体学习器 集成学习中使用的多个学习器称为个体学习器 当个体学习器均为决策树时，称为“决策树集成” 当个体学习器均为决策树时，称为“决策树集成” 当个体学习器均为神经网络时，称为“神经网络集成” 当个体学习器均为神经网络时，称为“神经网络集成”
2
什么是智能计算
智能计算是指人工智能、计算智能、 智能计算是指人工智能、计算智能、机器学习等 学科或研究方向中的模拟人的智能和动物智能的 算法部分。 算法部分。 智能计算目前是计算机和自动化等学科研究中的 国际热点研究领域 研究领域。 国际热点研究领域。
3
智能计算相关的研究课题（1）
进化计算(Evolutionary 进化计算(Evolutionary Computing) 神经计算(Neural 神经计算(Neural Computing) 模糊计算和粒度计算 (Fuzzy Computing) 分层计算智能模型 (Hierarchical CI) 反向工程(Reverse 反向工程(Reverse Engineering) 概率图模型（PGM） 概率图模型（PGM） - 马尔可夫逻辑网络（Markov Logic Network） 马尔可夫逻辑网络（ Network） - 动态贝叶斯网络(Bayesian Networks) 动态贝叶斯网络(Bayesian - 马尔可夫随机场（Markov Random Field）及其 马尔可夫随机场（ Field） 应用 复杂网络及其应用研究 (Complex Networks) 集成学习（ learning） 集成学习（Ensemble learning）及其应用
14
动力系统的反向工程
微分方程是含有自变量、未知函数及其导数( 微分方程是含有自变量、未知函数及其导数(或 微分)的方程。在自然界和技术中的许多领域， 微分)的方程。在自然界和技术中的许多领域， 例如物理学、化学、生物学、 例如物理学、化学、生物学、自动控制和电子技 术等，大量问题都可以用微分方程加以描述。 术等，大量问题都可以用微分方程加以描述。它 是最常用的一种动态系统模型。 是最常用的一种动态系统模型。 微分方程分为常微分方程和偏微分方程， 微分方程分为常微分方程和偏微分方程，常微分 方程描述的系统通常称为集中参数系统，主要表 方程描述的系统通常称为集中参数系统， 现以时间参数为自变量的系统。 现以时间参数为自变量的系统。偏微分方程描述 的系统称为分布参数系统， 的系统称为分布参数系统，主要表现为具有多个 自变量的系统。 自变量的系统。
16
模型的数学描述
首先定义矩阵A 首先定义矩阵A ∈R m×n的模为 m×
假设一动态系统是由n 假设一动态系统是由n个相互关联的函数 x1(t),x2(t),...,xn(t)加以描述 x1(t),x2(t),...,xn(t)加以描述。已观测到该系统在 加以描述。 时间ti t0+i×△ ×△t(i=0,1,2,…,m-1)的一系列数据 时间ti = t0+i×△t(i=0,1,2,…,m-1)的一系列数据 为
1 1 1 2 2 1 2 2 1 1 1 2 2 1 2 2
12
分层TS模糊系统
Incremental or cascade architecture
Aggregated architecture
Tasks: (1) Determination of the hierarchical structure (2) Determination of the type of submodels (2) Parameter identification (3) Input/feature selection for each sub-models.
…… ……
Problem Problem
… ... … ...
10
分层神经网络结构
RBF-NN B-spline NN Wavelet NN …..
Bottom-up
11
智能计算方法 – 模糊系统
模糊系统
TS Fuzzy rule base:
1 if x1 is A1 and x2 is B1 then y1 = p1 + p1 x1 + p1 x2 0 2 2 2 if x1 is A1 and x2 is B2 then y2 = p0 + p12 x1 + p2 x2 3 3 if x1 is A2 and x2 is B1 then y3 = p0 + p13 x1 + p2 x2 4 4 if x1 is A2 and x2 is B2 then y4 = p0 + p14 x1 + p2 x2
5
智能计算相关的科学问题
分类和聚类问题（图像处理和模式识别等） 分类和聚类问题（图像处理和模式识别等） 复杂优化问题 函数逼近问题 时间序列预测问题 发现（新奇点发现、离群点检测、Motif发现等 发现等） 发现（新奇点发现、离群点检测、Motif发现等） 控制问题 决策问题
6
课题组所涉及的智能计算方法
问题：能否自动构建系统的微分方程？ 问题：能否自动构建系统的微分方程？
17
其中t 为起始时刻， 为时间间隔， 其中t0为起始时刻，△t为时间间隔，xj(ti)(j = 1,2,…,n)表示变量 1,2,…,n)表示变量xj在ti时刻的观测值，记 表示变量x 时刻的观测值， X(t) = [x1(t),x2(t),...,xn(t)]， (t)]， f(t,X) = [f1(t,X),f2(t,X),…,fn(t,X)]。 (t,X)]。 其中f 其中fj(t,X) = fj(t,x1(t),x2(t),…,xn(t))(j = 1,2,…,n) 是由初等函数的复合函数来表示的。 是由初等函数的复合函数来表示的。 常微分方程组的建模问题就是求 dX/dt = f(t,X) 使得||X-X*||最小 最小。 使得||X-X*||最小。
The output of the fuzzy system:
µ A ( x1 ) µ B ( x2 ) y1 + µ A ( x1 ) µ B ( x2 ) y2 + µ A ( x1 ) µ B ( x2 ) y3 + µ A ( x1 ) µ B ( x2 ) y4 y= µ A ( x1 ) µ B ( x2 ) + µ A ( x1 ) µ B ( x2 ) + µ A ( x1 ) µ B ( x2 ) + µ A ( x1 ) µ B ( x2 )