基于神经网络集成的诺西肽分批发酵过程混合建模

基于神经网络集成的诺西肽分批发酵过程混合建模
牛大鹏;王福利;何大阔;贾明兴
【摘要】利用机理知识和神经网络集成方法建立诺西肽发酵过程模型.该模型以机理模型为基础,利用神经网络集成方法修正机理模型与过程输出之间的偏差.神经网络集成采用Bagging技术进行重复取样用于个体神经网络的训练,个体网络采用最常用的BP网络,各子网络的权重利用偏最小二乘回归方法确定.将所建模型与机理模型进行比较,结果表明该模型具有更高的精度.
【期刊名称】《计量学报》
【年(卷),期】2010(031)004
【总页数】5页(P364-368)
【关键词】计量学;神经网络集成;诺西肽发酵;混合模型;偏最小二乘回归
【作者】牛大鹏;王福利;何大阔;贾明兴
【作者单位】东北大学,流程工业综合自动化教育部重点实验室,辽宁,沈阳,110004;东北大学,信息科学与工程学院,辽宁,沈阳,110004;东北大学,流程工业综合自动化教育部重点实验室,辽宁,沈阳,110004;东北大学,信息科学与工程学院,辽宁,沈
阳,110004;东北大学,信息科学与工程学院,辽宁,沈阳,110004;东北大学,信息科学与工程学院,辽宁,沈阳,110004
【正文语种】中文
【中图分类】TB99
1 引言
诺西肽是一种典型的硫肽类抗生素，能促进动物的生长，且在动物体内无残留，是一种理想的动物饲料添加剂，但其存在发酵产量较低和生产效率不高的问题。

对诺西肽发酵过程进行优化是解决此类问题的有效途径，而此过程优化往往需要高性能的模型。

现有的发酵过程模型包括机理模型和黑箱模型等[1～3]。

机理模型可以直观地反映发酵过程的基本知识，但发酵是一个复杂的生化反应过程，即使耗费大量的人力、物力也难以建立精确的机理模型，一般只能在适当的简化之后建立初步描述发酵过程的经验模型，这使得机理模型的精度得不到保障。

黑箱模型通常采用神经网络等智能方法建立生化变量与环境变量之间的映射关系，在有充足建模数据的情况下，可以达到较高的精度，但是黑箱模型往往缺乏工艺指导，而且诺西肽发酵过程中也很难获得大量的建模数据。

为了保证诺西肽发酵模型的准确性以满足过程优化的需要，同时又使模型具有明确的物理意义，能够体现过程的基本知识，本文将机理建模与黑箱建模相结合，建立了诺西肽发酵过程的混合模型。

首先利用诺西肽发酵过程的基本知识进行机理建模，得到菌体、基质和产物的动力学模型；然后利用黑箱建模方法来补偿机理建模时一些未考虑因素对模型输出结果的影响，黑箱模型和机理模型并联构成混合模型的输出。

2 诺西肽发酵实验
菌种：活跃链霉菌，由沈阳药科大学生物制药与生物技术研究室提供。

发酵培养基组成：淀粉40.3%、黄豆粉55.5%、酵母粉0.5%、氯化钠2%、硫酸铵0.5%、硝酸钾1%、碳酸钙0.2%。

实验采用100 L搅拌式发酵罐。

按照发酵工艺提供的培养基配方，进行分批发酵
实验。

蒸气高温消毒后，在100 L发酵罐中装入培养液50 L，接种量6 L，罐压控制在35 Pa，发酵96 h后放罐。

发酵过程中环境变量数据采用传感器系统自动获取与存储，可在线测量的变量有温度、压力、pH值、溶解氧、搅拌转速和通气流量等。

生化变量每3 h取样一次，通过离线化验获得，离线测定的生化变量包括菌体浓度，基质浓度和诺西肽产物浓度。

3 诺西肽分批发酵机理模型的建立
由于发酵过程极其复杂，对其反应机理的认识尚不完全，目前针对发酵机理模型的研究均是在一些假定和简化处理下进行的[4]。

下面首先建立诺西肽分批发酵过程的菌体生长、基质消耗和产物生成的简化动力学模型。

在诺西肽分批发酵过程中，菌体生长主要受基质浓度、溶解氧浓度、菌体自身浓度以及温度和pH值的影响。

利用串联理论，综合上述因素对菌体生长的影响，得到菌体生长模型的表达式[5]
·
(1)
式中，X为菌体浓度，g/L；μm为最大比生长速率，1/h；K1、K2为常数；pH 为发酵液的pH值；S为基质浓度，g/L；KS为基质Contois饱和常数，g/L；CO为溶氧浓度，g/L；KO为溶解氧Contois饱和常数，g/L；Xmax为最大菌体浓度，g/L；T为温度，K；Ag为生长Arrennius常数；Eg为生长活化能，
kJ/mol；R为通用气体常数，J/(mol·K)；Kd为monod常数，g/L；Ad为死亡Arrennius常数；Ed为死亡活化能，kJ/mol。

诺西肽采用分批发酵时，碳源等基质按照工艺要求一次性加足，基质的消耗主要用于菌体生长和产物生成，在不考虑补料的情况下，基质消耗模型为[6]
···
(2)
式中，mS为维持因子，(g/g)/h；YX/S为菌体对基质的得率系数，g/g；YP/S为产物对菌体的得率系数，g/g；P为产物浓度，g/L。

Luedeking-Piret模型是一个普遍用于描述微生物代谢产物生成的经典模型。

它把产物生产率看作是菌体生长率和菌体量的函数，用数学式表示为[7]
αβX
(3)
式中，α为与菌体生长率关联的产物合成系数，g/g，在诺西肽发酵过程中，产物的生成与菌体生长速度无关，即α=0；β为比产物生成速率，g/(g·h)，可表示为[8]
β
(4)
式中，μP为最大比产物生成率h-1；KP和KI为抑制常数，g/L。

由于诺西肽属于小分子化合物，存在水解现象，所以诺西肽生成模型可表示为
(5)
式中，K为水解速率常数，h-1。

通过机理知识以及利用诺西肽发酵数据进行辨识，得到模型中的参数值如表1所示。

4 混合模型
在机理建模时进行了一些简化和假设，而且实际发酵过程常会受到外部扰动的影响而导致工况出现波动，从而机理模型与实际过程之间不可避免地存在偏差。

为了提高模型的精度，采用神经网络集成模型对机理模型进行修正。

以重要环境变量为模型输入，以机理模型输出与过程输出之间的偏差为输出，建立神经网络集成模型。

机理模型主要反映诺西肽发酵过程的基本规律，集成模型反映外界扰动、噪声对系统的影响以及机理模型无法描述的动态信息，模型结构如图1所示。

表1 模型参数参数μm/h-1K1K2KS/g·L-1KO/g·L-1Xmax/g·L-1Ag数值0 12240 10010-1010-50 18280 03520 8722参数Eg/kJ·mol-1R/J·(mol·K)-1Kd/g·L-
1AdEd/kJ·mol-1mS/(g·g-1)·h-1数值608 3140 03680 00193400 0624参数
YX/S/g·g-1YP/S/g·g-1μP/h-1KP/g·L-1KI/g·L-1K/h-1数值0 25420 68090 050 00020 100 0004
图1 混合建模结构
构造神经网络集成包括两个步骤，首先生成个体神经网络，然后将个体神经网络的输出进行结合[9]。

在生成个体神经网络方面，本文采用Bagging技术[10]生成训练样本集来训练个体神经网络。

用来生成神经网络集成模型的原始训练样本集是由环境变量U和机理模型输出与
过程输出之间的偏差ΔY组成，记为{U,ΔY}。

机理模型的输出为菌体浓度X(t)、基质浓度S(t)和产物浓度P(t)，故集成模型的输出对应为ΔX(t)、ΔS(t)和ΔP(t)。

环
境变量U是通过如下机理分析来选取的：诺西肽发酵需要在合适的温度T下进行，温度对菌体代谢具有调节作用，并会影响基质的消耗和产物生成的速度；pH值会影响培养基中某些营养物和中间代谢产物的解离，从而影响菌体生长、基质消耗和产物生成的进程；溶解氧CO是需氧微生物生长所必需的，培养液中的溶解氧和细胞内溶解氧之差形成了氧传递的推动力，溶解氧的变化也会大大影响发酵过程；压力对诺西肽发酵也有一定的影响，但由于在发酵过程中其保持恒定，所以不作为输入变量；搅拌转速和通气流量主要是通过影响溶解氧的大小而对发酵过程产生影响，在将溶解氧作为输入变量的前提下，可忽略它们的影响。

综上分析，选取T、pH
和CO作为输入变量。

构造神经网络集成时，先由原始训练样本集通过重复取样生成M个训练样本集
{U1,ΔY1},{U2,ΔY2},…,{UM,ΔYM}。

每个训练样本集分别训练相应的个体神经网络NN1,NN2,…,NNM，个体神经网络的输出分别记为Δ,Δ,…,Δ神经网络集成的输出结果由生成的个体神经网络的输出加权决定，记为ΔωmΔ
神经网络集成模型的结构如图2所示，个体神经网络选用BP网络。

在对每个BP 网络进行训练时，以环境变量前一时刻值Um(t-Δt)和机理模型前一时刻偏差值
ΔYm(t-Δt)为输入，以机理模型当前时刻偏差值ΔYm(t)为输出进行训练，直到神经网络收敛，得到网络的权值和阈值。

然后，将生成的个体神经网络的输出进行合成得到集成的输出结果。

图2 神经网络集成模型结构
5 神经网络集成的改进
个体神经网络的合成权重可以通过多元线性回归方法求得，但个体网络的输出结果之间存在严重的相关性，采用线性回归方法会影响集成模型的预测能力[11]，本文通过偏最小二乘回归(Partial least squares regression，PLSR)方法来确定权重。

PLSR是一种新型的多元统计数据分析方法，能够在自变量存在严重多重相关性的条件下进行回归建模[12]。

利用PLSR求取个体网络的合成权重时，令个体网络的输出[Δ,Δ，…，Δ构成自变量，神经网络集成的期望输出，即机理模型输出与过程输出之间的偏差ΔY作为因变量。

(1)将[Δ,Δ，…，Δ与ΔY进行标准化处理，记标准化后的自变量为E0，因变量为F0；
(2)记t1、u1分别为E0、F0的第一个主成分，t1=E0W1，u1=F0C1。

其中，
W1和C1为E0和F0的第一主轴，，令t1、u1分别能代表X与Y中数据的变异信息，同时t1对u1有最大的解释能力，可得，实施E0和F0在t1上的回归
E0=t1+E1，F0=t1r1+F1
(6)
式中，p1和r1为回归系数，即
，
(7)
运用交叉有效性判别法[13]，检查收敛性，若回归方程已达到满意的精度，则进行下一步；否则，令残差矩阵E1、F1取代E0、F0，求第二主轴和第二成分，进行
新一轮的成分提取和回归分析；
(3)假设在第m次主成分提取与回归后，回归方程满足精度要求，这时得到m个
成分t1,t2,…,tm，实施F0在t1,t2,…,tm上的回归，得
…+rmtm
(8)
由于t1,t2,…,tm均为E0的线性组合，因此可写成E0的线性组合形式，即
……
(9)
式中,，I为单位矩阵；
(4)按照标准化的逆过程，将的回归方程还原为ΔY对[Δ,Δ…Δ的回归方程。

从而可以得到个体神经网络的合成权重。

6 实验研究
用于模型训练和测试的数据来自诺西肽分批发酵实验。

共获得11批次的实验数据，任取其中10批次作为训练数据，剩余1批次用于测试。

任意选取训练和测试数据可以说明实验结果的可重复性。

由于不同过程变量的原始值相差较大，为避免小数据被淹没，采用以下方法对数据进行标准化处理
(10)
式中，xl(k)为第l个输入变量的第k个样本值。

(11)
(12)
式中，l=1,2,…,p,对应于输入变量；k=1,2,…,n,对应于样本个数。

建立混合模型时，首先利用训练数据计算机理模型输出与发酵过程输出之间的偏差。

构造原始的训练样本集{U,ΔY}，通过重复取样生成训练样本集，用于训练个体神经网络。

多次实验表明，当取个体BP神经网络的个数为8时，集成模型具有较优的性能。

在BP神经网络的建立中，网络结构采用一个隐含层，隐含层和输出层的激活函数分别取s型函数和线形函数。

增加个体网络的差异度，有利于提高集成网络的泛化能力[14]，为此各个体BP网络隐含层的神经元个数取为不同数量，分别在5～15之间随机选择。

图3 模型估计值与实验测量值比较图
利用测试数据对混合模型进行检验，验证结果见图3中虚线所示，并将机理模型
所得结果与之进行比较，如图中实线所示。

可见，混合模型能较好地描述发酵过程中生化变量的变化趋势，其精度高于单纯的机理模型。

同时，相比单纯的黑箱模型，混合模型能够更有效地体现出诺西肽发酵过程的基本知识。

利用测试数据分别对机理模型和混合模型的泛化误差进行检验，采用平均相对误差MRE表示，即
×100%
(13)
式中，yi为实际测量值；为子模型的估计输出；N为检验样本数。

计算得到混合
模型和机理模型输出值的平均相对误差见表2。

从表中可以看出，混合模型与机理
模型相比具有更高的精度。

表2 混合模型与机理模型误差比较模型机理模型混合模型菌体浓度测试误差10 5%2 86%基质浓度测试误差7 54%3 28%产物浓度测试误差6 8%4 11%
7 结论
发酵过程是一个复杂的生化过程，单纯使用机理知识对其建模，模型精度难以保证。

本文在机理建模的基础上，提出了神经网络集成与机理模型相结合的混合建模方法，利用神经网络集成对机理模型的输出偏差进行修正，以BP神经网络为个体网络，并采用偏最小二乘回归(PLSR)确定个体网络的合成权重。

这种建模方法既克服了
单纯机理模型精度不高的缺点，也避免了神经网络建模无法体现过程基本知识的不足。

实验结果表明，本文的混合模型与机理模型相比具有更高的精度，为发酵过程优化提供了更高性能的模型。

[参考文献]
[1]Khan N S, Mishra I M, Singh R P, Prasad B. Modeling the growth of Corynebacterium glutamicum under product inhibition in L-glutamic acid fermentation[J].Biochemical Engineering Journal,2005,25(2):173-178.
[2]Primož Potožnik,Igor Grabec.Empirical modeling of antibiotic fermentation process using neural networks and genetic
algorithms[J].Mathematics and Computers in Simulation,1999,49:363-379. [3]Chen L Z,Nguang S K, Chen X D.Modelling and optimization of fed-batch fermentation processes using dynamic neural networks and genetic algorithms[J].Biochemical Engineering Journal, 2004, 22: 51-61.
[4]臧荣春,夏凤毅.微生物动力学模型[M].北京:化学工业出版社,2003.
[5]张大鹏，王福利，何建勇,等.基于诺西肽分批发酵的过程建模[J].系统仿真学
报,2006,18(8):2311-2313.
[6]Van Impe,Jan F M.Power and limitations of model based bioprocess optimization[J].Mathematic and Computers in Simulation.1996,42:159-169.
[7]Gülnur Birol, Cenk Ündey, Ali Çinar. A modular simulation package for fed-batch fermentation: penicillin production[J]. Computers and Chemical Engineering, 2002, 26: 1553-1565.
[8]Bajpai R,Reuss M.A mechanistic model for penicillin
production[J].Journal of Chemical Technology and Biotechnology, 1980, 30: 330-344.
[9]薛月菊，胡月明，杨敬锋. 基于SFAM神经网络集成的土地评价[J].农业工程学报,2008,24(3):184-188.
[10]周志华，陈世福.神经网络集成[J].计算机学报,2002,25(1):1-8.
[11]Zhang J,Morris A J ,Martin E B, et al. Inferential estimation of polymer quality using stacked neural networks,[J].Computers and Chemical Engineering, 1997, 21: s1025-s1030.
[12]李寿安,张恒喜,童中翔，等.偏最小二乘回归在军用飞机价格预测中的应用[J].航空学报,2006,27(13):600-604.
[13]王惠文.偏最小二乘回归方法及其应用[M].北京:国防工业出版社,1999.
[14]Wolpert D H,Macready W G.An efficient method to estimate bagging’s generalization error[J].Machine Learning,1999,35(1):41-55.。