模型驱动的深度学习（ADMM-net）

模型驱动的深度学习（ADMM-net ）

流程：模型族->算法族->深度⽹络->深度学习

模型族：模型中含有超参数，给予不同的参数对应不同的模型，就形成了模型族

算法族：每⼀个模型对应⼀个完整算法，整个模型族对应了⼀个算法族 将算法族展开成⼀个深度⽹络，⽹络层数代表迭代次数，模型的超参数成为⽹络中的参数（如权重等）。利⽤少量标记数据就可以训练⽹络。

相对于模型驱动算法的优势：

1、可以学习模型超参数，提⾼了模型的适应能⼒，提⾼精度

相对于数据驱动的优势：

1、⽹络的设计有模型指导

2、减少了数据需求量

3、减⼩了训练时间

⽐如核磁共振重建的ADMM 算法：

模型：

x ∗=arg max x {1

2||Ax −y ||2+∑L l =1λl g (D l x )}

ADMM 算法求解：

g ,λ,L ,D l 的不同选择形成了不同的模型，构成了模型族。⼴义拉格朗⽇函数：

ADMM 算法迭代更新过程：

令βl =αl

ρl ,A =PF (已知)，可得

S (⋅)是⼀个⾮线性shrinkage function 。S (⋅)通常是⼀个光滑函数。

⽹络结构：

包括重建层X(n)、卷积层C(n)=D l x(n)、⾮线性变换层Z(n)、乘⼦更新层M(n),其中⾮线性变换函数S可以⽤分段线性函数近似，只需学习插值点的函数值即可。

⽹络学习的参数：模型族中的超参数，每⼀层可以不⼀样。

⽹咯训练：

损失函数为

梯度下降法训练。

参考⽂献：

yangyan,sunjian,lihuibin,xuzongben, Deep ADMM-Net for Compressive Sensing MRI (NIPS2017)

https:///abs/1705.06869

Processing math: 100%