【CN110110861A】确定模型超参数及模型训练的方法和装置、存储介质【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910384551.5
(22)申请日 2019.05.09
(71)申请人 北京市商汤科技开发有限公司
地址 100084 北京市海淀区中关村东路1号
院3号楼7层710-712房间
(72)发明人 林宸　李楚鸣　
(74)专利代理机构 北京博思佳知识产权代理有
限公司 11415
代理人 林祥
(51)Int.Cl.
G06N 20/00(2019.01)
(54)发明名称
确定模型超参数及模型训练的方法和装置、
存储介质
(57)摘要
本公开实施例提供一种确定模型超参数的
技术和图像处理技术，有利于提升机器学习模型
的图像处理性能，其中，确定模型超参数的方法
包括：确定超参数的初始值；根据所述超参数的
初始值和样本图像集，通过并行的多个路径中每
个路径对初始机器学习模型进行M1次迭代训练，
得到所述每个路径的第一更新机器学习模型，基
于所述多个路径中每个路径的第一更新机器学
习模型的性能参数，将所述超参数的数值更新为
第一更新值；基于所述超参数的第一更新值和所
述样本图像集，对所述多个路径的第一更新机器
学习模型进行M2次迭代训练和所述超参数的进
一步数值更新，直至达到预设截止条件，获得所
述超参数的最终数值。

权利要求书2页 说明书21页 附图6页CN 110110861 A 2019.08.09
C N 110110861
A
权　利　要　求　书1/2页CN 110110861 A
1.一种确定模型超参数的方法，其特征在于，所述方法包括：
确定超参数的初始值；
根据所述超参数的初始值和样本图像集，通过并行的多个路径中每个路径对初始机器学习模型进行M1次迭代训练，得到所述每个路径的第一更新机器学习模型，其中，所述多个路径中不同路径的训练参数具有基于所述超参数进行采样得到的不同数值，M1大于或等于1且小于或等于第一数值；
基于所述多个路径中每个路径的第一更新机器学习模型的性能参数，将所述超参数的数值更新为第一更新值；
基于所述超参数的第一更新值和所述样本图像集，对所述多个路径的第一更新机器学习模型进行M2次迭代训练和所述超参数的进一步数值更新，直至达到预设截止条件，获得所述超参数的最终数值，其中，M2大于或等于1且小于或等于第一数值。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多个路径中每个路径的第一更新机器学习模型的性能参数，将所述超参数的数值更新为第一更新值，包括：基于所述多个路径中每个路径的第一更新机器学习模型的性能参数，确定所述每个路径的模型更新参数；
对所述多个路径的模型更新参数进行平均处理，得到平均更新参数；
根据所述平均更新参数，将所述超参数的数值更新为第一更新值。

3.根据权利要求1或2所述的方法，其特征在于，在所述基于所述多个路径中每个路径的第一更新机器学习模型的性能参数，将所述超参数的数值更新为第一更新值之前，所述方法还包括：
对所述多个路径中每个路径的第一更新机器学习模型的性能参数进行归一化处理；
所述基于所述多个路径中每个路径的第一更新机器学习模型的性能参数，将所述超参数的数值更新为第一更新值，包括：
基于所述归一化处理后得到的所述多个路径中每个路径的第一更新机器学习模型的性能参数，将所述超参数的数值更新为第一更新值。

4.根据权利要求1至3任一所述的方法，其特征在于，所述超参数包括用于对所述样本图像集进行图像增强处理的增强分布参数；
所述根据所述超参数的初始值和样本图像集，通过并行的多个路径中每个路径对初始机器学习模型进行M1次迭代训练，包括：
根据所述增强分布参数，确定增强概率分布，所述增强概率分布中包括多个图像增强操作的概率；
基于所述增强概率分布，由所述多个数据增强操作中采样所述并行的多个路径中每个路径的目标数据增强操作，对所述每个路径的至少一个样本图像进行图像增强处理，得到至少一个增强图像；
基于所述多个路径中每个路径的至少一个增强图像，对所述初始机器学习模型进行M1次迭代训练。

5.一种机器学习模型的训练方法，其特征在于，包括：
通过权利要求1至4中任一项所述的方法获得所述超参数的最终数值；
基于所述超参数的最终数值，训练具有初始模型参数的初始机器学习模型，得到目标
2。