一种神经网络的激活函数计算量化方法[发明专利]

专利名称：一种神经网络的激活函数计算量化方法专利类型：发明专利
发明人：周还,张来,王福君
申请号：CN202110243446.7
申请日：20210305
公开号：CN112749803A
公开日：
20210504
专利内容由知识产权出版社提供
摘要：一种神经网络的激活函数计算量化方法，包括如下步骤:S1：确定线性放大系数a;在计算所需区间内,计算函数各点导数,导数最大处斜率作为线性放大系数;S2：计算1/a，2/a.....n/a的激活结果作为查表的结果；其中n=()；S3：计算X=INT(in*a)，其中in为输入值，INT表示取整，根据得到的X 值，在步骤S2中查出对应的Y值。

本发明既可在计算时保持一定输入范围和精度，又可以在计算完成之后，对结果进行量化，以便于进行下一次的计算;对于常用的激活函数而言，其输出结果分布在一个有限域内，因此对齐进行量化可采用均匀量化的方法。

激活函数输入分布范围较大，且对于值域影响敏感的范围却又很小。

申请人：成都启英泰伦科技有限公司
地址：610041 四川省成都市高新区天府五街200号菁蓉汇4号楼A座12层
国籍：CN
更多信息请下载全文后查看。