估计牦牛体尺、体重的方法和相应的便携式计算机设备的生产技术

本技术提出一种基于3D视觉估计牦牛体尺的方法，包括：利用图像采集设备采集牦牛的侧面图像；由侧面图像提取前景图像；在所提取的前景图像中识别牛体关键点；利用被识别的牛体关键点信息，自动提取牦牛体尺信息。还提出一种基于3D视觉估计牦牛体重的方法，包括执行前述基于3D视觉估计牦牛体尺的方法；以提取的牦牛体尺信息作为输入，利用牦牛体重估计模型，预测牦牛体重值。替换地，又提出一种基于3D视觉估计牦牛体重的方法，包括：利用图像采集设备采集牦牛的侧面图像；由侧面图像提取前景图像；利用卷积神经网络从前景图像直接预测体重值。本技术还提出一种相应的便携式计算装置。

权利要求书

1.一种基于3D视觉估计牦牛体尺的方法，包括以下步骤：

-利用图像采集设备采集牦牛的侧面图像；

-由侧面图像提取前景图像；

-在所提取的前景图像中识别牛体关键点；

-利用被识别的牛体关键点信息，自动提取牦牛体尺信息，

其中，所述识别牛体关键点步骤利用神经网络深度学习方法进行，其中，所述神经网络深度学习方法利用CNN卷积神经网络，其中，利用已经人工标注关键点的一定数量的图像信息，使用X、Y、Z、R、G、B六个通道，将图像按照空间结构排列成矩阵作为输入，人工标注的关键点的X、Y、Z坐标作为输出，使用CNN卷积神经网络进行训练，得到模型；利用模型实现体尺关键点的自动获取。

2.如权利要求1所述的方法，其中，所述提取前景图像步骤包括利用侧面图像的原始点云的3D信息进行牛体前景图像的初步提取步骤。

3.如权利要求2所述的方法，其中，所述初步提取步骤包括：

-删除噪点，并做降采样处理；

-识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；

-按距离聚类，提取牦牛牛体点云。

4.如权利要求2或3所述的方法，其中，所述提取前景图像步骤还包括优化提取步骤，在所述初步提取步骤获得的前景图像基础上，借助牦牛身体的彩色信息，通过设定颜色阈值，获得优化的前景图像，其中，所述颜色阈值可动态调节。

5.如权利要求1所述的方法，其中，所述识别牛体关键点步骤利用人工辅助标注进行。

6.如权利要求1所述的方法，其中，所述CNN卷积神经网络为三层CNN卷积神经网络。

7.如权利要求1所述的方法，其中，识别16个牛体关键点，分别位于嘴部、牛头上边缘、牛头下边缘、颈部上边缘、颈部下边缘、耆甲最高点、肩胛前端、背部、腹部、臀部、后腿上部、足部左前、足部右前、足部左后、足部右后、尾部外边缘。

8.如权利要求1所述的方法，其中，在自动提取牦牛的体尺信息时，将被识别的牛体关键点信息与原始点云图像结合以进行提取。

9.如权利要求1或8所述的方法，其中，所提取的牦牛体尺信息包括体厚、背高、体高、臀高、腿高、平均体高、体长、体斜长、腹部周长、腿间距、最大腹宽、平均腹宽、侧面表面积中的若干个或全部。

10.如权利要求9所述的方法，其中，体长、体斜长、最大腹宽、平均腹宽、腹部周长、腿间距和平均高度是牛体上的曲线长度。

11.如权利要求1所述的方法，其中，所述图像采集设备与平板电脑或智能手机以有线或无线的方式相连或安装于其上。

12.如权利要求1所述的方法，其中，所述图像采集设备是立体摄像头或两个彩色摄像头。

13.一种基于3D视觉估计牦牛体重的方法，包括以下步骤：

-执行如权利要求1至12中的任一项所述的基于3D视觉估计牦牛体尺的方法；

-以提取的牦牛体尺信息作为输入，利用牦牛体重估计模型，预测牦牛体重值。

14.如权利要求13所述的方法，其中，基于所述牦牛体尺信息、牛体关键点坐标、牛的自然情况，利用单一的机器学习回归模型或集成学习方法训练预测牦牛体重的模型。

15.如权利要求14所述的方法，其中，所述单一的机器学习回归模型利用随机决策森林算法。

16.如权利要求14所述的方法，其中，所述集成学习方法利用Stacking方法结合随机决策森林、线性回归、高斯过程回归、神经网络学习算法中的一个或多个。

17.一种基于3D视觉估计牦牛体重的方法，包括以下步骤：

-利用图像采集设备采集牦牛的侧面图像；

-由侧面图像提取前景图像；

-利用卷积神经网络从前景图像直接预测体重值，

其中，使用X、Y、Z、R、G、B六个通道，将图像按照空间结构排列成矩阵作为输入，体重值作为输出，构建CNN卷积神经网络进行训练，得到体重预测模型。

18.如权利要求17所述的方法，其中，所述提取前景图像步骤包括利用侧面图像的原始点云的3D信息进行牛体前景图像的初步提取步骤。

19.如权利要求18所述的方法，其中，所述初步提取步骤包括：

-删除噪点，并做降采样处理；

-识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；

-按距离聚类，提取牦牛牛体点云。

20.如权利要求18或19所述的方法，其中，所述提取前景图像步骤还包括优化提取步骤，在所述初步提取步骤获得的前景图像基础上，借助牦牛身体的彩色信息，通过设定可动态调节的颜色阈值，获得优化的前景图像。

21.如权利要求17所述的方法，其中，所述CNN卷积神经网络为五层CNN卷积神经网络。

22.如权利要求17所述的方法，其中，所述图像采集设备与平板电脑或智能手机以有线或无线的方式相连或安装于其上。

23.如权利要求17所述的方法，其中，所述图像采集设备是立体摄像头或两个彩色摄像头。

24.一种便携式计算装置，包括处理器、存储器和图像采集设备，所述图像采集设备可操作来拍摄牦牛的侧面立体图像，所述存储器上存储有计算机可执行指令，所述计算机可执行指令当被所述处理器执行时，操作来执行如权利要求1至12中的任一项所述的基于3D视觉估计牦牛体尺的方法或如权利要求13至23中的任一项所述的基于3D视觉估计牦牛体重的方法。

技术说明书

估计牦牛体尺、体重的方法和相应的便携式计算机装置

技术领域