一种基于深度学习的精子尾部识别方法

TECHNOLOGY AND INFORMATION
162 科学与信息化2022年1月上
一种基于深度学习的精子尾部识别方法
关天下 傅彰凯(通讯作者)
四川大学华西第二医院 四川 成都 610041
摘 要 精子数量的多少是衡量男性生殖能力的重要指标，传统方法是通过显微镜和摄像系统放大并采集显微镜下动态图像，对图像中的精子进行计数或识别，但由于精液中含有很多的非精子成分（圆细胞、杂质等），会影响到对精子数量的判断。

通过实验证明，本方法取得了比较好的效果，优点是通过精子尾部的识别，过滤掉精液中的非精子细胞或杂质，清晰的地呈现精液中的精子数量，为临床提供了很好的数据支撑。

关键词 深度学习；精子尾部形态；人工智能
A Method of Sperm Tail Recognition Based on Deep Learning Guan Tian-xia, Fu Zhang-kai （corresponding author ）
West China Second University Hospital, Sichuan University, Chengdu 610041, Sichuan Province, China
Abstract The number of sperm is an important indicator to measure male reproductive ability. The traditional method is to magnify and collect dynamic images under the microscope through a microscope and camera system, and to count or identify the sperm in the image, however the semen contains a lot of non-sperm components (round cells, impurities, etc.), which will affect the judgment of sperm count. Experiments have shown that this method has achieved relatively good results. The advantage is that through the identification of the sperm tail, non-sperm cells or impurities in the semen are filtered, and the number of sperm in the semen is clearly displayed, which provides good data support for clinical practice.Key words deep learning; sperm tail morphology; artificial intelligence
引言
在20世纪80年代末基于精子质量计算机辅助分析技术得到了迅速发展。

人们发现利用计算机图像分析技术自动测量评估精子的各项数据有诸多优点，它不仅操作简单、分析速度快、计算精度高、可重复性好、为人工授精提供准确参考数据、提高了检验医生的检验水平减少了他们的工作量，而且可以克服传统测定方法中存在的缺点，比如耗时、测量精度差、人为主观性强等[1]。

基于图像语义分割的深度学习技术近年来得到了非常好的发展，本文就是在深度学习框架下提供了一种精子尾部识别方法，其优点是能够通过精子具有尾部的结构形态，过滤掉精液中的非精子细胞或杂质，清晰的呈现精液中的精子数量，具有良好的临床意义。

1 经典图像语义分割方法
1.1 FCN
FCN 是图像的像素级分类，来解决图像分割的问题。

FCN 是一种经典的语义分割方法。

和CNN 在卷积层上使用全连接层得到固定长度的特征向量来进行分类不同，FCN 可以接受任何分辨率的输入图像，采用反卷积层来对最后一个卷基层的特征
图来进行上采样操作，使得它变为和输入图像相同的分辨率，从而可以对每一个像素进行预测，并保留了原始输入图像上的空间信息，最后对特征图进行像素级分类。

图像经过多个卷积和一个最大池化变为pool1 feature ，宽高变为原来的1/2；pool1 feature 再经过多个卷积和一个最大池化变为pool2 feature ，宽高变为原来的1/4；pool2 feature 再经过多个最大池化和一个最大池化变为pool3 feature ，宽高变为原来的1/8；直到pool5 feature ，宽高变为原来的1/32。

再对pool5 feature 进行32倍的上采样，从而获得32x 上采样特征，再对32x 上采样特征每个点做softmax 预测获得32x 上采样特征预测，即分割图。

FCN 的优点主要有模型的拓展性简单和速度快；缺点是语义分割的结果不够精细和没有考虑像素直接的关系缺乏空间一
致性。

1.2 DeepLabV3+
DeepLabV3+是Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, Hartwig Adam 等人在2018年提出的。

其具体过程可以分为以下4步[2]：①将图片A 输入到改进后的深度卷积网络B 中进行特征提取，将会得到相应的语义特
TECHNOLOGY AND INFORMATION
科学与信息化2022年1月上 163
征C 和语义特征G ；②将语义特征C 传入到空洞金字塔池化模块ASPP 中，并分别和四个空洞卷积层进行卷积和一个池化层进行池化，从而会得到五个特征图，并将其合并成5层结构D 。

D 再和一个1×1的卷积层进行卷积后得到结构E; E 再通过上采样得到结构F ；③通过在深度卷积网络层中得到的一个与结构F 在分辨率上相同的语义特征图G ；经过1×1卷积后降低通道数使得和结构F 所占通道数一样，再与F 进行合并；④第3步中合并生成H ，然后通过一个3×3卷积进行细化操作；再通过双线性上采样将图像变为原来的4倍，最终得到语义分割的结果。

将语义特征C 传入到空洞金字塔池化模块ASPP 中，并分别和四个空洞卷积层进行卷积和一个池化层进行池化，从而会得到五个特征图，并将其合并成5层结构D 。

D 再和一个1×1的卷积层进行卷积后得到结构E ；E 再通过上采样得到结构F ；
2 本文使用到的相关算法模型
2.1 Faster_rcnn
Ross B. Girshick 在2016年提出了新的Faster RCNN ，Faster R-CNN 的训练，是在已经训练好的model （如VGG_CNN_M_1024，VGG ，ZF ）的基础上继续进行训练。

实际中训练过程分为6个步骤：
在已经训练好的model 上，训练RPN 网络，对应stage1_rpn_train.pt ；
利用步骤1中训练好的RPN 网络，收集proposals ，对应rpn_test.pt ；
第一次训练Fast RCNN 网络，对应stage1_fast_rcnn_train.pt ；第二训练RPN 网络，对应stage2_rpn_train.pt ；
再次利用步骤4中训练好的RPN 网络，收集proposals ，对应rpn_test.pt ；
第二次训练Fast_RCNN 网络，对应stage2_fast_rcnn_train.pt 。

首先使用Lableimg 工具对3000张原图进行人工标注，标注的原则是将精子头部框出，另尽量让精子头部和尾部相连接的点位框的中点，然后通过使用训练好的Fast_RCNN 模型得到精子头部和尾部相连接的点集合
，以及边界框
；
2.2 DeepLabV3+
DeepLabV3+是对物体进行语义分割。

其具体过程可分为3步[3]：①通过标注软件Labelme 对精子尾部进行人工标注；②通过标注好的数据，将其处理为.tfrecord 格式文件，在TensorFlow 框架下进行训练；③通过调用训练得到的模型来对精子尾部进行分割。

其中步凑2中进行训练时，要将训练的类别改为1类，训练的网络模型为xception_65，训练时图片的大小要设置为513×513，迭代次数设置为100000次，以保证训练足够充分，初始学习率为0.0001。

修改好参数后，运行训练命令，进行训练，等待最终模型生成。

3 基于深度学习的精子尾部识别方法
3.1 建立标准向量集
精子头部几何中心点和精子头部与尾部连接的点
组成每个精子的标准向量集
，该标准向量
集的向量方向就是该精子尾部分布的大概方向。

3.2 确定框内精子尾部部分
利用为中心点，建立一个7X7的网络窗口进行全环划动，通过
方法找到与同窗且为标准框内最近的点：，
本文以示意图中的尾部分布为例进行迭代计算，其中函数为求向量I 和向量L 的夹角，（程序表达式），p 为临时变量存储精子尾部点位坐标集。

3.3 确定框外精子尾部部分
和找款内精子尾部的方法类似，利用为中心点，建立一个7X7的网络窗口进行全环划动，通过方法找到与同窗且
为标准框外最近的点：
，
4 实验情况
Deeplabv3+和fcn 进行语义分割结果如下：
TECHNOLOGY AND INFORMATION
164
科学与信息化2022年1月上
图1 经典算法实验对比图
其中第一列为原图，第二列为Deeplabv3+语义分割图，第三列为fcn语义分割图，第四列为ground truth。

从上图可以看出，Deeplabv3+语义分割效果优于fcn的语义分割效果。

5 结束语
我们这里通过对Deeplabv3+和fcn语义分割的图像分别求得轨迹点，并对应到标注的图像中，统计在标记区域内轨迹点个数分别为num1和num2，并对标记的图像进行求轨迹点，记录轨迹点个数为num3，从而可以计算出Deeplabv3+和fcn语义分割图像对应原始标记图像中轨迹点的百分比。

其中第一列图像中标记图像求得轨迹点个数为1356，Deeplabv3+语义分割图像求得轨迹点个数为1195，则百分比为88.13%，fcn语义分割图求得轨迹点为365，百分比为26.92%；第二列图像中标记图像求得轨迹点个数为520，Deeplabv3+语义分割图像求得轨迹点个数为510，则百分比为98.08%，fcn语义分割图求得轨迹点为122，百分比为23.08%；第三列图像中标记图像求得轨迹点个数为1068，Deeplabv3+语义分割图像求得轨迹点个数为933，则百分比为87.36%，fcn语义分割图求得轨迹点为532，百分比为49.81%。

从而可以看出，通过deeplabv3+来对精子尾部进行语义分割比FCN进行语义分割来识别精子尾部效果明显更精准。

参考文献
[1] Auguste Y, Delague V, Desvignes JP, et al.Loss of calmodulin- and radial-spokeassociated complex protein CFAP251 leads to immotile spermatozoa lacking mitochondria and infertility in men[J]. American Journal of Human Genetics, 2018,103(3):413–420.
[2] Chilvers MA, Rutman A, O’Callaghan C .Ciliary beat pat tern is associated with specifc ultrastructural defects in primary ciliary dyskinesia[J]. Journal of Allergy and Clinical Immunology, 2003, 112(3):518-524.
[3] 金锐,唐大伟,刘芳,等.激光鉴别存活精子行卵母细胞胞浆内单精子注射的应用效果[J].宁夏医学杂志
,2020,42(5):3.。