基于百度飞桨平台的计算机视觉课程改革与实践

基于百度飞桨平台的计算机视觉课程改革与实践
作者：潘刚丁进孙迪
来源：《高教学刊》2024年第02期
摘要：计算机视觉是当前计算机和人工智能领域的热门方向，但前沿课程内容在算法、算力和數据方面的需求，使得传统授课模式无法满足对当前学生实践能力培养的需求。

在教育部产学合作协同育人的背景下，该文从课程核心内容、前沿技术扩展、先进实验设计和考核方
式改革等多方面，开展课程的革新与探索，并在实际教学活动详解的基础上，验证教学质量和学生综合能力的提升，为计算机视觉相关课程提供参考。

关键词：计算机视觉；飞桨平台；新工科；产学合作；协同育人
中图分类号：G642 文献标志码：A 文章编号：2096-000X（2024）02-0010-05
Abstract： Computer vision is currently a popular direction in the field of computer and artificial intelligence， but the requirements of cutting-edge course content in terms of algorithms，computing power and data make the traditional teaching mode unable to meet the needs of current students' practical ability training. Under the background of industry-university cooperation and collaborative education， this paper carries out the innovation and exploration of the curriculum from the core content of the curriculum， the expansion of cutting-edge technology， the design of advanced experiments， and the reform of assessment methods. It verifies the improvement of teaching quality and students' comprehensive ability， and provides a reference for computer vision related courses.
Keywords： computer vision; PaddlePaddle; new engineering and technical disciplines; industry-university cooperation; collaborative education
当前，我国高校工程教育规模居世界第一，但工程师总体合格程度在全球相对靠后。

我国工程教育发展面临着发展困境。

2017年，教育部启动实施“新工科”建设，改造升级传统工科专业，加快发展新兴工科专业，使得我国从工程教育大国向工程教育强国迈进[1]。

接着，又陆续推出“复旦共识”“天大行动”“北京指南”等，从多个方向探索和实践工程教育改革新路径。

如今，越来越多的高校参与到新工科建设中，不断推动现有工科专业的改革，主动设置新兴工科专业，培养国家重大战略需求的未来工程领军人才。

计算机视觉始终是计算机各领域中最为活跃、发展最快速、应用范围最广的学科方向之一，其核心内容涵盖对图像和视频等媒体内容的识别、增强和合成等任务，在智能制造、机器人、安防、医疗影像和消费类电子产品等多个方向有着广泛的应用前景。

因此，计算机视觉已成为计算机科学与技术、软件工程、电子信息等专业中的重要专业课程，在本科生和研究生中有着较大的受众基础。

另一方面，计算机视觉与人工智能结合是当前计算机视觉发展的特点和趋势。

人工智能，尤其是其中的机器学习和深度学习，是在数据驱动下对复杂系统建模和预测的新方法论，是对传统教学内容和思维方式的颠覆和革新，但其在数据和算力方面所需要的基本门槛要求，也对传统课堂教学提出了更高的物质要求。

因此，由于计算机视觉学科本身的特点，加之当前计算机视觉与人工智能结合的趋势，对其教学活动中实践性的开展尤为侧重，对学生动手能力和解决实际问题的能力培养提出了更高的要求，使得传统“重理论、轻实验”的授课方式已无法适应新工科建设的需要，因此，亟需进行有针对性的教学改革。

天津大学是国内首设人工智能本科专业的高校之一，更是新工科建设“天大行动”的领导者。

为解决传统计算机视觉课程授课方式与前沿技术实践需求之间的矛盾，天津大学与百度飞桨开展产学合作协同育人项目，进一步贯彻落实《国务院办公厅关于深化高等学校创新创业教育改革的实施意见》文件精神，深入推进产学合作协同育人，探索符合学校实际情况的计算机视觉课程改革。

一计算机视觉课程的现状分析
计算机视觉课程在大多数学校作为专业选修课，学时安排多为32～40学时，其中实验学时为8～16学时。

该课程理论性强，体系庞杂，知识更新快、对学生动手能力要求高。

从授课教师的角度，该课程特点可归纳为以下几点。

（一）课程知识点多
完整的计算机视觉课程包括特征检测、分割、配准、结构重建、运动估计、拼接、立体视觉和识别等问题及相关算法，知识点数量多而杂，形式多样、应用场景复杂。

（二）理论教学枯燥
计算机视觉理论基础以数学作为支撑，形式以公式为主，学生在有限的授课时间内对大量复杂公式的理解效果往往欠佳。

（三）实验教学对硬件的依赖
当前视觉前沿方法为基于机器学习的方法，此类实验的开展对硬件设备，尤其是显卡的要求高，这是大部分学生的自有电脑无法满足的。

而多数高校缺乏支撑大范围实验的硬件基础，因此，难以大范围开展前沿方法的实验教学活动。

（四）实验教学对数据的要求
当前，基于机器学习的计算机视觉方法的另一个特点是数据驱动，其实验教学的开展对相关主题的数据质和量均有较高的要求。

因此，实验数据的课前收集和课中分发显得尤为重要，但此类数据除少量集中在Kaggle等平台外，大部分分散在各地科研团队自行维护的网络存储中，在有限的实验周期内由学生收集尤为困难。

加之计算机视觉领域的数据集普遍较大，课中向学生进行分发并进行数据准备，将占用大量的有效实验时间。

（五）考核和评价方式不够客观
结合计算机专业要求和计算机视觉的特点，考核更应体现学生实现代码的能力。

但由于缺乏统一的实验平台，即使开展实验，对学生实现代码的验证也不能依赖教师的阅读，这样工作量庞大，且评价方式无法保证客观和公平。

结合计算机视觉课程的特点，应对新工科创新人才需求，迫切需要教师针对课程的教学内容、教学形式、课程评价体系等方面进行改革，探索如何激发学生的内驱力，为学生实验提供良好的实验平台和公平的评价方法，其目的是提高学生的工程实践能力与创新能力。

湖南大学[2]和中国地质大学[3]从提升学生学习主动性出发，在图像处理课程中引入“互联网+”，实现线上线下一体化教学模式，从教学内容、手段、考核方式等多方面开展改革实践。

武汉科技大学[4]从案例教学的角度出发，立足在线平台海量案例资源，提升学生使用框架编程的能力。

中国农业大学[5]、南昌大学[6]针对人工智能课程，依托产学合作开展课程改革与建设的模式，借助产业界的丰富资源，提高学生实践能力。

西安电子科技大学[7]、武汉工程大学[8]从教师模式和实践方法角度对计算机视觉课程的教学过程开展有益的探索。

华北电力大学[9]、同济大学[10]、武汉理工大学[11]针对图像处理和计算机视觉等课程编程实践问题，利用多种实践平台进行教学改革，取得初步成效。

但面向更大范围学生群体，开展前沿技术的计算机视觉实践教学探索的工作尚不够充分。

二依托产学合作育人的计算机视觉课程教学改革
（一）教学内容的补充完善
当前计算机视觉的前沿方法与机器学习技术有关，但对于计算机科学与技术和软件工程专业的学生，作为前序课程的人工智能课程在课程设置中多为选修，因此，只有一部分同学具备相关知识基础。

同时，对于这部分选修过人工智能课程的同学，机器学习在整个课程中的占比很少，一般为2～4个学时，且多以讲授理论为主，缺乏实际上机实验的有效训练。

在此现状下，由于相关知识基础普遍薄弱，如直接开展前沿计算机视觉的内容讲解，学生往往颇为吃力，严重影响学习效果。

因此，在本课程的教学过程中，适度引入与计算机视觉紧密相关的机器学习内容，使得学生补全最相关的机器学习基础知识，从根本上理解相关算法的原理，掌握算法应用于计算机视觉场景的原理和先进性，从而能够更好地深入了解领域动态，快速领会前沿知识和新兴技术，掌握视觉的应用场景，加强理论与实际的关联。

（二）利用高水平学术论文的知识扩展
由于计算机视觉技术更新迭代快，因此，课程内容的选择，在完成基本经典理论讲解的基础上，应加入最新技术的内容，使得学生在打好基础的同时，不拘泥于经典教材，能够有足够新的视野，掌握最新的技术。

对于前沿技术的出处，除了如TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence），IJCV（International Journal of Computer Vision）， TMM（IEEE Transactions on Multimedia）等顶级学术期刊之外，还包括计算机视觉领域的顶级学术会议。

与其他学科相比，计算机领域学术会议的重要程度尤为明显，这是由于视觉领域的技术更新速度快，而高水平学术会议的审稿周期和见刊周期更短，因此，最前沿的学术论文往往发表于高水平学术会议上，本课程中推荐学生选择CVPR（IEEE Conference on Computer Vision and Pattern Recognition）、ICCV（IEEE International Conference on Computer Vision）和ECCV（European Conference on Computer Vision）三个视觉领域顶级学术会议的论文作为扩展阅读。

（三）前沿实验内容的改进
计算机视觉课程以算法理论为基础，实践为核心，对学生而言，只有理解算法并能够用代码将算法实现，才是真正掌握，这也是校企协同育人过程中的重点和难点。

因此，课程中实验学时的内容安排显得尤为重要。

本课程选择分类、合成、跨模态修复三类四项任务作为实验内容（表1），其中前三项内容代表了计算机视觉中最典型的任务，第四项代表了视觉领域前沿问题之一。

在方法和神经网络的选择上，选择了最为经典且常用的VGG、AutoEncoder、U-Net和Encoder-Decoder+BERT四类网络结构。

在实验内容设计上，考虑到学生平均基础情况，在前两个实验中，采用提供代码框架、由學生填补细节代码的方式，这样可以让学生在最初接触实验时，暂时规避对代码框架的不熟悉，集中精力在关键网络架构的代码编写上，提升学习效率，积累信心；对后续实验内容，鼓励学生在具备一定编程基础后，自主编写完整的代码，并完成训练和调参的全过程。

这样循序渐进的实验设置方式有助于学生快速上手、培养全方面能力。

（三）实验教学对硬件的依赖
当前视觉前沿方法为基于机器学习的方法，此类实验的开展对硬件设备，尤其是显卡的要求高，这是大部分学生的自有电脑无法满足的。

而多数高校缺乏支撑大范围实验的硬件基础，因此，难以大范围开展前沿方法的实验教学活动。

（四）实验教学对数据的要求
当前，基于机器学习的计算机视觉方法的另一个特点是数据驱动，其实验教学的开展对相关主题的数据质和量均有较高的要求。

因此，实验数据的课前收集和课中分发显得尤为重要，但此类数据除少量集中在Kaggle等平台外，大部分分散在各地科研团队自行维护的网络存储中，在有限的实验周期内由学生收集尤为困难。

加之计算机视觉领域的数据集普遍较大，课中向学生进行分发并进行数据准备，将占用大量的有效实验时间。

（五）考核和评价方式不够客观
结合计算机专业要求和计算机视觉的特点，考核更应体现学生实现代码的能力。

但由于缺乏统一的实验平台，即使开展实验，对学生实现代码的验证也不能依赖教师的阅读，这样工作量庞大，且评价方式无法保证客观和公平。

结合计算机视觉课程的特点，应对新工科创新人才需求，迫切需要教师针对课程的教学内容、教学形式、课程评价体系等方面进行改革，探索如何激发学生的内驱力，为学生实验提供良好的实验平台和公平的评价方法，其目的是提高学生的工程实践能力与创新能力。

湖南大学[2]和中国地质大学[3]从提升学生学习主动性出发，在图像处理课程中引入“互联网+”，实现线上线下一体化教学模式，从教学内容、手段、考核方式等多方面开展改革实践。

武汉科技大学[4]从案例教学的角度出发，立足在线平台海量案例资源，提升学生使用框架编程的能力。

中国农业大学[5]、南昌大学[6]针对人工智能课程，依托产学合作开展课程改革与建设的模式，借助产业界的丰富资源，提高学生实践能力。

西安电子科技大学[7]、武汉工程大学[8]从教师模式和实践方法角度对计算机视觉课程的教学过程开展有益的探索。

华北电力大学[9]、同济大学[10]、武汉理工大学[11]针对图像处理和计算机视觉等课程编程实践问题，利用多种实践平台进行教学改革，取得初步成效。

但面向更大范围学生群体，开展前沿技术的计算机视觉实践教学探索的工作尚不够充分。

二依托产学合作育人的计算机视觉课程教学改革
（一）教学内容的补充完善
当前计算机视觉的前沿方法与机器学习技术有关，但对于计算机科学与技术和软件工程专业的学生，作为前序课程的人工智能课程在课程设置中多为选修，因此，只有一部分同学具备相关知识基础。

同时，对于这部分选修过人工智能课程的同学，机器学习在整个课程中的占比很少，一般为2～4个学时，且多以讲授理论为主，缺乏实际上机实验的有效训练。

在此现状下，由于相关知识基础普遍薄弱，如直接開展前沿计算机视觉的内容讲解，学生往往颇为吃力，严重影响学习效果。

因此，在本课程的教学过程中，适度引入与计算机视觉紧密相关的机器学习内容，使得学生补全最相关的机器学习基础知识，从根本上理解相关算法的原理，掌握算法应用于计算机视觉场景的原理和先进性，从而能够更好地深入了解领域动态，快速领会前沿知识和新兴技术，掌握视觉的应用场景，加强理论与实际的关联。

（二）利用高水平学术论文的知识扩展
由于计算机视觉技术更新迭代快，因此，课程内容的选择，在完成基本经典理论讲解的基础上，应加入最新技术的内容，使得学生在打好基础的同时，不拘泥于经典教材，能够有足够新的视野，掌握最新的技术。

对于前沿技术的出处，除了如TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence），IJCV（International Journal of Computer Vision）， TMM（IEEE Transactions on Multimedia）等顶级学术期刊之外，还包括计算机视觉领域的顶级学术会议。

与其他学科相比，计算机领域学术会议的重要程度尤为明显，这是由于视觉领域的技术更新速度快，而高水平学术会议的审稿周期和见刊周期更短，因此，最前沿的学术论文往往发表于高水平学术会议上，本课程中推荐学生选择CVPR（IEEE Conference on Computer Vision and Pattern Recognition）、ICCV（IEEE International Conference on Computer Vision）和ECCV（European Conference on Computer Vision）三个视觉领域顶级学术会议的论文作为扩展阅读。

（三）前沿实验内容的改进
计算机视觉课程以算法理论为基础，实践为核心，对学生而言，只有理解算法并能够用代码将算法实现，才是真正掌握，这也是校企协同育人过程中的重点和难点。

因此，课程中实验学时的内容安排显得尤为重要。

本课程选择分类、合成、跨模态修复三类四项任务作为实验内容（表1），其中前三项内容代表了计算机视觉中最典型的任务，第四项代表了视觉领域前沿问题之一。

在方法和神经网络的选择上，选择了最为经典且常用的VGG、AutoEncoder、U-Net和Encoder-Decoder+BERT四类网络结构。

在实验内容设计上，考虑到学生平均基础情况，在前两个实验中，采用提供代码框架、由学生填补细节代码的方式，这样可以让学生在最初接触实验时，暂时规避对代码框架的不熟悉，集中精力在关键网络架构的代码编写上，提升学习效率，积累信心；对后续实验内容，鼓励学生在具备一定编程基础后，自主编写完整的代码，并完成训练和调参的全过程。

这样循序渐进的实验设置方式有助于学生快速上手、培养全方面能力。

（三）实验教学对硬件的依赖
当前视觉前沿方法为基于机器学习的方法，此类实验的开展对硬件设备，尤其是显卡的要求高，这是大部分学生的自有电脑无法满足的。

而多数高校缺乏支撑大范围实验的硬件基础，因此，难以大范围开展前沿方法的实验教学活动。

（四）实验教学对数据的要求
当前，基于机器学习的计算机视觉方法的另一个特点是数据驱动，其实验教学的开展对相关主题的数据质和量均有较高的要求。

因此，实验数据的课前收集和课中分发显得尤为重要，但此类数据除少量集中在Kaggle等平台外，大部分分散在各地科研团队自行维护的网络存储中，在有限的实验周期内由学生收集尤为困难。

加之计算机视觉领域的数据集普遍较大，课中向学生进行分发并进行数据准备，将占用大量的有效实验时间。

（五）考核和评价方式不够客观
结合计算机专业要求和计算机视觉的特点，考核更应体现学生实现代码的能力。

但由于缺乏统一的实验平台，即使开展实验，对学生实现代码的验证也不能依赖教师的阅读，这样工作量庞大，且评价方式无法保证客观和公平。

结合计算机视觉课程的特点，应对新工科创新人才需求，迫切需要教师针对课程的教学内容、教学形式、课程评价体系等方面进行改革，探索如何激发学生的内驱力，为学生实验提供良好的实验平台和公平的评价方法，其目的是提高學生的工程实践能力与创新能力。

湖南大学[2]和中国地质大学[3]从提升学生学习主动性出发，在图像处理课程中引入“互联网+”，实现线上线下一体化教学模式，从教学内容、手段、考核方式等多方面开展改革实践。

武汉科技大学[4]从案例教学的角度出发，立足在线平台海量案例资源，提升学生使用框架编程的能力。

中国农业大学[5]、南昌大学[6]针对人工智能课程，依托产学合作开展课程改革与建设的模式，借助产业界的丰富资源，提高学生实践能力。

西安电子科技大学[7]、武汉工程大学[8]从教师模式和实践方法角度对计算机视觉课程的教学过程开展有益的探索。

华北电力大学[9]、同济大学[10]、武汉理工大学[11]针对图像处理和计算机视觉等课程编程实践问题，利用多种实践平台进行教学改革，取得初步成效。

但面向更大范围学生群体，开展前沿技术的计算机视觉实践教学探索的工作尚不够充分。

二依托产学合作育人的计算机视觉课程教学改革
（一）教学内容的补充完善
当前计算机视觉的前沿方法与机器学习技术有关，但对于计算机科学与技术和软件工程专业的学生，作为前序课程的人工智能课程在课程设置中多为选修，因此，只有一部分同学具备相关知识基础。

同时，对于这部分选修过人工智能课程的同学，机器学习在整个课程中的占比很少，一般为2～4个学时，且多以讲授理论为主，缺乏实际上机实验的有效训练。

在此现状下，由于相关知识基础普遍薄弱，如直接开展前沿计算机视觉的内容讲解，学生往往颇为吃力，严重影响学习效果。

因此，在本课程的教学过程中，适度引入与计算机视觉紧密相关的机器学习内容，使得学生补全最相关的机器学习基础知识，从根本上理解相关算法的原理，掌握算法应用于计算机视觉场景的原理和先进性，从而能够更好地深入了解领域动态，快速领会前沿知识和新兴技术，掌握视觉的应用场景，加强理论与实际的关联。

（二）利用高水平学术论文的知识扩展
由于计算机视觉技术更新迭代快，因此，课程内容的选择，在完成基本经典理论讲解的基础上，应加入最新技术的内容，使得学生在打好基础的同时，不拘泥于经典教材，能够有足够新的视野，掌握最新的技术。

对于前沿技术的出处，除了如TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence），IJCV（International Journal of Computer Vision）， TMM（IEEE Transactions on Multimedia）等顶级学术期刊之外，还包括计算机视觉领域的顶级学术会议。

与其他学科相比，计算机领域学术会议的重要程度尤为明显，这是由于视觉领域的技术更新速度快，而高水平学术会议的审稿周期和见刊周期更短，因此，最前沿的学术论文往往发表于高水平学术会议上，本课程中推荐学生选择CVPR（IEEE Conference on Computer Vision and Pattern Recognition）、ICCV（IEEE International Conference on Computer Vision）和ECCV（European Conference on Computer Vision）三个视觉领域顶级学术会议的论文作为扩展阅读。

（三）前沿实验内容的改进
计算机视觉课程以算法理论为基础，实践为核心，对学生而言，只有理解算法并能够用代码将算法实现，才是真正掌握，这也是校企协同育人过程中的重点和难点。

因此，课程中实验学时的内容安排显得尤为重要。

本课程选择分类、合成、跨模态修复三类四项任务作为实验内容（表1），其中前三项内容代表了计算机视觉中最典型的任务，第四项代表了视觉领域前沿问题之一。

在方法和神经网络的选择上，选择了最为经典且常用的VGG、AutoEncoder、U-Net和Encoder-Decoder+BERT四类网络结构。

在实验内容设计上，考虑到学生平均基础情况，在前两个实验中，采用提供代码框架、由学生填补细节代码的方式，这样可以让学生在最初接触实验时，暂时规避对代码框架的不熟悉，集中精力在关键网络架构的代码编写上，提升学习效率，积累信心；对后续实验内容，鼓励学生在具备一定编程基础后，自主编写完整的代码，并完成训练和调参的全过程。

这样循序渐进的实验设置方式有助于学生快速上手、培养全方面能力。