美机构发布《2019~2020陆军研究实验室中期评估报告》

美机构发布《2019~2020陆军研究实验室中期评估报告》
近期，美国国家科学、工程与医学院（NASEM）发布了陆军研究实验室技术评估委员会（ARLTAB）的最新评估报告--《陆军研究实验室2019~2020中期评估报告》，对陆军研究实验室（ARL）的研究、开发和分析项目质量进行了评估。

此次评估内容主要涉及陆军研究实验室的三大研究领域：网络和信息科学，计算和大气科学以及人类科学。

一、陆军研究实验室（ARL）简介
ARL创建于1992年，隶属于未来司令部，是美国陆军的重要研究机构，总部位于马里兰州的阿德尔菲实验中心。

陆军研究实验室由载具技术部、计算与信息科学部、人类研究与工程部、传感器与电子设备部、武器与材料研究部以及陆军研究办公室组成，其组织管理框架见图1。

ARL的任务是发现、创新和转移科学技术，以确保其在陆地战略力量的主导地位。

ARL的核心竞争力包括网络和信息科学、计算科学、人文科学、材料和制造科学、推进科学、弹道科学和保护科学。

▲图1 陆军研究实验室组织结构图
二、陆军研究实验室技术评估委员会（ARLTAB）简介
承担此次评估任务的机构是陆军研究实验室技术评估委员会（ARLTAB），该机构是美军为提升陆军研究实验室的科学技术质量水平而专门设立的同行评估机构，负责对陆军研究实验室的科学和技术质量进行每两年一次的同行评估。

为完成2019~2020的评估，ARLTAB还得到了五个国家学术专家组的支持，每个专家组都聚焦于ARL的一项或几项核心研究能力。

而为此次中期评估提供主要支持的两个专家组为：陆军研究实验室人类科学专家组、陆军研究实验室信息科学专家组。

三、评估机制
1. 评估过程
评估前需要收集资料，资料主要来自ARL提供的信息以及ARL的员工与ARLTAB及专家组之间的互动交流带来的信息。

专家组每年都会在ARL召开会议。

每个专家组的评审会议会持续2.5天，在会议上，专家组成员会收到ARL管理人员提供的关于ARL整体情况的简报，以及ARL员工提供的关于技术的简报。

专家组会对搜集到的信息进行讨论，并就相关问题形成统一认识，然后再与ARL的研究人员进行进一步的讨论，最终整理形成评估报告。

2. 评估人员组成情况
评估工作由ARLTAB和五个专家组组成。

ARLTAB由九名科学家和工程师组成，其专长覆盖ARL的重要科研领域。

其中八名ARLTAB成员分别担任五个专家组和陆军研究办公室项目专家组的主席或联合主席。

每个专家组的规模为18～19人不等，专家组的成员主要由在相关领域内处于领先地位的科学家和工程师组成。

参与2019~2020中期评估的评估委员共有43人，其中包括工业研发实验室的现任和前任主管和研究人员、重要学术研究员以及能源部国家实验室和联邦资助研发中心的工作人员。

其中有7人是美国工程院成员，1人是美国科学院成员。

成员的任期为4～6年，每年保持一定的人员流动比率，以保持工作的连续性。

3. 评估标准
ARLTAB对ARL的中期评估涉及了四个方面的28个具体问题，针对实验室科研工作的不同侧面进行了全面的评估。

（一）项目目标和计划
目标是否明确，规划的任务是否能实现目标
里程碑是否明确，是否可行
障碍和挑战是否明确
假如研究成功，会对科学基础、最终用户或任务环境带来什么不同
项目计划是否确定依赖关系
项目是否代表陆军研究实验室的优势领域
正在应用或应该应用哪些终止规则
（二）方法和途径
研究方法对于研究问题是否适合、是否集成化
研究假设是否在适当的文献和理论框架内
是否有促进项目进展的替代方法
分析、建模、仿真、测试等过程是否清晰适当
数据收集和分析方法是否适当
研究结果能否支持结论
针对项目的进一步研究设想是否合理
风险和潜在收益之间的权衡是否合理
是否根据项目要求进行了技术或工艺创新
（三）能力和资源
如果人员或设备不足，应如何筛选项目才能最为接近既定的目标
这个项目是否会为ARL招募新的人才
（四）与科技团体的互动合作
演讲和座谈会参与情况
参与专业活动情况
高质量期刊和会议论文情况
教育拓展，包括教学、演讲、指导学生等情况
奖学金和获奖情况
参与评审小组(陆军研究室、国家科学基金会、多学科大学研究计划等)
专利和知识产权及其使用情况
参与建立一个ARL跨领域团体
公众对实验室研究工作的认可
协作情况
四、主要评估内容
此份中期报告是对两年评审周期中第一年的调查结果进行的总结，报告的主要内容是对ARL的研究、发展和分析项目的质量的评估。

值得注意的是，由于ARL并没有将所有的项目和计划具体情况提交给ARLTAB，因此ARLTAB仅对ARL 在第一年向其提交的项目和计划进行评估，因此报告的结论和发现也仅适用于所涉及的相关项目。

本次中期评估报告主要涵盖陆军研究实验室的三大研究领域，即网络和信息科学，计算和大气科学以及人类科学。

1. 网络和信息科学
ARL信息科学专家组对美国陆军研究实验室网络和信息科学研究核心竞争
力的选定研发项目进行了评估，并提出如下建议。

（1）对信息科学的评价和建议
评价：信息科学研究总体上具有较高的科研水平。

在大多数情况下，研究项目反映了对正在审议的问题的充分了解，对解决问题的适当方法的充分了解，以及对其他地方进行的有关研究的最新情况的了解。

在许多情况下，研究人员能够确定针对军队作战需求的独特研究挑战。

许多项目已经在高知名度的期刊上发表了论文。

所需的计算设备和仪器也足以满足研究人员的需要。

建议：对能够在人工智能和机器学习领域提供长期关注的当前研究组合的基础研究问题，ARL应加以重视。

（2）对网络科学的评价和建议
评价：网络科学研究的整体科研质量很高，可与在顶尖的研究型大学、政府和工业实验室进行的研究相媲美。

研究人员对于相关的基础科学研究和该领域的领先研究十分熟悉。

研究人员与ARL以外的其它研究人员进行了积极的交流与合作，其中许多研究人员都是处于各自领域的尖端人才。

研究人员能够意识到与他们的项目相关的潜在挑战、风险以及缓解风险的措施。

在大多数情况下，研究人员能够将这些挑战、风险和风险缓解措施纳入其研究中。

该领域的研究人员因其研究和技术贡献而获得了巨大的认可。

建议：ARL应将诸如可扩展的移动自组织网络模拟器，下一代移动网络系统实时建模框架之类的战术网络仿真纳入其研究程序。

研究人员应加强与陆军研究实验室内部的计算机专家合作，以进一步提高其工作质量。

2. 计算和大气科学
ARL信息科学专家组也对美国陆军研究实验室计算科学研究核心竞争力的
选定研发项目进行了评估，评估的领域包括计算科学和大气科学。

（1）对计算科学的评价和建议
评价：报告中呈现的计算科学工作的技术质量普遍较高。

该领域相关研究论文都在高质量期刊上发表。

研究人员由具有相关项目专业知识的人员组成，在其研究领域具有极高的知识素养。

此外，研究人员还与外部专家进行积极有效的合作，以提高其研究水平。

向ARLTAB提交的项目都采用了适当的理论和计算方法，表明了研究人员对相关科学原理的广泛理解，以及对研究结果的清晰认知。

设备方面，计算科学的研究得到了ARL超级计算研究中心的巨大支持，该中心包括一个国防部超级计算研究中心和一个国防部数据分析和评估中心。

然而，ARL还需要进一步与其他国防部和能源部实验室的超级计算项目合作。

建议：随着作战能力的发展，ARL应该发挥计算科学与网络和信息科学研究核心能力之间的协同作用。

这些核心能力包括人工智能、数据科学、高性能计算、网络和战场环境效应。

此外，这种协同方式还应该应用到其它领域，如人类科学和人工智能。

（2）对大气科学的评价和建议
评价：该领域整体研究质量较高。

研究人员具备相关项目的专业知识，对相关领域的研究十分熟悉，并且能意识到与项目相关的潜在挑战。

某些情况下，战场环境分区（BED）的研究人员会与外部研究人员进行积极的对话或合作。

该研究领域的成就和进步十分显著，可达到美国大学、联邦或工业部门研究项目的水平。

研究项目都采用了适当的理论和方法。

设备方面，气象传感器阵列（MSA）项目在部署大量观测设备方面取得了良好进展，但是设备的维护和后续操作方面还存在一定的问题。

建议：ARL应该在项目活动开始时评估环境整合的潜力。

ARL应该进行这样一些工作，这些工作能带来新的基础科学方法，并在更广泛的科学界产生变革，特别是在使用计算技术和大数据集来提高决策制定、技术使用或操作效率方面的变革。

3. 人类科学
ARL人类研究专家组对美国陆军研究实验室人类科学研究核心竞争力的选
定研发项目进行评估，被评估的项目涵盖五个领域：人类自主团队交互与人类理
解自主；自主理解人类和评估人类自主团队成果；人类兴趣检测；网络科学和运动学；神经科学、训练效果和加强团队合作。

（1）人类自主团队交互与人类理解自主
评价：该领域整体研究水平较高，但各具体项目的研究质量参差不齐。

由于关于人类自主研究前沿概念的缺失，许多研究项目的潜在科学性和创新能力都难以评估。

一些人工智能或机器学习工作都是对现有研究成果的复制，难以带来新的创新研究进展。

建议：ARL应该优先考虑人类科学研究中多主体团队的交互。

这样的项目能够提供见解、理解和数据等信息，从而能更好地理解人的自主交互。

（2）自主理解人类和评估人类自主团队成果
评价：总体而言，该领域的研究质量较高。

许多文章都在《美国感染控制杂志》等著名期刊上获得发表。

研究人员的专业水平也较高，许多研究人员都有社会学、神经科学、心理学等专业知识背景，他们对研究中所面临的独特挑战表现出了深入的理解。

不足之处在于，对人类自主团体成果方面的研究还不成熟，目前主要是通过收集数据来评估团体的效力和成果。

建议：需要选择更恰当的方式来衡量沟通的有效性。

（3）人类兴趣探测（HID）
评价：HID是ARL研究中的一个重要领域。

这项研究将真实世界的神经科学和人工智能独特地应用于注意力领域。

整体而言，该领域在可行性方面取得了重大进步，但在感知信息的收集，注意力聚焦，克服运动伪影等方面还存在着巨大的挑战。

建议：ARL应在软件开发方面加强与工业部门的合作。

ARL应该使用和开发与开源软件商协作的软件平台，这样ARL才能跟上最新的人类兴趣探测软件。

此外，ARL还应该通过休假、博士后奖学金等方式吸引高素质人才参与到人类兴趣探测领域的工作。

（4）网络科学和运动学
评价：网络科学小组在两年内取得了良好的进展。

随着机器人技术的进步，运动学团队将在识别人类士兵和机器人士兵二者在哪些任务中更具优势发挥重要作用。

建议：网络科学小组应拓宽其研究面，从对个体的研究延伸到对工具选择和表现评估的团队研究。

此外该小组还应加强与外部的协作。

运动科学小组则应该认真思考其最重要的问题，即陆军的运动学有什么不同。

（5）神经科学、训练效果和加强团队合作
评价：大多数研究工作被描述为在尽可能接近实际战斗的条件下进行各种研究所需的基础设施建设。

尽管该领域的研究团队使用各种数学和机器学习的建模技术，但在人类行为的神经建模方面所取得的进展却很有限。

目前的研究方法是以任务为导向，这种方法符合人类相关的研究，因为给当前的问题找到解决方案比促进理论发展更为重要。

建议：ARL应该采取包含预测处理结果的研究策略，尤其要关注军事行动动态，这可以使研究人员通过其基础研究促进科学的发展。

五、总体建议
ARL的任务是进行基础研究；推动学科内部以及学科之间的变革；为作战概念创造知识产品；开发操作系统；通过ARL开放校园和陆军研究办公室(ARO)与大学进行互动。

根据ARL提交给评审委员会的相关项目与计划，总体来看，ARL 在科研任务的完成上表现较为突出，此外在领导层能力、科研设施配备、专业成果发表、博士后和访问研究者人数、人员专业知识与能力、与外部协作交流以及未来科研发展方面都有明显的进步。

根据评估内容及评估结果，ARLTAB对ARL
提出总体建议如下：
建议1:ARL应进一步鼓励研究项目的所有成员，特别是初级成员，进行必要的科学实践，以便在整个领域更充分地评估其研究。

在ARL的研究项目中，人工智能和机器学习受到了极大的关注。

鉴于这些技术对陆军作战的巨大影响，因此，在这一新兴领域制定全面的研究计划非常重要。

建议2:ARL应确定一系列基础研究问题，这些问题是当前研究组合的基础，可以在人工智能和机器学习领域提供长期关注。

在过去的几年里，软件开发以惊人的速度发展。

这种快速发展主要源于使用了开源软件来构建软件平台。

为了使ARL在软件技术快速发展获得竞争力，ARL需要成为GitHub(一个主要的开源组织)的成员。

建议3: ARL应该建立ARL和工业界在软件开发方面的合作机制。

具体而言，ARL应与开源软件商合作使用和开发软件平台，这将使ARL紧跟技术步伐并快速开发软件。