Watsonx.ai_背后的黑科技

■宋奇
如今，我们站在人工智能（AI）革命的前沿。

过去十年，数据与算力的碰撞催生了深度学习，让许多令人刮目相看的AI能力成为现实。

然而，这也让我们面临好似潘多拉盒子那样的矛盾性挑战：自动化居然是劳动密集型的工作。

听起来似乎好笑，但任何试图用AI来解决业务问题的人可能都知道，这是事实。

传统的AI工具虽然功能强大，但可能昂贵且耗时难用。

必须费力地收集、整理数据并使用特定任务的注释来标记数据，以训练AI模型，而构建模型还需要专业但却难找的技能，更不要说每个新任务都需要重复这个过程。

因此，企业不得不将主要注意力放在自动化那些有丰富数据和高业务价值的任务之上，而把其他先放在一边。

然而，这种情况正在开始改变。

算法架构和自监督学习方法的出现，使我们能够利用大量未标记的数据，为大型预训练模型铺平了道路，我们有时将其称为“基础模型”，这些大模型降低了自动化背后所需的成本和劳力。

基础模型为各种AI应用提供了强大而多样的基础，可以使用基础模型以有限的注释数据和最少的工作量快速执行任务。

在某些情况下，只需要描述手头的任务就可以驱使模型去完成任务，但这些强大的技术也给企业带来了新的风险和挑战。

今天的许多模型都是在质量和来源未知的数据集上进行训练的，会产生攻击性、有偏见或与事实不符的响应。

最大型的模型不仅成本高昂，而且训练和运行的耗能庞大，部署起来也很复杂。

IBM一直在开发一种方法，解决企业使用基础模型所面临的核心挑战。

不久前，IBM在Think大会上宣布推出Watsonx.ai，这是IBM提供的市场上最新的AI工具和技术门户。

这个领域发展极快，有些工具只能用几周时间，而IBM 也在不断为市场提供更新的工具。

Watsonx.ai是IBMWatsonx产品集的一部分，包含的内容多样且将不断演进，但IBM总体的承诺不变——
—提供安全的企业就绪的自动化产品。

这是IBM正在进行的一项工作，旨在加速客户从AI新范式中获取价值的旅程。

IBM构建一套由IBM训练的企业级基础模型工作，包括IBM采用的数据与模型架构的方法。

同时还将概述IBM新的平台和工具，如何帮助企业基于广泛的开源模型目录和IBM的模型来构建和部署基于基础模型的解决方案。

数据：基础模型的基础
数据质量至关重要，在有偏见或不良数据上训练的AI 模型，会产生有偏见或不良的输出。

这个问题在基础模型时代会变得更加复杂，用于训练模型的数据通常来自众多数据源，且异常丰富，以至于人类根本无法合理地梳理所有数据。

由于数据是驱动基础模型的燃料，因此IBM一直专注于精心策划模型中的所有内容，开发了AI工具，严格过滤数据中存在的仇恨、亵渎、许可限制和偏见等，一旦发现，立即删除，然后重新训练模型，如此循环反复。

数据管理是一项永远都做不完的工作，人们不断开发和完善新方法，以提高数据质量和控制，以满足不断变化的法律和监管要求。

IBM构建了一个端到端框架来跟踪已经清洗过的原始数据、使用的方法，以及每个数据点接触过的模型。

不断收集高质量的数据，以帮助解决金融、法律、网络安全和可持续发展等各个领域的一些最为紧迫的业务挑战。

IBM 当前的目标是收集超过1TB的精选文本用以训练基础模型，同时添加精选软件代码、卫星数据以及IT网络事件的数据与日志。

IBM研究院还在开发能够在基础模型整个生命周期中注入信任的技术，以减轻偏见并提高模型的安全性。

例如FairIJ，它可以识别用于调整模型的数据中的偏差数据点，以便对其进行编辑。

其他方法，如fairness reprogramming，允许减轻模型中的偏差，即使是已经训练过的模型。

专注于企业价值的高效基础模型
IBM新的Watsonx.ai开发平台提供了一套旨在实现企业价值的基础模型。

它们已被整合到一系列IBM的产品中，这些产品将在未来几个月内提供给IBM客户。

认识到并没有放之四海而皆准的解决方案，IBM正在构建一系列有着不同大小和体系结构的语言及代码的基础模型。

每个模型家族都以一个地质名称代号——
—花岗岩（Granite）、砂岩（Sandstone）、黑曜石（Obsidian）和板岩（Slate），它们汇集了来自IBM研究院和开放研究社区的尖端创新，每个模型都可以针对一系列企业任务进行定制。

Granite模型是基于仅解码器、类似GPT的架构，用于生成任务。

Saadstone模型使用编码器—解码器架构，非常适合对特定任务进行微调，可与Google流行的T5模型互换。

Obsidian模型利用IBM研究院开发的新模块化架构，为各种任务提供高推理效率和性能水平。

Slate指的是一系列仅
新思科技、Ansys和是德科技近日宣布，推出针对台积公司16nm精简型工艺技术的全新79GHz毫米波射频设计参考流程，以加速开发具有高可靠性的先进射频和毫米波设计。

该毫米波设计参考流程能够为汽车雷达、5G连接、安全应用及环境监测器等无需人为干预即可独立运行的高级自动驾驶系统，实现可靠的79GHz收发器集成电路。

面向台积公司先进的工艺技术，该参考流程能够为企业提供性能、安全性和可靠性均遥遥领先的毫米波射频系统。

新思科技EDA事业部战略与产品管理副总裁Sanjay Bali 表示：“先进毫米波技术的发展推动传感和感知功能地不断演进，是实现自动驾驶系统的关键一步。

一直以来，我们与Ansys、是德科技和台积公司等全球领导者紧密合作，为共同客户提供开放式、优化的参考流程，从而为先进的毫米波设计提供了业界领先的结果质量（QoR）。

”
台积公司设计基础设施管理部负责人Dan Kochpatcharin 表示：“我们与生态系统合作伙伴密切合作，以应对下一代自动驾驶系统中先进射频和毫米波设计方面日益增加的挑战。

我们与新思科技、Ansys和是德科技的合作成果能够提供优化的前后端设计流程，并充分利用台积公司16FFC技术在功率、性能、面积和生产率方面的优势，帮助共同客户实现设计成功。

”
通过具有高效功率转换的79GHz发射器功率放大器设计和低噪声系数的接收器低噪声放大器设计，全新毫米波设计参考流程有助于提升自动驾驶系统的灵敏度和可靠性。

Ansys电子、半导体与光学事业部副总裁兼总经理John Lee表示：“当前，为支持下一代自动驾驶系统中如导航、物体识别、决策和控制等功能的发展，市场对高速频率的需求持续增长。

我们在芯片和系统多物理场领域的领先签核技术，与新思科技的模拟、混合信号设计和验证解决方案以及是德科技的先进射频设计技术强强结合，共同针对台积公司的16FFC工艺提供强大的设计参考流程。

”
是德科技副总裁兼PathWave软件解决方案总经理Niels Faché表示：“我们与新思科技、Ansys和台积公司密切合作，为共同客户提供他们需要的解决方案以不断推动射频和毫米波设计在自动驾驶系统中的应用。

通过全新79GHz毫米波射频设计流程，我们将自身在高频电磁仿真领域的长期经验融入到台积公司的工作流程中。

此外，我们进一步将RFPro与新思科技Custom Compiler环境无缝集成，提供了业界领先的电磁仿真精度和工作流程效率。

RFPro可为针对台积公司16FFC工艺技术的自动驾驶系统提供无源元件和关键网的电磁分析和模型生成。

”
用于编码器（基于RoBERTa）的模型，虽然不是生成式的，但对于许多企业NLP任务来说既快速又有效。

所有Watsonx.ai 模型都是在IBM精心策划且聚焦企业的数据湖和IBM定制设计的云原生AI超级计算机Vela上进行训练。

效率和可持续性是Watsonx.ai的核心设计原则。

IBM 研究院发明了用于高效模型训练的新技术，包括LiGO算法，该算法可回收小模型并让使其“长成”较大的模型。

这种方法可以节省训练模型所需40%~70%的时间、成本和碳排放量。

为了提高推理速度，IBM研究院利用其在量化方面的深厚专业知识，或将模型从32点浮点算法缩小到更小的整数位格式。

降低AI模型精度可以在不牺牲准确性的情况下带来巨大的效率优势。

适用于基础模型的混合云工具
基础模型的最后一道难题是创建一个易用的软件平台来调整和部署模型。

IBM基于红帽OpenShift构建的混合及云原生的推理堆栈，已针对训练和服务基础模型进行了优化。

企业可以利用OpenShift的灵活性在任何地点（包括本地）运行模型。

IBM在Watsonx.ai中创建了一套工具，为客户提供友好的用户界面和开发人员友好的库，用于构建基于基础模型的解决方案。

实验室（Prompt Lab）使用户只需几个标记的示例即可快速执行AI任务。

调优开发平台基于IBM研究院开发的最先进的高效微调技术，让客户可以用自己的数据来实现快速、可靠的模型定制。

除了IBM自己的模型之外，Watsonx.ai还提供了对广泛的开源模型目录地无缝访问，供企业进行试验和快速迭代。

通过与Hugging Face建立的新合作伙伴关系，IBM将在Watsonx.ai中提供数千个开源的Hugging Face基础模型、数据集和库。

反之，
Hugging Face也将在Watsonx.ai上提供IBM 所有专有和开放访问的模型与工具。

基础模型正在改变AI的格局，并将加速推进已经取得的各项进展。

IBM表示，
很高兴能够立于这一快
速发展的技术前沿并做
出规划，把科技创新转化
为真正的企业价值。

■贾兰。