第一章 认识AIGC

0
0
3
4
自然语言可以被定义为 一组规则或符号的集合， 通过输出组合集合中的 符号就可以传递各种信 息
02
深度学习的应用
词法分析 词法分析是理解 单词的基础，其 目的是从句子中 切分出单词，找 出词汇的各个词 素，再从中获得 单词的语言学信 息和词义
句法分析 句法分析是自然 语言处理的核心， 是对语言进行深 层次理解的基础。 在自然语言处理 领域中，机器翻 译是其中一个重 要的研究方向， 也是自然语言处 理应用的主要领 域之一
01
从20世纪60年代到80年代，人工智能经历 了快速发展的阶段。在这个时期，人们开始 探索研究机器学习、神经网络等技术，人工 智能的应用范围也因此不断扩大
20世纪90年代初期，人工智能经历了一段低 谷期。当时，由于计算机的运算能力较弱， 加之数据集方面的限制，人工智能的应用受 到了很大的制约
21世纪初，随着大数据和云计算等技术的出 现，人工智能再次进入了快速发展的阶段。 人们开始研究深度学习、自然语言处理、计 算机视觉等技术，人工智能的应用范围进一 步扩大
注意力机制（Attention Mechanism）是一种深度学习中常 用的技术，它允许模型在处理输入 数据时集中“注意力”于相关的部 分。这种机制通过模仿人类视觉和 认知系统的关注方式，帮助神经网 络选择性地关注并自动学习输入的 重要信息，以提高模型的性能和泛 化能力
02 模型 卷积神经网络 循环神经网络
01 我国的人工智能发展现状 我国高度重视发展人工智能， 在《新一代人工智能发展规划》 中提出，到2030年人工智能理 论、技术与应用总体达到世界 领先水平，成为世界主要人工 智能创新中心.2017年7月5日，首次发布 人工智能开放平台的整体战略、
技术和解决方案。这也是 AI技术首次整体亮相。语义分析 完成句法分析不 等于已经理解了 该语句，还需要 对语句的语义进 行分析。语义分 析的任务是把句 法分析得到的句 法成分与应用领 域中的目标表示 相关联，从而确 定语言所表达的 真正含义
自然语言处理的具体表现形式包括机器翻译、文本 摘要、文本分类、文本校对、信息抽取、语音合成、 语音识别等。近些年，自然语言处理研究已经取得 了巨大的进步，并逐渐发展成为一门独立的学科。
RLHF是一个涉及多个模型和不同训练阶段的复杂概念， 有以下3个训练步骤。
（1）预训练一个语言模型（Language Model，LM）；
（2）聚合问答数据并训练一个奖励模型（Reward Model， RM）；
（3）用强化学习（Reinforcement Learning，RL）方式微 调 LM。
2018年由谷歌提 出
下一个句子预测（Next Sentence Prediction，NSP）
是一个常见的自然语言处理任务，这个任务是指
给定两个句子A和B，让模型判断B是否是A的下一
个句子。这个任务可以让模型学习到语言中的句
子关系和连贯性
Token的概念在自然语言处理 中非常重要，因为它能够帮助 机器理解自然语言。在传统的 计算机编程中，我们通常会对 输入的数据进行格式化处理， 以便让计算机能够更好地处理 它们
生成对抗网络
02
深度学习的应用
图像识别是深度 学习应用最早的 领域之一，其本 质是图像分类问 题
0
0
0
2
3
4
基于深度学习的 机器翻译模型翻 译出来的结果更 加接近于人类的 表达逻辑，翻译 正确率得到了大 大的提高
借助深度学习的力量，机 器人可以在真实、复杂的 环境中代替人类执行一些 特殊任务，如人员跟踪、 排爆等，这在过去是完全 不可能的事
自动驾驶技术的 开发过程应用了 大量的深度学习 技术，如马路线 与路标的检测、 周边行驶车辆的 三维信息的获取 等
02
自然语言处理
自然语言处理是指利用 计算机对人类特有的语 言信息（包括形、音、
义等）进行处理.
0
0
1
2
自然语言处理技术通过 建立计算机的算法框架 来实现某个语言模型， 并对模型进行完善、评 估，最终用于设计各种 实用的自然语言应用系 统
02
AIGC的算法
体系 01%
变分自编码器模型 传统的自编码器模型主要 由两部分构成：编码器 （encoder）和解码器 （decoder） 编码器-解码器结构作为 语言模型的经典结构，模 拟的是人脑理解与表达自 然语言的过程，其中编码 器将语言转换成大脑所能 理解和记忆的内容，而解 码器则将人脑中所想的内 容表达出来
01 人工智能的起源
人工智能的概 念在20世纪50 年代被正式提 出。1950年， 一位名叫马尔 温·明斯基 （Marvin Minsky）的学 生与他的同学 合作建造了世 界上第一台神 经网络计算机， 这被视为人工 智能发展的一
个重要起点。
被誉为“计算 机之父”的艾 伦·图灵（Alan Turing）提出 了一个举世瞩 目的想法—— 图灵测试。按 照图灵的设想： 如果一台机器 能够与人类开 展对话而且不 能被辨别出机 器身份，那么 这台机器就具 有智能。
人工智能有三大核心要素，分别是数据、算法和算力。
数据是一切智慧体的学习资源，没有了数据，任何智慧 体都很难学习到知识。
算法是一组解决问题的规则，是计算机科学中的基础概 念。
算力是指计算机或其他计算设备在一定时间内可以处理 的数据量或完成的计算任务的数量。算力通常被用来描 述计算机或其他计算设备的性能，它是衡量一台计算设 备处理能力的重要指标。
第1章 认识AIGC
【本章导读】 本章首先介绍人工智能的定义、起源和发展等，然后介
绍大模型的相关知识，最后介绍AIGC的概念、应用场景 以及常见的AIGC大模型工具等。 【本章要点】 • 认识人工智能 • 认识大模型 • AIGC概述 • AIGC的应用场景 • 常见的AIGC大模型工具
目前，大语言模型的生态已初具规模。大语言模型 通常在大规模无标记数据上进行训练，以学习某种 特征和规则。
ChatGPT的背后就是大语言模型生成领域的新训练范式： RLHF（Reinforcement Learning from Human Feedback）， 即基于人类反馈的强化学习来优化语言模型。
1966年，麻省 理工学院
（Massachuse
tts Institute of Technology， MIT）的教授 约瑟夫·魏岑 鲍姆（Joseph Weizenbaum） 开发了一个可
以和人对话的
程序，并取名
为Eliza
图灵测试的方法很简单，就是让测试者与被测试者 （一个人与一台机器）隔开，测试者通过一些装置 （如键盘）向被测试者随意提问，被测试者自由回 答。进行多次测试后，如果有超过30%的测试者不能 确定被测试者是人还是机器，那么这台机器就通过 了测试
Token与大模型 Token是指文本中一个有意义 的单位，可以是单词、数字或 者标点符号。在自然语言处理 领域中，机器学习模型通常以 Token作为其输入单位， Token可以被理解为文本中的 最小单位
02 深度学习
02 深度学习
深度学习受到仿生学的启发，通过 模仿神经元、神经网络的结构以及 传输和接收信号的方式，达到学习 人类思维方式的目的
AIGC的发展历程可以大致分为以下3个阶段。 早期萌芽阶段：20世纪50年代—90年代中期，受限于科技水平，
AIGC的实验仅限于小范围实验。 沉淀积累阶段：20世纪90年代中期—21世纪10年代中期，AIGC
从实验向实用转变，但受限于算法，无法直接进行内容生成。
快速发展阶段：21世纪10年代中期至今，深度学习算法不断迭 代，AIGC生成内容种类丰富且效果越来越好。2017年微软人工 智能少年“小冰”推出世界上首部由人工智能写作的诗集《阳 光失了玻璃窗》，2018年NVIDIA（英伟达）发布的StyleGAN模 型可自动生成图片，2019年DeepMind发布的DVD-GAN模型可生 成连续视频。2021年Open AI推出DALL-E模型并更新迭代版本 DALL-E-2模型，该模型主要用于文本、图像的交互生成。
神经网络的学习也被称为 训练，指的是通过神经网 络所在环境的刺激作用调 整神经网络的自由参数， 使神经网络以一种新的方 式对外部环境做出反应的 一个过程
目前，深度学习技术在学术界 和工业界取得了大量的成果， 并受到高度重视，掀起了新一 轮的人工智能热潮
01 02 04 03
前馈神经网络是一种简单的深 度学习模型，各神经元分层排 列，每个神经元只与前一层的 神经元相连，接收前一层的输 出，并输出给下一层
定任务的模型中
01
以BERT为例讲解大模 型的预训练过程
掩码语言模型 掩码（Mask）语言模型是一种 基于神经网络的语言模型，它 可以在预训练阶段使用海量的 未标注语料库进行训练，然后 在有监督的任务中进行微调， 如文本分类、序列标注等
下一个句子预测
BERT是一种基于 Transformer架构 的大模型，它在
AIGC可以自动生成各种 类型的内容，例如文章、 视频、图片、音乐、代码 等，这样可以满足不同用 户的不同需求
AIGC可以利用机器学习 和深度学习等技术，不 断地更新和改进内容生 成的模型和算法
从商业层面看，AIGC本质上 是一种AI赋能技术，由于其 具有高质量、低门槛、高自 由度的生成能力，被广泛应 用于各类内容的相关场景， 服务于生产者
03 %
于人类产出的文本。这些模型可 以理解语言结构、语法、上下文 和语义联系，因为它们已经在大
量的文本数据上进行了训练。
大模型常常是在大量文本语料库，
04 如书籍、文章、网页上进行预训
%
练的。预训练是指将大量低成本 收集的训练数据放在一起，经过
某种方法去学习数据中的共性，
然后将其中的共性“移植”到特
01
（Large-scale Language Model， LLM）的简称。语言模型是一
%
种人工智能模型，它被训练成
可以理解和生成人类语言。
大模型本质上就是大的深度神经
02
网络，它通过学习大量的文本数
%
据，理解和生成人类语言，大模 型的特点是层数深、参数量大、
训练数据量大。
大模型主要用于处理和生成类似
02
深度学习中的常见模型
卷积神经网络是目前深度学习技术领 域中非常具有代表性的神经网络之一， 在图像分析和处理领域取得了众多突 破性的进展
生成对抗网络主要解决 的问题是如何从训练样 本中学习新样本，其中 判别模型用于判断输入 样本是真实数据还是训 练生成的假数据
0
0
0
0
1
2
3
4
循环神经网络在语音识 别、自然语言处理等领 域有着重要的应用
01
人工智能分类
弱人工智能、强人工智能与超人工智能
弱人工智能是指利用现有智能化 技术来改善经济社会发展所需要 的技术条件和发展功能，可以理 解为只能执行单一任务的人工智
能。 强人工智能也称通用人工智能， 在思考、解决问题、抽象思维、 理解复杂理念、快速学习等方面
都能与人类相媲美。
超人工智能（Artificial Super Intelligence，ASI）是在几乎 所有领域都大大超过人类认知 表现的任何智力的人工智能。
01 认识人工智能
人工智能是研究、开发用于模拟、延伸和扩展人的 智能的理论、方法、技术及应用系统的一门新的技 术科学。
人工智能研究如何使计算机模拟人的某些思维过程 和智能行为（如学习、推理、思考、规划等），是 一个以计算机科学为基础，由计算机、心理学、哲 学等多学科交叉融合的交叉学科、新兴学科。
2017年8月3日，腾讯正式发布 了人工智能医学影像产品—— 腾讯觅影。同时，还宣布成立 人工智能医学影像联合实验室。
2022年，全国一体化大数据中 心体系总体完成布局设计， “东数西算”工程正式全面启 动，人工智能基础设施加快建 设。
01
认识大模型
上下文理 解能力强大模型是大规模语言模型
03 AIGC概述
02 认识AIGC
随着自然语言生成技 术和AI模型的不断发 展，AIGC逐渐受到大 家的关注，目前已经 可以自动生成图片、 文字、音频、视频、 3D模型和代码等 AIGC可以根据用户 输入的关键词或要 求自动地生成内容， 无须人工编辑
AIGC可以利用深度 学习和强化学习等 技术，不断地学习 和优化内容生成策 略