信息科学原理期末复习题

知识不再是仅仅与个别具体的事物相联系，不再是仅仅反映个别事物运动状态及其 具体的变化方式，而成为与一类事物相联系，反映一类事物运动状态及其共同变化规律 的东西。 ⑵信息科学、信息论与通信理论的差别？
信息科学与信息论之间的区别是：前者研究的是包含语法信息、语义信息、语用信 息在内的全信息，后者研究的只是统计型的语法信息。
对信息科学的意义：鉴于香农信息论已在通信领域获得巨大成功这个基本事实，创 建信息科学理论基础的时候必须正确认识和对待香农理论。全信息理论与香农理论的关 系就是一种继承与发展的关系：继承了信息论的成功部分，突破了信息论的重大局限（包 括统计方法带来的局限，包括忽视语义信息和语用信息所带来的局限），建立了新的理 论体系，即全信息理论。 ⑹信息获取的必要性和充分性原理
工作原理解释：感知系统可以感受到环境中那些与目标有关的事物运动状态及其变 化方式（不是漫无目标），并把它表示出来（可以获得全信息，而不限于语法信息）；学 习与决策系统通过对这些输入的全信息进行相应的加工提炼，就可以生成相关的知识， 初步完成学习的任务。为了检验这样学得的知识是否有效，可以在目标引导下把这些知 识（一般还需要从知识库提取更多的知识）转换为解决问题的策略，然后按照策略控制
①模式识别是在信息获取阶段“传感与表示”和“注意与选择”的基础上进行的一 项操作，它的基本任务是要对由“传感系统”所获得、由“注意系统”所选择的语法信 息做出判断：这个语法信息是属于哪一个类别。
信息（模式）识别的基本原理如下： 第一，语法信息识别（分类）的基本原理是形式特征的比较。不同类别的信息的形 式特征也不相同， 因此,，理论上总是可以分辨（识别）的。 第二，识别的原则是：特征相似而认同，特征相异而拒斥。因此，建立信息类别特 征相似性的表示和度量是信息识别的重要任务。 第三，针对不同的信息模式性质，可以采用不同的识别方法：统计的方法，语言学 的方法，神经网络的方法等。 第四，由于识别环境存在固有的干扰，待识别的信息天然不理想，信息类别特征的 表达不完善，因此,，无论怎样精巧地设计信息识别系统,，完全无差错的识别是不现实 的,，除非识别的对象特别简单。 ②机器学习可以根据预定目标来“获取信息”和“学习（生成）知识”。
⑺计算机信息处理与人和动物认知的差别？ 目前的计算机信息处理与人类学习之间最大的区别就在于，人类学习基于全信息，
但是目前的机器系统原则上还不能真正利用全信息，只能利用语法信息。既然现有的机
器系统不能理解语义信息和利用语用信息，就不能不走“统计试凑”的技术途径，这是 当前机器系统在技术实现上的共同特征。 ⑻如何使用机器学习、神经网络、模式识别这些方法进行信息-智能转换？
能系统。 机器学习、神经网络、模式识别都是信息科学所研究的信息运动全过程中不同阶段
的技术方法。 ⑸香农信息论对通信工程和信息科学的意义？
对通信工程的意义：香农信息论用统计的方法建立了通信系统中信源信息的度量、 信道容量的度量以及保障通信系统信息传输有效性和可靠性的编码定理。对通信系统信 息规律的揭示和阐释可以说是淋漓尽致，直到今天，通信系统的信息理论仍然没有超出 它的框架，通信科学技术工作者至今还享受着它的惠益。
必要性：信息获取是整个信息过程（信息获取、信息传递、知识生成、策略生成、 策略传递、策略执行）的第一环节，准确及时地获取所需要的信息，对整个后续的信息 过程都具有基础性的意义。
充分性： ①一切事物的本体论信息乃是“事物所呈现的运动状态及其变化方式”，而不是事 物本身。这样，作为事物所呈现而不是事物本身的“运动状态及其变化方式”就具有了 相对的独立性，因而可以脱离开它的“源事物”而被转换和处理。这是信息可以被获取 的根据。 ②作为“事物所呈现的运动状态及其变化方式”的本体论信息可以通过该事物与其 它事物（人类的感觉器官和机器的传感系统）的相互作用而被后者所感受，条件是后者 对前者所呈现的运动状态及其变化方式敏感。但是人类的感觉器官和机器的传感系统都 只能感受到本体论信息的形式因素（语法信息），而不能感受到本体论信息的内涵（语 义信息和语用信息）。 ③传感系统得到的语法信息经过“注意与选择”以及“模式识别”以后，是符合认 识主体的目标所需要的语法信息，而且是已经知道了模式类属的语法信息。 ④借助第一类信息转换原理的作用，也可以获取全信息（如下图）。
⑺认知的基本功能 认知是人类认识世界活动的核心环节，它实现了由信息到知识（由现象到本质）的
质变过程，由语法信息生成形态性知识、由语法和语用信息生成效用性知识以及由形态 性知识和效用性知识生成内容性知识、由已有知识生成新知识。 ⑻智能生成过程
①信息获取原理的实质是“本体论信息-认识论信息”的转换 ②知识生成原理的实质是“认识论信息-知识”的转换 ③知识激活原理的实质是“知识-智能”的转换 这三者有机地结合在一起，就是完整的“知识外生态学规律”，也就是“信息-知识 -智能”的转换，这正是智能生成的本质机制。 ⑼什么是正则化？ 正则化在某种意义上来讲就是引入了参数的先验分布，减少了参数的选择空间，放 到广义线性模型中，就是对一些基函数作了取舍，避免了过拟合。 正则化本质就是加入惩罚项，约束优化空间。 ⑽无约束优化问题与有约束优化问题 有约束最优化问题：具有辅助函数和形态约束条件的优化问题。 无约束最优化问题：没有任何限制条件的优化问题。 工程实践中大多数问题都是具有约束的优化问题。 但在优化方法的处理上可以将有约束优化问题转化为无约束优化问题，然后按无约 束方法进行处理；或者是将有约束优化问题部分转化为无约束优化问题，再按有约束优 化问题来处理。 二、 基本原理与应用 ⑴知识与信息的联系和区别？ 某事物的本体论信息，是指该事物所呈现（所表述）的运动状态及其变化方式。 主体关于某事物的认识论信息，是指主体所表述的该事物运动状态及其变化方式， 包括运动状态及其变化方式的外在形式、内在含义和效用价值。 可见, 无论是本体论信息还是认识论信息，它们都与这个或那个具体的事物联系着； 事物不同，与它相联系的本体论信息和认识论信息也就不同。 某一类事物的知识是认识主体所表述的“该类事物运动状态及其变化规律”。
获得信息和知识并非信息过程的最终目的。人们获得信息和知识的最终目的是要利 用信息和知识来生成解决问题的策略，因为有了解决问题的策略，人们才能够凭借策略 的实施来改造和优化人类生存发展的环境。
研究“信息-知识-智能转换原理”，由信息生成知识，在目标的牵引下把知识演绎 成为求解问题的策略，然后把策略转变成行为作用于问题，从而成功的解决问题，实现 改造和优化人类生存发展环境的目标。 ⑷机器学习、神经网络、模式识别与信息科学的关系？
环境的变化，以便检验是否可以实现预期的目标。如果控制的结果能够实现预期目标， 就说明前面所学习到的新知识是有效的，可以把它存储在知识库内，以扩展知识库的知 识；如果检验的结果不能实现预期目标，就要根据误差的情况和目标的信息调整和优化 学习的策略，并进行与上述相似的检验，直至实现目标为止。
机器学习的基本原理可以归纳如下： 第一，机器学习系统必须设置明确的目的，以指导学习的领域和方向；机器学习系 统必须有反馈机制，以便通过学习效果与学习目的的比较来改进学习的性能。 第二，机器学习系统应当充分利用全信息，使系统能够具有理解的能力，并能利用 全信息做出学习的效果判断；机器学习系统必须具有相关领域的先验知识。 第三，当前大多数机器学习系统都不能利用全信息，因此只能采用“大量统计”的 方法和“随机凑试”的技术途径。 ③人工神经网络作为模式识别的一种手段，通过大量示例训练的方法，在模式的形 式或模式的特征与模式的类属之间建立某种非线性的映射关系，然后利用这种映射关系 对未知模式进行分类。 可供用来实现模式识别的人工神经网络有许多种不同的模型，应用最为广泛的是 MLP（多层感知机）人工学规律：知识由信息经过归纳而生成；知识又经过演绎而生成为策
略；其中的归纳方法和演绎方法可以根据需要而互相支持。
知识的内部生态学规律：知识内部在本能知识的支持下由欠成熟的经验知识通过完 善而生长成为成熟的规范知识、又由规范知识和经验知识通过沉淀而生长成为过成熟的 常识知识以及由常识知识通过某种复杂的进化机制而生长成为新增的本能知识。
信息论面向通信系统，只需要研究统计型语法信息，完全不需要关心非统计型信息， 更不需要关心语义信息和语用信息，而且只需要研究信息传递过程的有关规律；信息科 学面向以智能为核心的整体信息系统，就必须研究作为统计和非统计语法信息、语义信 息、语用信息三位一体的全信息，研究全信息在全部信息过程的规律。
通信理论研究的是信息在空间传递的基本原理，信息论是通信的数学理论，揭示了 通信系统的信息规律，支撑着通信理论。
机器学习可以根据预定目标来“获取信息”和“学习（生成）知识”。 模式识别是在信息获取阶段“传感与表示”和“注意与选择”的基础上进行的一项 操作，它的基本任务是要对由“传感系统”所获得、由“注意系统”所选择的语法信息 做出判断：这个语法信息是属于哪一个类别。 人工神经网络作为模式识别的一种手段，通过大量示例训练的方法，在模式的形式 或模式的特征与模式的类属之间建立某种非线性的映射关系，然后利用这种映射关系对 未知模式进行分类。 基于结构模拟的人工神经网络方法还可用于知识激活阶段，作为经验知识的激活方 法。人工神经网络是一类通过大规模信息样本训练而逐渐积累“经验性知识”和“经验 性智能策略”的人工智能系统，它们是典型的通过经验知识的激活而获得策略的人工智
通信不是人类社会唯一的信息活动，甚至也不是最深刻、最具核心意义的信息活动， 信息论（信息传递）是信息科学（全过程）的一个组成成分。
⑶信息-知识-智能转换原理必要性 信息科学的研究目标是扩展人类信息器官的功能，特别是扩展作为这些信息功能的
有机整体，即智力功能。具体地说，人类的智力功能是由信息获取、信息传递、知识生 成、策略生成、策略传递、策略执行这些功能构成的有机整体。
一、 基本概念 ⑴什么是全信息？什么是香农信息？ 我们把同时考虑事物运动状态及其变化的外在形式（称为语法信息）、内在含义（称 为语义信息）和效用价值（称为语用信息）的认识论信息称为“全信息”。 香农信息是统计型语法信息，具体特征：作为认识论信息，它的运动状态是明晰的； 而状态变化的方式是统计型的；只考虑这些运动状态及其变化方式的形式方面（语法信 息），不考虑它们的含义方面（语义信息）和效用方面（语用信息）。 ⑵什么是本体论信息？什么是认识论信息？ 某事物的本体论信息，是指该事物所呈现（所表述）的运动状态及其变化方式。 主体关于某事物的认识论信息，是指主体所表述的该事物运动状态及其变化方式， 包括运动状态及其变化方式的外在形式、内在含义和效用价值。 ⑶信息转换基本原理 信息科学的基本原理就是揭示如何把各种原始的信息资源有效地转换成为人类生 存与发展所需要的知识与智能产品的基本规律，简称为信息转换原理。 包含以下 6 个具体原理： ①信息获取原理：本体论信息到认识论信息的转换 ②信息传递原理：语法信息在空域中的转换 ③知识生成原理：认识论信息到知识的转换 ④知识激活原理：知识到策略的转换 ⑤策略执行原理：策略到行为的转换 ⑥策略优化原理：行为误差到策略优化的转换 我们把由本体论信息到全信息的转换称为“第一类信息转换原理”，而把由全信息 到知识、策略和行为的转换原理称为“第二类信息转换原理”。 ⑷语法信息、语义信息、语用信息 语法信息：指主体所表述的事物运动状态及其变化方式的外在形式。 语义信息：指主体所表述的事物运动状态及其变化方式的内在含义。 语用信息：指主体所表述的事物运动状态及其变化方式对于主体目标而言的效用价 值。 ⑸形态性知识、内容性知识、效用性知识 知识是认识主体所表述的“事物运动状态及其变化规律”。 把知识的外部形态称为“形态性知识”； 把知识的内在含义称为“内容性知识”； 把知识相对于主体目标而言的效用价值称为“效用性知识”。