概率逻辑型生成式人工神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
PLDNN表示逻辑关系的通用性和实用性
• 用Breast Cancer Wisconsin (Original)数据集进行验证。 • 经测试，PLDNN仍然是可行的，它记住了所有逻辑关系，能根据病理
属性正确推断是否是良性或恶性肿瘤。 • 说明PLDNN表示逻辑关系的通用性和实用性。
PLGNN特点和用例
D1={A、C}
B D
A E
C
其含义是: 兴奋性连接在经过抑制后，如果激活的可能
度仍高于可信阀值beliefT，即后续事件j高可 能性发生，则加入到推断结果集
i
j
3、感知数据阶段 感知数据，如感知到E，实际结果集AS={E}，即 D2={E}，从而表示A, C->E （ D1 ->D2 ）
4、学习阶段 根据推断结果RS与实际结果AS差异，改变神经 网络结构
Ø 将ANN与符号逻辑两领域进行结合
l 改善ANN在逻辑关系上的表达能力， l 进而将ANN应用到更多的应用领域，如知识表示
和推理、专家系统、语义网和机器人学等领域。
神经符号 符号 ANN 计算 逻辑
神经符号计算领域 （neural-symbolic computation） http://www.neural-symbolic.org/
• 用zoo数据集（UCI机器学习数据集）进行验证。 • 剪裁成三个增量测试集(10,20)，(15,40)，(20,60)，经测试，PLDNN能自
动表示和存储逻辑关系，能根据测试集的动物属性值，正确推断动物 类别。 • 在最大的测试集中，有20个动物属性。其中，有些属性具有多值，如 “腿”有6个值。20个属性值的组合将形成一个巨大的问题空间。 PLDNN的优势是它根据数据按需建立连接，而不是预先建立固定的连 接，使其不必预先建立大量的神经元间连接。
PLGNN组成部件
A
1：神经元（N）
前端
后端
2：连接（L）
状态（State） =静息(0) | 激活(1)
PLGNN组成部件：连接子类
用于表示事物间的逻辑关系
2.1 PEL: positive excitory link
正向兴奋性连接
A
B
RL: A->B
A
B
2.2 NEL: negative excitory link
… …
… …
PLGNN的逻辑表示
用PLGNN组件来解决前面所提到的逻辑表示问题
B D
A E
C
例：A:动物 B:长鼻子 C:长脖子 D:大象 E:长颈鹿
逻辑关系： A, B->D A, C->E
正向兴奋性 当PLGNN感知到事物(如A、C)发生，相应神经元激活，这些神经
连接PEL
元会通过PEL兴奋激活所关联的神经元D、E
RS AS
差异情况
B
实际结果集AS (A,C)={E} 推断结果集RS(A,C)= {D} AS(A,C)-RS(A,C)={E} ，推测少了元素 RS(A,C)-AS(A,C)={D}， 推测多了元素 从而表示A, C->E
D
A
建立抑制性连接
E C
建立兴奋性连接
可行性验证
PLDNN表示逻辑关系的可行性
正向抑制性 连接PIL
负向抑制 性连接NIL
PLGNN处理不确定性的机制
实际中普通存在的不确定性
• 实际中，由于感知到的数据和信息的不完整性会引起不确定性，进而无法 形成确定的逻辑关系，为使PLDNN能实际应用，需有应对不确定性的机制
PLDNN应对不确定性
• 将可能度存储于连接权重之中，运用概率的方法来度量逻辑关系的可信度 • 随着更多的实例和多个属性被感知，权重不断更新，进而能不断改进对所
连接权重调整方法
连接权重调整的基本思路：
根据推断结果RS与实际结果AS差异，反馈性的类似Hebb律式的调整连接 权重，以便使PLGNN以后的推断结果与实际结果越来越一致，从而提高 推断的准确度
RS
AS
RS: reasoning set AS: actual set
末推断出发生， 但实际发生 推断错误
通过一个简单示例，比较直观的展示一下PLGNN的网络结构是如何表 示和存储这些逻辑关系
1. If 动物有毛 then 哺乳动物 2. If 动物产乳 then哺乳动物 3. If 动物有羽毛 then鸟 4. If 动物能飞，能生蛋 then鸟 5. If 哺乳动物能吃肉 then猛兽 6. If 哺乳动物有蹄 then有蹄动物 7. If 哺乳动物能反刍then有蹄动物 8. If 猛兽，黄褐色，深色斑点then猎豹 9. If 猛兽，黄褐色，黑色条纹 then虎 10. If 有蹄动物，长腿，长颈，黄褐色，深色斑点 then长颈鹿 11. If 有蹄动物，白，黑色条纹 then斑马 12. If 鸟，不飞，长颈，长腿，黑白相杂 then鸵鸟 13. If 鸟，不飞，游泳，黑白相杂 then企鹅 14. If 鸟，飞 then海燕
PLGNN的构建过程
感知数据 联想
感知数据 学习
D1 PLGNN
D2 PLGNN
PLGNN
RS 对D1推断的结果集RS PLGNN D2表示D1发生后的实际结果，从
而表示 D1 ->D2（或if D1 then D2）
1、感知数据阶段 感知数据，如感知到A、C，即D1={A、C}
B D
A E
C
假设PLGNN感知到A、C时，正处于如图所示状态
l 非全连接 l 网络结构不固定，连
接根据感知数据建立
如感知数据：有毛，并激活后续神经元，推断出哺乳动物 如感知数据：猛兽，黄褐色，斑点，激活后续神经元，推断出猎豹
PLGNN
识别哺乳动物类的PLGNN
集 成
识别鸟类的PLGNN
整张图表示两个PLGNN的集成，实现知识 累积： l 若神经元没关联，则直接加入就行，
如区域A的神经元“羽毛”与区域B没 关，直接加入 l 若神经元间有关联，则集成时合并和 建立连接，来修正网络。如神经元 “长腿”和“长颈”，区域A的与区域 B都有，则要合并连接和建立相应连接
通过PLGNN模型叠加，实现知识累积
升至国家战略高度，并促进工业升级，实现工业4.0
Ø 脑计划
• 世界主要科技强国均予启动了脑计划研究 • 中国“脑计划”列入“十三五”规划，提出“一体两翼”
的布局（脑认知的神经原理为“主体”，脑疾病诊治和类 脑智能为“两翼”。）
研究背景
Ø ANN与人类大脑相比，还存在很大局限性
虽在大规模图像分类、语音识别、人脸识别等领域取得 巨大进步，但缺乏逻辑推理和因果关系的表达能力等，所以， 还需借鉴生物脑机制，完善ANN，实现上述脑功能。
推断出发生， 但实际发生 推断正确
实际发生， 但末推断出发生
推断错误
连接权重调整方法
类似Hebb律反馈性的调整连接权重，来提高推断的准确率
PLGNN的动态形成
如何依据感知到的数据， 动态构建出神经网络？
PLGNN组件
PLGNN网络
PLGNN的动态形成方法可使其在持续感知数据下，通过不断的调整网络来 增加和更新其存储的逻辑关系，进而具有自学习和适应能力。
负向兴奋性连接
连接激活条件，即连接起作用时候
PEL.state =1 当 A.state= 1 作用对象：激活B
NEL.state =1 当 A.state= -1 作用对象：激活B
A
C
2.3 PIL: positive inhibitory link
正向抑制性连接
B
D
A
C
2.4 NIL: negative inhibitory link
ANN（Artificial Neural Network，人工神经网络）
问题
A
B
A
C
存储到一个神经网络
D
E
神经网络表示A, B->D
神经网络表示A, C->E
例：A:动物
B:长鼻子
C:长脖子
D:大象
B
A
C
E:长颈鹿
逻辑关系：
A, B->D
DΒιβλιοθήκη Baidu
E
A, C->E
单一神经网络不能表示上面两个关系
例： 当神经网络感知到A、C时，进行推断中， A、C会按照网络连接结构，会激活神 经元D、 E，而不是只激活E，从而表示出错误的逻辑关系A, C->D, E，而不是A, C->E
概率逻辑型生成式人工神经网络
Probabilistic Logical Generative Neural Network
(PLGNN)
目录
• 研究背景 • 问题 • 方案—PLGNN • 可行性验证 • PLGNN特点和用例
研究背景
Ø人工智能
• 世界主要科技强国均予以重点关注 • 今年，我国首次将人工智能写入政府工作报告，将其上
负向抑制性连接
B
D
PLGNN组成部件：连接子类
复合性连接(CL, composite link) 用于表示简单连接所不能表示的复杂逻辑关系 复合性兴奋性连接(CEL, composite excitory link)，由多个EL同时组成
复合性抑制性连接(CIL, composite inhibitory link)，由多个IL同时组成
表示逻辑关系的准确度
i
j
连接权重调整方法
连接权重调整基本思路：
RS
AS
差异情况
RS: reasoning set AS: actual set
根据推断结果RS与实际结果AS差异，共4种
情形
RS
AS
推断正确性
1
0
0
正确
2
0
1
错误
3
1
0
错误
4
1
1
正确
类似Hebb律反馈性的调整连接权重，以便使PLGNN以后的推断结果与实际结果 越来越一致，从而提高推断的准确率
PLGNN通过网络结构存储逻辑关系
: PEL : NEL : PIL : NIL
PLGNN的神经网络连接结构反映出了事物间的逻辑关系， 形成了知识图谱
PLGNN特点
l 依照感知数据的关系建立连接，用网络结构表示和存储感知数据的逻辑关系 l 不是层次性网络，而是网状结构，依据已存储逻辑关系进行推断
原因：感知激活的神经元A、C会向后激活其所连接的全部神经元，但神经网络 缺乏抑制机制，使其不能根据逻辑关系进行抑制，进而不能正确表示逻辑关系
方案
以神经网络能表示和存储逻辑关系为目标，设 计了逻辑型人工神经网络PLGNN，通过增加抑制性 连接、动态神经网络形成方法，使PLGNN能根据感 知到的数据，自动的建立和调整网络结构，进而动 态的表示数据内含的逻辑关系 方案包括 • PLGNN组成部件 • 处理不确定性的机制 • PLGNN的动态形成方法
• 用Breast Cancer Wisconsin (Original)数据集进行验证。 • 经测试，PLDNN仍然是可行的，它记住了所有逻辑关系，能根据病理
属性正确推断是否是良性或恶性肿瘤。 • 说明PLDNN表示逻辑关系的通用性和实用性。
PLGNN特点和用例
D1={A、C}
B D
A E
C
其含义是: 兴奋性连接在经过抑制后，如果激活的可能
度仍高于可信阀值beliefT，即后续事件j高可 能性发生，则加入到推断结果集
i
j
3、感知数据阶段 感知数据，如感知到E，实际结果集AS={E}，即 D2={E}，从而表示A, C->E （ D1 ->D2 ）
4、学习阶段 根据推断结果RS与实际结果AS差异，改变神经 网络结构
Ø 将ANN与符号逻辑两领域进行结合
l 改善ANN在逻辑关系上的表达能力， l 进而将ANN应用到更多的应用领域，如知识表示
和推理、专家系统、语义网和机器人学等领域。
神经符号 符号 ANN 计算 逻辑
神经符号计算领域 （neural-symbolic computation） http://www.neural-symbolic.org/
• 用zoo数据集（UCI机器学习数据集）进行验证。 • 剪裁成三个增量测试集(10,20)，(15,40)，(20,60)，经测试，PLDNN能自
动表示和存储逻辑关系，能根据测试集的动物属性值，正确推断动物 类别。 • 在最大的测试集中，有20个动物属性。其中，有些属性具有多值，如 “腿”有6个值。20个属性值的组合将形成一个巨大的问题空间。 PLDNN的优势是它根据数据按需建立连接，而不是预先建立固定的连 接，使其不必预先建立大量的神经元间连接。
PLGNN组成部件
A
1：神经元（N）
前端
后端
2：连接（L）
状态（State） =静息(0) | 激活(1)
PLGNN组成部件：连接子类
用于表示事物间的逻辑关系
2.1 PEL: positive excitory link
正向兴奋性连接
A
B
RL: A->B
A
B
2.2 NEL: negative excitory link
… …
… …
PLGNN的逻辑表示
用PLGNN组件来解决前面所提到的逻辑表示问题
B D
A E
C
例：A:动物 B:长鼻子 C:长脖子 D:大象 E:长颈鹿
逻辑关系： A, B->D A, C->E
正向兴奋性 当PLGNN感知到事物(如A、C)发生，相应神经元激活，这些神经
连接PEL
元会通过PEL兴奋激活所关联的神经元D、E
RS AS
差异情况
B
实际结果集AS (A,C)={E} 推断结果集RS(A,C)= {D} AS(A,C)-RS(A,C)={E} ，推测少了元素 RS(A,C)-AS(A,C)={D}， 推测多了元素 从而表示A, C->E
D
A
建立抑制性连接
E C
建立兴奋性连接
可行性验证
PLDNN表示逻辑关系的可行性
正向抑制性 连接PIL
负向抑制 性连接NIL
PLGNN处理不确定性的机制
实际中普通存在的不确定性
• 实际中，由于感知到的数据和信息的不完整性会引起不确定性，进而无法 形成确定的逻辑关系，为使PLDNN能实际应用，需有应对不确定性的机制
PLDNN应对不确定性
• 将可能度存储于连接权重之中，运用概率的方法来度量逻辑关系的可信度 • 随着更多的实例和多个属性被感知，权重不断更新，进而能不断改进对所
连接权重调整方法
连接权重调整的基本思路：
根据推断结果RS与实际结果AS差异，反馈性的类似Hebb律式的调整连接 权重，以便使PLGNN以后的推断结果与实际结果越来越一致，从而提高 推断的准确度
RS
AS
RS: reasoning set AS: actual set
末推断出发生， 但实际发生 推断错误
通过一个简单示例，比较直观的展示一下PLGNN的网络结构是如何表 示和存储这些逻辑关系
1. If 动物有毛 then 哺乳动物 2. If 动物产乳 then哺乳动物 3. If 动物有羽毛 then鸟 4. If 动物能飞，能生蛋 then鸟 5. If 哺乳动物能吃肉 then猛兽 6. If 哺乳动物有蹄 then有蹄动物 7. If 哺乳动物能反刍then有蹄动物 8. If 猛兽，黄褐色，深色斑点then猎豹 9. If 猛兽，黄褐色，黑色条纹 then虎 10. If 有蹄动物，长腿，长颈，黄褐色，深色斑点 then长颈鹿 11. If 有蹄动物，白，黑色条纹 then斑马 12. If 鸟，不飞，长颈，长腿，黑白相杂 then鸵鸟 13. If 鸟，不飞，游泳，黑白相杂 then企鹅 14. If 鸟，飞 then海燕
PLGNN的构建过程
感知数据 联想
感知数据 学习
D1 PLGNN
D2 PLGNN
PLGNN
RS 对D1推断的结果集RS PLGNN D2表示D1发生后的实际结果，从
而表示 D1 ->D2（或if D1 then D2）
1、感知数据阶段 感知数据，如感知到A、C，即D1={A、C}
B D
A E
C
假设PLGNN感知到A、C时，正处于如图所示状态
l 非全连接 l 网络结构不固定，连
接根据感知数据建立
如感知数据：有毛，并激活后续神经元，推断出哺乳动物 如感知数据：猛兽，黄褐色，斑点，激活后续神经元，推断出猎豹
PLGNN
识别哺乳动物类的PLGNN
集 成
识别鸟类的PLGNN
整张图表示两个PLGNN的集成，实现知识 累积： l 若神经元没关联，则直接加入就行，
如区域A的神经元“羽毛”与区域B没 关，直接加入 l 若神经元间有关联，则集成时合并和 建立连接，来修正网络。如神经元 “长腿”和“长颈”，区域A的与区域 B都有，则要合并连接和建立相应连接
通过PLGNN模型叠加，实现知识累积
升至国家战略高度，并促进工业升级，实现工业4.0
Ø 脑计划
• 世界主要科技强国均予启动了脑计划研究 • 中国“脑计划”列入“十三五”规划，提出“一体两翼”
的布局（脑认知的神经原理为“主体”，脑疾病诊治和类 脑智能为“两翼”。）
研究背景
Ø ANN与人类大脑相比，还存在很大局限性
虽在大规模图像分类、语音识别、人脸识别等领域取得 巨大进步，但缺乏逻辑推理和因果关系的表达能力等，所以， 还需借鉴生物脑机制，完善ANN，实现上述脑功能。
推断出发生， 但实际发生 推断正确
实际发生， 但末推断出发生
推断错误
连接权重调整方法
类似Hebb律反馈性的调整连接权重，来提高推断的准确率
PLGNN的动态形成
如何依据感知到的数据， 动态构建出神经网络？
PLGNN组件
PLGNN网络
PLGNN的动态形成方法可使其在持续感知数据下，通过不断的调整网络来 增加和更新其存储的逻辑关系，进而具有自学习和适应能力。
负向兴奋性连接
连接激活条件，即连接起作用时候
PEL.state =1 当 A.state= 1 作用对象：激活B
NEL.state =1 当 A.state= -1 作用对象：激活B
A
C
2.3 PIL: positive inhibitory link
正向抑制性连接
B
D
A
C
2.4 NIL: negative inhibitory link
ANN（Artificial Neural Network，人工神经网络）
问题
A
B
A
C
存储到一个神经网络
D
E
神经网络表示A, B->D
神经网络表示A, C->E
例：A:动物
B:长鼻子
C:长脖子
D:大象
B
A
C
E:长颈鹿
逻辑关系：
A, B->D
DΒιβλιοθήκη Baidu
E
A, C->E
单一神经网络不能表示上面两个关系
例： 当神经网络感知到A、C时，进行推断中， A、C会按照网络连接结构，会激活神 经元D、 E，而不是只激活E，从而表示出错误的逻辑关系A, C->D, E，而不是A, C->E
概率逻辑型生成式人工神经网络
Probabilistic Logical Generative Neural Network
(PLGNN)
目录
• 研究背景 • 问题 • 方案—PLGNN • 可行性验证 • PLGNN特点和用例
研究背景
Ø人工智能
• 世界主要科技强国均予以重点关注 • 今年，我国首次将人工智能写入政府工作报告，将其上
负向抑制性连接
B
D
PLGNN组成部件：连接子类
复合性连接(CL, composite link) 用于表示简单连接所不能表示的复杂逻辑关系 复合性兴奋性连接(CEL, composite excitory link)，由多个EL同时组成
复合性抑制性连接(CIL, composite inhibitory link)，由多个IL同时组成
表示逻辑关系的准确度
i
j
连接权重调整方法
连接权重调整基本思路：
RS
AS
差异情况
RS: reasoning set AS: actual set
根据推断结果RS与实际结果AS差异，共4种
情形
RS
AS
推断正确性
1
0
0
正确
2
0
1
错误
3
1
0
错误
4
1
1
正确
类似Hebb律反馈性的调整连接权重，以便使PLGNN以后的推断结果与实际结果 越来越一致，从而提高推断的准确率
PLGNN通过网络结构存储逻辑关系
: PEL : NEL : PIL : NIL
PLGNN的神经网络连接结构反映出了事物间的逻辑关系， 形成了知识图谱
PLGNN特点
l 依照感知数据的关系建立连接，用网络结构表示和存储感知数据的逻辑关系 l 不是层次性网络，而是网状结构，依据已存储逻辑关系进行推断
原因：感知激活的神经元A、C会向后激活其所连接的全部神经元，但神经网络 缺乏抑制机制，使其不能根据逻辑关系进行抑制，进而不能正确表示逻辑关系
方案
以神经网络能表示和存储逻辑关系为目标，设 计了逻辑型人工神经网络PLGNN，通过增加抑制性 连接、动态神经网络形成方法，使PLGNN能根据感 知到的数据，自动的建立和调整网络结构，进而动 态的表示数据内含的逻辑关系 方案包括 • PLGNN组成部件 • 处理不确定性的机制 • PLGNN的动态形成方法