信息论与密码学介绍

对消息ai 确定一个非负的实数 i , 作为消 息的 重量 ，即权重系数。
构造重量空间
X a1 , a2 , , ai , , an W ( X ) , ,, ,, 1 1 i n
定义信息的 加权熵
n
加权熵从某种 程度上反映了 人的主观因素。
i 1 j 1 n m
H(X/Y) 表示输出端在收到一个符号后，信源X的
不确定度,若H(X/Y)0,表示信源X尚存不确定性，所 以这个条件熵称为信道疑义度，也是因为信道干扰 造成了信息的损失，因此也称损失熵. 如果没有损失, 那么损失熵H(X/Y)=0,一般情况下不确定度H(X/Y)小 于H(X)，说明经过信道传输，总能消除一些信源的 不确定性，从而获得一些信息。
H(Y/X) 表示输入端发出一个符号后，信宿Y的不
确定度,若H(Y/X)0，表示信宿Y尚存的不确定性， 这是因为信道噪声造成的，因此称噪声熵.
3
联合熵
n m
H ( XY ) p(ai b j ) I (ai b j )
i 1 j 1 m
p(ai b j ) log p(ai b j )
X Y
名称
符号
关系式
图示
X Y
H ( XY ) H ( X ) H (Y ) X 联 X ) H ( Y ) H ( H ( XY ) 合 Y H ( X ) H (Y ) I ( X ; Y ) 熵 H ( X ) H (Y ) I ( X ; Y ) Y X
熵
有限值
确定值 与信源是否输出无关 信源的平均不确定度
信息量
可为无穷大
一般为随机量 接收后才得到信息 消除不定度所需信息
信源熵与信息量的比较
总括起来，信源熵有三种物理含义： 1 信源熵H(X)表示信源输出后，离散消息
所提供的平均信息量。
2 3
信源熵H(X)表示信源输出前，信源的平 均不确定度。 信源熵H(X)反映了变量X的随机性
正好是经过信道传输后，所消除的信源的不确定性， 从而获得的信息.
先验不确度 后验不确定度
I (Y ; X ) H (Y ) H (Y X )
表示发送X前、后，关于Y的平均不确定
度减少的量。
H(Y/X)正好是通信后，所消除的信宿Y的不确 定性，从而获得了一些信息.
各种熵之间的关系
H(X) ,H(Y) －信源熵，无条件熵 H(X/Y) －疑义度，损失熵
图示
X Y
无 H (X ) 条 件 熵
H (Y )
X Y
名称 符号
关系式
图示
源自文库
X Y Y Y H ( ) H ( ) H ( XY ) H ( X ) X X
条 件 熵
H (Y ) I ( X ; Y )
X ) H ( XY ) H (Y ) H ( Y H (X ) Y H ( X ) I ( X ;Y )
4
互信息量
信宿Y的数学模型为：
Y b1 , b 2 , , b j , , b m P(Y ) p(b ), p(b ), , p(b ), , p(b ) 2 j m 1 0 p(b j ) 1, p(b j ) 1
j 1 m
引言
信息论主要研究信息的测度、信道容量、
信息率失真函数，与这三个概念相对应的香
农三定理以及信源和信道编码.它是用概率论
和数理统计方法，从量的方面来研究通信系
统的信息如何获取、加工、处理、传输和控
制的一门科学。
通信系统模型
信源： 消息的来源 译码器：把信道输出的信号 编码器：把消息变换成信号 反变换 信道:传递信号的媒介,在物理 信宿：信息的接受端 线路上划分的逻辑通道。 噪声：信道中的干扰
i 1 j 1
n
X Y H(X Y)
称疑义度,或损失熵.
X Y H (Y X )
称噪声熵.
X Y H ( XY )
4
加权熵
香农信息的局限： 没有考虑收信者的主观特性和主观意义, 不考虑收信者主观感受的不同，同一消 息对任何收信者，所得信息量相同。
设信源为:
X a1 , a2 , , ai , , an P ( X ) p (a ), p ( a ), , p (a ), , p (a ) 1 2 i n
提醒:不确定度表示含有多少信息，信息量表示随机事件
发生后可以得到多少信息。
2
联合自信息量
I (aib j ) log p(aib j )
当X与Y相互独立时 ,有 p(ai b j ) p(ai ) p(b j )，
有
I (ai b j ) log p(ai ) log p(b j ) I (ai ) I (b j )
一、如何度量信息 二、信道容量 三、信息率失真函数 四、香农三大编码定理 五、常用的编码方法 六、信息论与密码体制的安全测度
一、如何度量信息
二、信道容量 三、信息率失真函数 四、香农三大编码定理 五、常用的编码方法 六、信息论与密码体制的安全测度
一、如何度量信息
信息是由信源发出的，在研究度量信息之前，首先研究一下信源。
H ( X ) i p(ai ) log p(ai )
i 1
5
平均互信息量
I (ai ; b j )和I (b j ; ai )还是一个随机变量值 ， 还不能从整体上作为信 道中信息流通 的度量。
Y对X的 平均互信息量
也称平均交互信息量或交互熵
I ( X ;Y ) E[ I (ai ; b j )] p(aib j ) I (ai ; b j )
H(Y/X) －噪声熵
H(XY)－联合熵
I(X;Y)－平均互信息量，交互熵
名称 符号
关系式
H ( X ) H ( X ) I ( X ;Y ) Y H (X ) Y H ( X ) H ( XY ) H (Y ) X H (Y ) H (Y ) I ( X ; Y ) X H (Y ) X H (Y ) H ( XY ) H ( X ) Y
信源熵和平均自信息量两者在数值上是 相等的，但含义并不相同。信源熵表征 信源的平均不确定度，平均自信息量是 消除信源不确定度所需要的信息的量度。 信源一定，不管它是否输出离散消息， 只要这些离散消息具有一定的概率特性， 必有信源的熵值，这熵值在总体平均的 意义上才有意义，因而是一个确定值。
在离散信源的情况下，信源熵的值是 有限的。而信息量只有当信源输出离散消息 并被接收后，才有意义。这就是给予接收者 的信息度量。这值本身可以是随机量，如前 面所讲的自信息量。也可以与接收者的情况 有关。当信源输出连续消息时,信息量的值 可以是无穷大。
信源
离 散 信 源 连 续 信 源
单符号
随机变量
多符号
随机矢量
随机过程
1、单符号的离散信源
单符号离散信源的数学模型为：
X a1 , a2 , ai , , an P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n 其中，p(ai )满足0 p(ai ) 1, p(ai ) 1
信息论与密码学
之后，信息理论安全模型又引入到模糊提 取中，即从生物特征等模糊保密数据中直接提 取出密码体制中所需要的密钥。无条件安全密 钥协商和模糊提取有共同之处，都需要纠错和 从部分保密的数据中提取密钥，因此信息论、 纠错码、无条件认证码等理论与技术的成熟为 无条件安全密钥协商和模糊提取的研究奠定了 坚实的基础。
2
条件熵
p(ai b j ) I (ai b j )
j 1 i 1
m
H ( X Y ) E[ I (ai b j )]
m n
p(ai b j ) log p(ai b j )
j 1 i 1
n
H (Y X ) E[ I (b j ai )]
p(ai b j ) log p(b j ai )
i 1 j 1
n
m
p(ai b j ) log
i 1 j 1
n
m
p(ai b j ) p(ai )
同理，X对Y的平均互信息：
I (Y ; X ) p (ai b j ) log
i 1 j 1
n
m
p (b j ai ) p (b j )
平均互信息的物理意义
I ( X ;Y ) p(aib j ) log p(ai b j ) log p(ai )
现代密码学——
信息论与密码学介绍
计算机科学与技术学院
信息论与密码学
信息论从一诞生就与密码学结下了不解之 缘。Shannon最早在1949年将信息论引入到 密码学中，提出了完善保密的体制；而完善保 密体制要求密钥和明文至少一样长，使得完善 保密在现实中难以实现。直到最近十几年量子 密码的研究，又使得信息理论安全模型重新被 推回到研究者的视野中，无条件安全密钥协商 成为研究热点。
p(a b ) 1。
i 1 j 1 i j
n
m
对单个信息 a i
自信息量 联合自信息量 条件自信息量 互信息量
信息量
条件互信息量
1
自信息量
I (ai ) log p (ai )
单位：比特(2为底)、奈特（e为底）、
笛特/哈特（10为底）
I (ai ) 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量。
信源发出消息ai,信宿收到bj,二者的比正好体 现出其交互信息量.
5
条件互信息量
I (ai ; b j ck ) log p(ai b j ck ) p(ai ck )
I (ai ; b j ck ) I (ai ; ck ) I (ai ; b j ck ) I (ai ; ck b j ) I (ai ; b j ) I (ai ; ck b j )
联合自信息量代表X与Y同时发生时的信息量
3
条件自信息量
I (ai bj ) log p(ai bj )
I (b j ai ) log p(b j ai )
自信息量、条件自信息量和联合自信息 量之间有如下关系式：
I (aib j ) log p(aib j ) log p(ai )p(b j ai ) I (ai ) I (bj ai ) log p(b j )p(ai b j ) I (b j ) I (ai b j )
ck 是 bj ，也是 a i 的已知条件。
信源整体的信息量如何度量？
加权熵
信源熵
联合熵 条件熵
信源整 体的信 息量
平均互信息量
1
信源熵
信源熵：各离散消息自信息量的数 学期望，即信源的平均自信息量。 还称为信源的信息熵；香农熵；无条 件熵；熵函数；熵的单位：比特/符号。
n 1 H ( X ) E[ I (ai )] E[log2 ] p(ai ) log2 p(ai ) p(ai ) i 1
H(X ) H(X Y )
i 1 j 1 n m


平均互信息量是收到Y前、后关于X的 不确定度减少的量，即由Y获得的关于X的平
均信息量。
H(X/Y) 表示输出端在收到Y后，信源X的不确定
度, 说明经过信道传输，总能消除一些信源的不确定 性，从而获得一些信息。则: I(X;Y)=H(X)-H(X/Y)
i 1 n
考虑有两个随机事件的离散信源数学模型 为：
XY a1b1 , , a1bm , , anb1 , , anbm P( XY ) p(a b ), , p(a b ), , p(a b ), , p(a b ) 11 1 m n 1 n m 其中， 0 p(ai b j ) 1(i 1,2, , n; j 1,2, , m)，
定义b j 对ai的互信息量为 I (ai ; b j ) log2 p (ai b j ) p (ai )
(i 1,2, , n; j 1,2, , m)
p(ai b j ) 称为后验概率 ， 是指b j已知的情况下ai的概率;
p(ai )称为先验概率 , 是指对b j 一无所知的情况下的概 率。