压缩感知介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
People Hear Without Listening
compressive sensing
奈奎斯特采样定理
• 公式： C B log2 N (bps) • 频域表示：当时间信号函数f(t)的最高频率 分量为fM时,f(t)的值可由一系列采样间隔小 于或等于1/(2fM)的采样值来确定,即采样点 的重复频率f ≥(2fM)。
启发
• 接上一点，人们据此开发了很多压缩算法 ，如经典的jpeg和MP3，但这些算法都存在 某种共性的问题。第一、它是发生在数据 已经被完整采集到之后；第二、它本身需 要复杂的算法来完成。相较而言，解码过 程反而一般来说在计算上比较简单，以音 频压缩为例，压制一个 mp3 文件的计算量 远大于播放（即解压缩）一个 mp3 文件的 计算量。
Original singal
Nyquist sampling
Compress
占用体积最 大已成为通 信系统的瓶 颈
需要很大的 计算量
Recovered signal
Interpolation
Decompress
启发
• 奈奎斯特采样忠实的反应了原始信号的每 一部分细节，但也带来了大量的冗余。 • 实际生活中大量的信号存在冗余性，虽然 数据量很大，但信息量不大。既大部分信 号都是“稀疏的”。 • 我们人类关注的大部分时候是信号中的 “奇异值”而不是每一个频率中的细节。
恢复方法
• 如何从不完整信号信号中恢复出原始信号 ？高斯消除法或最小二乘法都可以，但是 运算量太大。 • 匹配追踪：找到一个其标记看上去与收集 到的数据相关的小波；在数据中去除这个 标记的所有印迹；不断重复直到我们能用 小波标记“解释”收集到的所有数据。 • 就是先找出一个貌似是基的小波，然后去 掉该小波在图像中的分量，迭代直到找出 所有10w个小波.
压缩感知的基本过程和问题
y x ˆ y n0 y
1 ˆ ˆ) ? (x y ˆ y ˆ x
• 问题1如何设计测量矩阵 （尽量伪随机 测量） • 问题2如何恢复原始信号（ 是不可逆）
测量矩阵
• 作用：采集信号中关键的分量。 • 原理：最好的采样的方法是随机（伪）采 样。 • 常见矩阵： • a.普适：高斯矩阵，大维随机矩阵，随机游 走 • b.特殊：针对不同信号，如宽带频谱感知中 用差分矩阵。
• 基追踪（又名L1模最小化）：在所有与 (image)数据匹配的小波组合中，找到一个 “最稀疏的”基，也就是其中所有系数的 绝对值总和越小越好。（这种最小化的结 果趋向于迫使绝大多数系数都消失了。） • 又名BP算法
总结
• 压缩感知技术是一种抽象的数学概念，而 不是具体的操作方案。 • 压缩感知的思想是在采样时完成对信号的 压缩。 • 压缩感知对信号本身有适用条件，要求信 号本身是k稀疏的，而奈奎斯特采样则没有 • 压缩感知的恢复本质上最大后验（MAP）
Traditional way
• 首先，对原始图像做傅里叶或小波变换
x( ) a1 cos(1 1 ) b1 sin()
a2000000 cos( 2000000 2000000 ) b2000000 sin()
• 其中只有a1~a100000,b1~b100000有大于 1的值，其余都在系数都在0附近。 • 其次，用一种压缩算法（如jpeg）压缩原始 信号，丢弃掉冗余的信息，压缩时丢失掉 90%的原始信息（假设我们的压缩算法非 常高效）。
问题
• 如果你的照相机收集了如此多的数据只是 为了随后的删除，那么为什么不一开始就 丢弃那90%的数据，直接去除冗余信息不 仅可以节省电池电量，还能节省空间。 • 一个更一般的问题：是否有一种算法，可 以实现通过对信号的高度不完备线性测量 的高精确的重建。 • 这就是压缩感知理论。
• 压缩感知的发现是一次意外，话说一天， 当时是加州理工学院教授（现在去了斯坦 福）的Emmanuel Candès在研究名叫 Shepp-Logan Phantom的图像，这种标准 图像常被计算机科学家和工程师测试图像 算法。Candès检查的图像质量非常差，充 满了噪声，他认为名叫L1-minimization的 数学算法能去除掉噪声条纹，结果算法真 的起作用了，突然就觉得好神奇哦，
照片的压缩感知处理
• 如果只需要10万个分量就可以重建绝大部 分的图像，那何必还要做所有的200万次测 量，只做10万次不就够了吗？ • 问题是，1.相机预先不知道哪10万个分量系 数需要记录。如果“恰好”错过了最重要 的10万个，后果不堪设想。2. 采集到了10 万个重要的分量系数之后，如何恢复原始 信号。
应用
• 传感器网络：传感节点处理能力低下，电 量有限，压缩感知可以将电力消耗降低， 而相对计算量较大的数据恢复留给接受处 理端。 • 车联网 • 故障诊断等
Hale Waihona Puke Baidu
• “就像给出10位银行卡账号前三位，我能 猜出后7为一样，并且，屡试不爽”。 • 而且在图像变干净的同时，他发现图像的 细节出人意料的完美起来。
• 某一日Candes去幼儿园接孩子，正好遇上 了也在接孩子的陶哲轩，两人攀谈的过程 中他提到了自己手头的困难，于是陶哲轩 也开始想这个问题，它们成为两人合作的 压缩感知领域第一篇论文的基础。 • 陶哲轩：澳籍华人数学家，童年时期即天 资过人，目前主要研究调和分析、偏微分 方程、组合数学、解析数论和表示论。24 岁起，他在加利福尼亚大学洛杉矶分校担 任教授。他现在为该校终身数学教授。
compressive sensing
奈奎斯特采样定理
• 公式： C B log2 N (bps) • 频域表示：当时间信号函数f(t)的最高频率 分量为fM时,f(t)的值可由一系列采样间隔小 于或等于1/(2fM)的采样值来确定,即采样点 的重复频率f ≥(2fM)。
启发
• 接上一点，人们据此开发了很多压缩算法 ，如经典的jpeg和MP3，但这些算法都存在 某种共性的问题。第一、它是发生在数据 已经被完整采集到之后；第二、它本身需 要复杂的算法来完成。相较而言，解码过 程反而一般来说在计算上比较简单，以音 频压缩为例，压制一个 mp3 文件的计算量 远大于播放（即解压缩）一个 mp3 文件的 计算量。
Original singal
Nyquist sampling
Compress
占用体积最 大已成为通 信系统的瓶 颈
需要很大的 计算量
Recovered signal
Interpolation
Decompress
启发
• 奈奎斯特采样忠实的反应了原始信号的每 一部分细节，但也带来了大量的冗余。 • 实际生活中大量的信号存在冗余性，虽然 数据量很大，但信息量不大。既大部分信 号都是“稀疏的”。 • 我们人类关注的大部分时候是信号中的 “奇异值”而不是每一个频率中的细节。
恢复方法
• 如何从不完整信号信号中恢复出原始信号 ？高斯消除法或最小二乘法都可以，但是 运算量太大。 • 匹配追踪：找到一个其标记看上去与收集 到的数据相关的小波；在数据中去除这个 标记的所有印迹；不断重复直到我们能用 小波标记“解释”收集到的所有数据。 • 就是先找出一个貌似是基的小波，然后去 掉该小波在图像中的分量，迭代直到找出 所有10w个小波.
压缩感知的基本过程和问题
y x ˆ y n0 y
1 ˆ ˆ) ? (x y ˆ y ˆ x
• 问题1如何设计测量矩阵 （尽量伪随机 测量） • 问题2如何恢复原始信号（ 是不可逆）
测量矩阵
• 作用：采集信号中关键的分量。 • 原理：最好的采样的方法是随机（伪）采 样。 • 常见矩阵： • a.普适：高斯矩阵，大维随机矩阵，随机游 走 • b.特殊：针对不同信号，如宽带频谱感知中 用差分矩阵。
• 基追踪（又名L1模最小化）：在所有与 (image)数据匹配的小波组合中，找到一个 “最稀疏的”基，也就是其中所有系数的 绝对值总和越小越好。（这种最小化的结 果趋向于迫使绝大多数系数都消失了。） • 又名BP算法
总结
• 压缩感知技术是一种抽象的数学概念，而 不是具体的操作方案。 • 压缩感知的思想是在采样时完成对信号的 压缩。 • 压缩感知对信号本身有适用条件，要求信 号本身是k稀疏的，而奈奎斯特采样则没有 • 压缩感知的恢复本质上最大后验（MAP）
Traditional way
• 首先，对原始图像做傅里叶或小波变换
x( ) a1 cos(1 1 ) b1 sin()
a2000000 cos( 2000000 2000000 ) b2000000 sin()
• 其中只有a1~a100000,b1~b100000有大于 1的值，其余都在系数都在0附近。 • 其次，用一种压缩算法（如jpeg）压缩原始 信号，丢弃掉冗余的信息，压缩时丢失掉 90%的原始信息（假设我们的压缩算法非 常高效）。
问题
• 如果你的照相机收集了如此多的数据只是 为了随后的删除，那么为什么不一开始就 丢弃那90%的数据，直接去除冗余信息不 仅可以节省电池电量，还能节省空间。 • 一个更一般的问题：是否有一种算法，可 以实现通过对信号的高度不完备线性测量 的高精确的重建。 • 这就是压缩感知理论。
• 压缩感知的发现是一次意外，话说一天， 当时是加州理工学院教授（现在去了斯坦 福）的Emmanuel Candès在研究名叫 Shepp-Logan Phantom的图像，这种标准 图像常被计算机科学家和工程师测试图像 算法。Candès检查的图像质量非常差，充 满了噪声，他认为名叫L1-minimization的 数学算法能去除掉噪声条纹，结果算法真 的起作用了，突然就觉得好神奇哦，
照片的压缩感知处理
• 如果只需要10万个分量就可以重建绝大部 分的图像，那何必还要做所有的200万次测 量，只做10万次不就够了吗？ • 问题是，1.相机预先不知道哪10万个分量系 数需要记录。如果“恰好”错过了最重要 的10万个，后果不堪设想。2. 采集到了10 万个重要的分量系数之后，如何恢复原始 信号。
应用
• 传感器网络：传感节点处理能力低下，电 量有限，压缩感知可以将电力消耗降低， 而相对计算量较大的数据恢复留给接受处 理端。 • 车联网 • 故障诊断等
Hale Waihona Puke Baidu
• “就像给出10位银行卡账号前三位，我能 猜出后7为一样，并且，屡试不爽”。 • 而且在图像变干净的同时，他发现图像的 细节出人意料的完美起来。
• 某一日Candes去幼儿园接孩子，正好遇上 了也在接孩子的陶哲轩，两人攀谈的过程 中他提到了自己手头的困难，于是陶哲轩 也开始想这个问题，它们成为两人合作的 压缩感知领域第一篇论文的基础。 • 陶哲轩：澳籍华人数学家，童年时期即天 资过人，目前主要研究调和分析、偏微分 方程、组合数学、解析数论和表示论。24 岁起，他在加利福尼亚大学洛杉矶分校担 任教授。他现在为该校终身数学教授。