基于阵列相机的多光谱成像系统光谱重建算法

０引言
多光谱成像是一个研究非常广泛的领域，覆盖了 从物质分类、颜色测量、地面成像以及天文成像等领 域。这方面的研究专注于与计算机视觉和图像绘制 相关的多光谱成像问题，尤其是建模、滤光片的选择、 噪声的鲁棒性、色彩一致性、光谱重新照明等。 Ａｂｒａｒｄｏ等…人指出，多光谱图像处理用７个光谱通 道和有限维线性模型就可以解决色彩一致性问题。 Ｍａｌｏｎｅｙ等拉１进一步研究了光谱分析模型。Ｊａａｓｋｅｌ． ａｉｎｅｎ等【３ Ｊ用主成分分析对两个数据集进行分析以构 建一个矢量模型，该模型常用来构造数据集。最近， Ｃｏｎｎａｈ等Ｈ１对用数码相机估测光谱反射率的一些线 性模型做出了比较。结论是最佳的平滑度有着最佳
２光谱反射率重建的算法
多光谱图像采集系统采集到的多光谱图像，需要
有相应的光谱估计算法重建出物体表面的光谱反射
比。光谱估计算法的流程如图３所示，其理论研究大
蒸簇誊差恼 体可以分成３个阶段【ｌ引。 计射率获曲取线光谱反Ｉ Ｌ一Ｌ对—比—评一估
重建出光 谱反射率
训练样本
硬件设备采集 相关图像数据
相关的光谱 反射率算法
图６滤光片的透过率峰值
２．４光谱反射率重建的具体算法 目前围内外对光谱重建问题也作出了很广泛的
研究，重建的方法各有优缺点，本课题根据自己的相 机系统提出了一种算法，但是该算法能不能有效地实
万方数据
１６
计算机与现代化
２０１０年第６期
现场景表面的光谱反射率重建，需要进一步实验验 证。具体算法如下：
ＳＵＮ Ｚｈｅｎ，ＳＨＩ Ｃｈａｏ－ｊｉａｎ，ＧＥ Ｊｉｎｇ
（Ｓｈ咄ｉ Ｍａｒｉｔｉｍｅ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２００１３５，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｒｅｃｏｖｅｒｙ ｏｆ ｓｕｒｆａｃｅ ｓｐｅｃｔｒａｌ ｒｅｆｌｅｃｔａｎｃｅ ｉｓ ｉｍｐｏｓｓｉｂｌｅ ｅｘｃｌｕｓｉｖｅｌｙ ｗｉｔｈ ｃｏｎｖｅｎｔｉｏｎａｌ ＲＧＢ ｃａｍｅｒａ８．Ｔｈｅ ａｐｐｅａｒａｎｃｅ ｏｆ ａ ｃａｐｔｕｒｅｄ ｉｍａｇｅ ｄｅｐｅｎｄｓ ｏｎ ｂｏｔｈ ｔｈｅ ｉｌｌｕｍｉｎａｔｉｏｎ ｓｐｅｃｔｒｕｍ ａｎｄ ｔｈｅ ｓｐｅｃｔｒａｌ ｒｅｔｌｅｃｔａｎｃｅｓ ｏｆ ｏｂｊｅｃｔｓ ｉｎ ｔｈｅ ｓｃｅｎｅ．Ｅｖｅｎ ｉｆ ｔｈｅ ｉＵｕｍｉ－ ｎａｔｉｏｎ ｓｐｅｃｔｒｕｍ ｉｓ ｋｎｏｗｎ．锄ＲＧＢ ｃａｍｅｒａ ｐｎ｝ｘ ｉｄｅｓ ｏｎｌｙ ３ ｍｅａｓｕｒｅｍｅｎｔｓ ｗｈｉｃｈ ｉｓ ｉｎｓｕｆｆｉｃｉｅｎｔ ｔＯ ｒｅｃｏｖｅｒ ｔｈｅ ｓｐｅｃｔｒａｌ ｒｅｆｌｅｃｔａｎｃｅ Ｔｈｉｓ ｐａｐｅｒ ｃｏｎｓｔｒｕｃｔｓ ａ ｓｅｔ ｏｆ ｍｕｌｔｉ·ｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｃａｎａｌ＇ｓ ｓｙｓｔｅｍ，ｗｈｉｃｈ ｃｏｎｓｉｓｔｓ ｏｆ １２ ＤＨ·ＨＶｌ３００Ｆ＇Ｍ ｃａｍｅｒａｓ．Ａｎｄ ｅｌｅｖｅｎ ｌｅｎ ａｒｅ ｉｎｓｔａｌｌｅｄ ｗｊＩｊｌ ｆｉｌｔｅｒｓ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｗａｖｄｅｎｇｔｈｓ．Ｔｈｅ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ觚ａｌｇｏｒｉｔｈｍ ｏｆ ｍｕｌｔｉ·ｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｇｒｏｕｐ ｏｆ ｃａｍｅｒａ ｔｏ ｒｅｃｏｖｅｒ ｔｈｅ ｓｐｅｃｔｒａｌ ｒｅｆｌｅｃｔａｎｃｅ ｏｆ ｔｈｅ ８４ｃｅｉｌｅ ｅｆｆｉｃｉｅｎｔｌｙ ａｎｄ ｒｏｂｕｓｔｌｙ，ｔｈａｔ ｃｏｍｂｉｎｅｓ ｗｉｔｈ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｕｓｉｎｇ
的性能。Ｉｍａｉ等【５０比较了窄带和宽带滤光片的多光 谱成像，结论表明，虽然在理论上窄带更可靠，但使用 宽带过滤器却获得了更好的效果。Ｉｍａｉ等旧。还从３３ 个滤光片中选用５个，构造了５通道多光谱相机。一 些研究已经证明了用光谱反射率对于图像的渲染和 恢复光泽的有效性，以上所有对多光谱图像的研究都 要测物体的光谱曲线，也有一些研究在成像时使用多 光谱光源。一种相机ＬＥＤ光源复合系统用来匹配目 标的光谱反射率，该系统用一个图像传感器测量并建 立物体光谱反射率数据库。一个投影仪和彩色相机 配上多路复用彩色光源可以获得物体表面ＲＧＢ值。 Ｖｒｈｅｌ【７１提出一种类似于鼠标样式的设备，该设备用 ＬＥＤ光源和光传感器测量一个点的光谱反射率。与 其他人的研究相比，Ｎａｙａｒ等喁１研究人员设计的复用
如图ｌ所示，用１２个大恒ＤＨ．ＨＶｌ３００ＦＭ型相 机构造的阵列相机多光谱成像系统，除了左上角一个 镜头外，其他１１个镜头分别装有波长不同的滤光片。 这种阵列相机能够拍摄同一场景的同一个物体，但是 每个镜头拍摄的图像，场景中的物体在每幅图像中的
图１多光谱阵列相机
图２ Ｍａｃｂｅｔｈ标准色板 位置是不一样的。这因此在进行光谱反射率重建前 需要对采集到的图像进行配准。图２是实验中使用 的Ｍａｃｂｅｔｈ标准色板，Ｍａｃｂｅ出色板中的每个小色块 是由特定的色料制成，因此每个小色块的光谱反射率 也是已知的，这样可以用阵列相机采集Ｍａｃｂｅｔｈ色板 的图像，实现其光谱反射率的重建。
图３光谱估计算法的流程 第１个阶段，光谱反射比估计算法的理论研究。
在这一阶段，研究对象是如何重建具有代表性的色卡 的光谱反射比，例如Ｍｕｎｓｅｌｌ色卡。由于光谱数据很 庞大．所以有学者提出应用ＰＣＡ方法来压缩数据，进 而重建出光谱反射比。随着多光谱图像采集系统想 实用化发展，光谱重建算法的理论研究开始进入新的
关键词：阵列相机；光谱反射率；多光谱；滤光片
中图分类号：ＴＰ３０１．６
文献标识码：Ａ
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００６－２４７５．２０１０．０６．００５
Ｍｕｌｔｉ－ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ Ｓｐｅｃｔｒａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ Ｇｒｏｕｐ ｏｆ Ｃａｍｅｒａ
ｍｕｌｔｉｐｋ ｓｐｅｃｔｒａｌ ａｎｄ ８０ｕｒｃｅｓ ｔｈｅ ｇｒｏｕｐｓ ｏｆ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｃａｍｅｒａ．Ｆｉｎａｌｌｙ，ｓｉｍｕｌａｔｉｏｎ ｖｅｒｉｆｉｅｓ ｔｈｅ ｖａｌｉｄｉｔｙ ｏｆ ｔｈｉｓ ｓｙｓｔｅｍ．
Ｋｅｙ ｗｏｒｄｓ：ｇｒｏｕｐｓ ｏｆ ｃａｍｅｒａ；ｓｐｅｃｔｒａｌ ｒｅｆｌｅｃｔａｎｃｅ；ｍｕｌｔｉ—ｓｐｅｃｔｒａｌ：ｆｉｌｔｅｒ
图５阵列相机的光谱响应曲线 ２．３滤光片的透过率峰值
由于本系统在相机镜头上加滤光片实现相机的 多通道技术，为了能够进行光谱反射率重建，需要知 道每个滤光片的透过率峰值，如图６是用光谱仪测得 的１１个滤光片透过率峰值。
图４ １９６５光源的光谱响应曲线
光源对物体光谱反射率的重建有很大影响，在不 同的光源下，同一场景的图像呈现出的颜色是不一样 的，而且在白天拍摄场景时，环境光源对光源的干扰 很难去除。即使可以忽略环境光源的影响，也需要用
出。ｓ。（入）是各个通道的光谱响应函数，Ｅ。（入）是照明体 的光强分布，ｒ（入）是物体的光谱反射比。
实际上，利用ＰＣＡ方法重建光谱反射比起步较 早。现在这项技术已经成熟。尽管这种方法可增加光 谱反射比重建的精确度，但增大测量通道的数量的同 时会增加多光谱成像系统的复杂程度。为了在一定 的通道内达到较高精度的光谱反射比的重建，可以将 ＰＣＡ与其他算法结合应用，例如，独立成分分析（Ｉｌｌ— ｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ，ＩＣＡ）。２００７年，Ｚｈａｏ Ｂｅｔａｓ提出重建光谱反射比的Ｒ矩阵法，进一步发展 了光谱估计算法。可以看作这是光谱估计算法发展 的第３个阶段。
２．１光源的光谱
光谱仪先测得光源的光谱。因为可以采用光谱响应 曲线已知的光源，图４是Ｉ）６５光源的光谱响应曲线。 ２．２相机的光谱响应曲线
对物体的光谱反射率进行重建时，需要知道相机 的光谱响应曲线。本系统使用的是１２个大恒ＤＨ— ＨＶｌ３００ＦＭ型相机，该相机是单色相机，采集的是灰 度图像。图５是从大恒官网上下载的ＤＨ—ＨＶｌ３００ＦＭ 型相机的光谱响应曲线，也可以根据一些测量商业相 机光潜响应的方法来测出ＤＨ—ＨＶｌ３００ＦＭ型相机的 光谱响应曲线。
然而这些与ＰＣＡ结合的其他算法也有它自己的 局限性。常规的光谱反射比的重建算法都是限制在 反射空问内的，因此．对于光谱反射比低的目标，它们 光谱反射率重建的精度都不高。这样的算法可能不 适用于光谱反射比低的物体对光谱重建的要求，所 以，迫切需要发展一种新的算法，对于光谱反射比低 的目标也可以高精度地重建其光谱反射比。在这种 条件下，基于自己的阵列相机系统，提出一种新的光 谱反射比重建算法。
谱成像阵列相机系统。该阵列相机采用１２个大恒ＤＨ·ＨＶｌ３００ＦＭ型相机，且１１个镜头装有波长不同的滤光片。本文结
合阵列相机多通道数的优势，提出一种ＭＳＩＳ－ＣＯＣ（Ｍｕｌｔｉ—ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ Ｇｒｏｕｐ ｏｆＣａｍｅｒａ）算法，能够可靠
并有效地重建场景的光谱反射率。仿真实验结果分析验证７该系统的有效性。
ห้องสมุดไป่ตู้
万方数据
２０１０年第６期
孙搌等：基于阵列相机的多光谱成像系统光谱重建算法
１５
阶段（即第２阶段）。颜色工作者建立了多通道数码 相机的数学模型，在降低数据采集设备的成本、简化 光谱估计算法、提高光谱重建精度等方面做了大量的 工作。多通道数码相机模型如下：
ｇｋ＝ｃ』Ｓｔ（ｋ）Ｅｋ（Ｘ）ｒ（入）ｄｈ 其中ｋ＝ｌ，２，…，Ｋ，段是数码相机第Ｋ个通道的输
收稿日期：２０１０－０２－０１ 作者简介：孙振（１９８５．），男，安徽阜阳人，上海海事大学商船学院硕士研究生，研究方向：多光谱图像处理及其应用。
万方数据
１４
计算机与现代化
２０１０年第６期
多路光源和一个线性光谱反射模型能够产生３０ｆｐｓ 的多光谱视频。
在国内，任鹏远、廖宁放等一１（２００５）根据大多数 天然物质表面的光谱反射率曲线比较平滑，可视为几 个基向量的线性组合这一原理．多光谱成像技术可以 准确快速地重建目标表面的光谱反射率。通过对 ＮＣＳ色卡进行主成分分析，得出了彩色印刷品光谱反 射率的基向量。张小燕、杨卫平等¨叫（２００７）构造了 一个６通道，８２ｂｉｔ多光谱相机（ＭＳＣ）模型作为图像 采集装置（包括一个三色数码相机和一个滤光片）。 在多光谱成像技术基础上，通过模拟相机的数码响 应，对物体表面的反射光谱进行重建。杨晓莉、刘波 等…１（２００９）对Ｍｕｎｓｅｌｌ色卡进行仿真实验，用主成 份分析法对光谱数据进行处理，实现对海量数据的压 缩和特征提取，采用基于多光谱成像技术的光谱估计 算法来实现有光泽Ｍｕｎｓｅｌｌ色卡的光谱反射率的重 建工作。但目前的算法都有其局限性，研究一种鲁棒 性好、精确度高、性能好的光谱反射率重建方法依然 是该研究领域所面临的一个巨大挑战，但又具有很大 的理论意义和实际应用价值。
本文根据自己构建的阵列相机多光谱成像系统， 提出一种针对本系统的光谱反射率重建方法。通过 对光谱反射率已知的Ｍａｃｂｅｔｈ标准色板进行光谱反 射率重建的实验，结果分析比较，说明算法的可行性 和有效性。
１系统的构造
获取物体光谱反射率的传统方法是利用分光光 度计。但分光光度计一次只能对一个像素测量，其工 作量非常大。为了高效地测量图像上每点的光谱反 射率，可以使用具有十几个到几十个通道的高光谱照 相机，但是这种结构复杂的仪器由于成本高而无法广 泛应用。由于人类生活中大多数物体表面的光谱反 射率曲线具有平滑的性质，所以反射率可以用比光谱 反射率波段数少得多的数据量来表示。这样，用通道 数很少的光学系统对物体所成的像中所包含物体表 面的光谱反射率信息，可以重建光谱反射率。多光谱 成像一般选用的是波长处于４００—７００ｎｍ可见光范 围的窄带滤光片。基于以上原理，笔者构造了阵列相 机多光谱成像系统。
２０１０年第６期 文章编号：１００６－２４７５（２０１０）０６－００１３－０４
计算机与现代化 ＪＩＳＵＡＮＪＩ ＹＵ ＸＩＡＮＤＡＩＨＵＡ
总第１７８期
基于阵列相机的多光谱成像系统光谱重建算法
孙振，施朝健，葛景
（上海海事大学，上海２００１３５）
摘要：针对传统三通道ＲＧＢ相机在光源光谱已知条件下不能完全恢复物体表面光谱反射率的缺点，本文构造一套多光