一种基于复振幅调制的增强现实全息显示方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201710168654.9
(22)申请日 2017.03.21
(71)申请人 东南大学
地址 211189 江苏省南京市江宁区东南大
学路2号
(72)发明人 祁怡君　夏军　
(74)专利代理机构 南京苏高专利商标事务所
(普通合伙) 32204
代理人 柏尚春
(51)Int.Cl.
G02B 27/01(2006.01)
(54)发明名称
一种基于复振幅调制的增强现实全息显示
方法
(57)摘要
本发明公开了一种基于复振幅调制的增强
现实全息显示方法，包括：1)布设点光源、相位型
空间光调制器、透镜和滤波光阑，使点光源发出
的光波依次经过相位型空间光调制器、透镜和滤
波光阑；2)获得复振幅光场的参数；3)利用双相
位分解的复振幅调制方法对复振幅光场编码，得
到经编码的纯相位全息图；4)将编码的纯相位全
息图传输到相位型空间光调制器中，使点光源发
出的光波在相位型空间光调制器中进行相位调
制后射出，实现重建图像与现实场景的叠加。

本
发明的方法能够通过复振幅调制避免随机相位
带来的全息成像中的散斑问题，增强图像对比
度，同时能够通过使用点光源照明，增大成像的
景深和视角。

权利要求书2页 说明书7页 附图1页CN 106842575 A 2017.06.13
C N 106842575
A
1.一种基于复振幅调制的增强现实全息显示方法，其特征在于，包括以下步骤：
1)布设点光源、相位型空间光调制器、透镜和滤波光阑，使点光源发出的光波依次经过相位型空间光调制器、透镜和滤波光阑；
2)根据最终重建图像，获得相位型空间光调制器所需生成的复振幅光场的位置、振幅和相位参数；
3)根据矢量分解原理，将所述复振幅光场各个像素的光矢量分解为两个纯相位值，得到与原图大小相等的两张纯相位全息图；利用棋盘格图样对所述两张纯相位全息图进行采样合成，在合成得到的纯相位全息图上加上倾斜平面波因子，得到经编码的纯相位全息图；
4)将步骤3)得到的经编码的纯相位全息图传输到相位型空间光调制器中，使点光源发出的光波在相位型空间光调制器中进行相位调制后射出，实现重建图像与现实场景的叠加。

2.根据权利要求1所述的方法，其特征在于，所述透镜与滤波光阑之间设有波导或第一分光棱镜，通过所述波导或第一分光棱镜实现重建图像与现实场景的叠加。

3.根据权利要求1所述的方法，其特征在于，所述相位型空间光调制器为反射式相位型空间光调制器，点光源发出的光波经反射镜或第二分光棱镜到达反射式相位型空间光调制器。

4.根据权利要求1所述的方法，其特征在于，根据所述倾斜平面波因子调整所述滤波光阑的位置及大小，使全息图的零级波透过所述滤波光阑，同时遮挡空间光调制器的零级波干扰，在紧贴所述滤波光阑的人眼视网膜上成像。

5.根据权利要求4所述的方法，其特征在于，所述滤波光阑为矩形滤波光阑，滤波光阑位于纯相位全息图的频谱面(u，v)，所述频谱面平行于相位型空间光调制器平面(x，y)和透镜平面，所述频谱面原点(0，0)与透镜中心、相位型空间光调制器中心以及点光源在同一直线上，所述直线垂直于所述频谱面，(u，v)坐标轴的正方向与相位型空间光调制器平面坐标轴(x，y)的正方向相同。

6.根据权利要求5所述的方法，其特征在于，所述滤波光阑中心的位置坐标为
滤波光阑的大小为u轴方向v轴方向d1为点光源与相位型空间光调制器的垂直光路距离，d2为相位型空间光调制器与透镜的垂直光路距离，d3为滤波光阑与透镜的垂直光路距离，d3由透镜成像公式得出。

7.根据权利要求1所述的方法，其特征在于，步骤2)中，获得所述复振幅光场的位置的方法为：
计算所述复振幅光场与相位型空间光调制器的衍射距离l1：
其中，l2＝d1，为点光源与相位型空间光调制器的垂直光路距离；l3由下式得出：
其中，d2为相位型空间光调制器与透镜的垂直光路距离，f为透镜的焦距，d3为透镜到滤
波光阑的垂直光路距离，d3由透镜成像公式得出，d4为最终重建图像与人眼
的垂直光路距离。

8.根据权利要求1所述的方法，其特征在于，步骤3)中，所述棋盘格图样为M1(iΔx0，jΔy0)、M2(iΔx0，jΔy0)的图样，M1(iΔx0，jΔy0)和M2(iΔx0，jΔy0)满足：
M1(iΔx0，jΔy0)+M2(iΔx0，jΔy0)＝1
其中，Δx0、Δy0为空间光调制器的像素间距，i、j为像素点的标号，i∈(1，N)，j∈(1，M)，i、j为整数。

9.根据权利要求7所述的方法，其特征在于，所述复振幅光场表示为：
其中，A(x，y)表示复振幅光场的振幅，表示复振幅光场的相位；
像素化后分辨率为M×N的输入面(x，y)的纯相位编码公式为：
φ(iΔx0，jΔy0)＝M1(iΔx0，jΔy0)θ1(iΔx0，jΔy0)
+M2(iΔx0，jΔy0)θ2(iΔx0，jΔy0)+2πiΔx0 sinα/λ
其中，φ(iΔx0，jΔy0)为输入到空间光调制器的相位值，Δx0、Δy0为空间光调制器的像素间距，2πiΔx0 sinα/λ为左右倾斜的倾斜平面波因子，λ为光波波
长，i、j为像素点的标号，i∈(1，N)，j∈(1，M)，i、j为整数，θ1(iΔx0，jΔy0)和θ2(iΔx0，jΔy0)由以下两公式得出：
A max为A(x，y)的最大值。

一种基于复振幅调制的增强现实全息显示方法
技术领域
[0001]本发明涉及一种全息显示方法，特别是一种基于复振幅调制的增强现实全息显示方法。

背景技术
[0002]增强现实技术是将计算机生成的虚拟物体、场景或系统提示信息叠加到真实世界场景中，增强用户对现实世界的感知。

随着这一课题的不断发展，如今已经出现了一系列用于增强现实显示的技术与产品，其中微软的Hololens基于衍射式平视显示原理，采用先进的传感器、微型高分辨率高对比度的微型数字光处理器投影(DLP Pico)技术，实现了较好的增强现实显示效果。

然而，由于技术和器件的限制，在可穿戴设备上实现真三维，大视角，实时计算的增强现实显示还存在一些障碍。

[0003]基于复振幅调制的全息显示技术是一种能够重建物体复振幅光场的技术，将该技术应用于增强现实显示系统能够提高显示内容的景深，降低人眼频繁聚焦的疲劳。

同时，利用点光源作为光源能够有效增大视场角，缓解传统的衍射式增强现实平显系统视场角小无景深的问题。

采用相位型空间光调制器能够大幅提高衍射效率，同时使得成像系统更加轻便适用于可穿戴设备。

发明内容
[0004]发明目的：本发明目的是提供一种基于复振幅调制的增强现实全息显示方法，该方法能够通过复振幅调制避免随机相位带来的全息成像中的散斑问题，增强图像对比度，同时能够通过使用点光源照明，增大成像的景深和视角，可适用于实时计算的全息成像。

[0005]技术方案：本发明所述的基于复振幅调制的增强现实全息显示方法，包括以下步骤：
[0006]1)布设点光源、相位型空间光调制器、透镜和滤波光阑，使点光源发出的光波依次经过相位型空间光调制器、透镜和滤波光阑；
[0007]2)根据最终重建图像，获得相位型空间光调制器所需生成的复振幅光场的位置、振幅和相位参数；
[0008]3)根据矢量分解原理，将所述复振幅光场各个像素的光矢量分解为两个纯相位值，得到与原图大小相等的两张纯相位全息图；利用棋盘格图样对两张纯相位全息图进行采样合成，在合成得到的纯相位全息图上加上倾斜平面波因子，得到经编码的纯相位全息图；
[0009]4)将步骤3)得到的经编码的纯相位全息图传输到相位型空间光调制器中，使点光源发出的光波在相位型空间光调制器中进行相位调制后射出，实现重建图像与现实场景的叠加。

[0010]其中，透镜与滤波光阑之间设有波导或第一分光棱镜，通过波导或第一分光棱镜实现重建图像与现实场景的叠加；相位型空间光调制器为反射式相位型空间光调制器，点
光源发出的光波经反射镜或第二分光棱镜到达反射式相位型空间光调制器。

[0011]为了避免重建图像受到器件零级波的影响，根据倾斜平面波因子调整滤波光阑的位置及大小，使滤波光阑为矩形滤波光阑，滤波光阑位于纯相位全息图的频谱面(u，v)，即点光源关于透镜的成像面，频谱面(u，v)平行于空间光调制器平面(x，y)和透镜平面，频谱面(u，v)原点(0，0)与透镜中心、空间光调制器中心以及点光源在同一直线上，该直线垂直于频谱面(u，v)，(u，v)坐标轴的正方向与空间光调制器平面坐标轴(x，y)的正方向相同；滤
波光阑中心的位置坐标为矩形滤波光阑的大小为u轴方向v
轴方向d1为点光源与相位型空间光调制器的垂直光路距离，d2为相位型空
间光调制器与透镜的距离，d3为滤波光阑与透镜的距离，d3由透镜成像公式
得出。

[0012]步骤2)中，获得复振幅光场的位置的方法具体为：
[0013]计算复振幅光场与相位型空间光调制器的衍射距离l1：
[0014]
[0015]其中，l2＝d1，为点光源与相位型空间光调制器的垂直光路距离；l3由下式得出：
[0016]
[0017]其中，d2为相位型空间光调制器与透镜的距离，f为透镜的焦距，d3为透镜到滤波光
阑的距离，d3由透镜成像公式得出，d4为最终重建图像与人眼的距离。

[0018]步骤3)中，棋盘格图样为M1(iΔx0，jΔy0)、M2(iΔx0，jΔy0)的图样，M1(iΔx0，jΔy0)和M2(iΔx0，jΔy0)满足：
[0019]
[0020]
[0021]M1(iΔx0，jΔy0)+M2(iΔx0，jΔy0)＝1
[0022]其中，Δx0、Δy0为空间光调制器的像素间距，i、j为像素点的标号，i∈(1，N)，j∈(1，M)，i、j为整数。

[0023]要得到复振幅为的输出面，像素化后分辨率为M×N的输入面(x，y)的纯相位编码公式为：
[0024]φ(iΔx0，jΔy0)＝M1(iΔx0，jΔy0)θ1(iΔx0，jΔy0)
[0025]+M2(iΔx0，jΔy0)θ2(iΔx0，jΔy0)+2πiΔx0sinα/λ
[0026]其中，A(x，y)表示复振幅光场的振幅，表示复振幅光场的相位；φ(iΔx0，j
Δy0)为输入到空间光调制器的相位值，Δx0、Δy0为空间光调制器的像素间距，2πiΔx0sin α/λ为左右倾斜的倾斜平面波因子，λ为光波波长i、j为像素点的标号，i ∈(1，N)，j∈(1，M)，i、j为整数，θ1(iΔx0，jΔy0)和θ2(iΔx0，jΔy0)由以下两公式得出：
[0027]
[0028]
[0029]A max为A(x，y)的最大值。

[0030]有益效果：本发明所述的方法具有以下有益效果：
[0031]1、消除重建图像散斑。

本发明使用了复振幅调制的方法，能够同时调制图像的振幅和相位，与传统的只能重建目标振幅的GS迭代算法相比，避免了在重建光场中由于相邻像素间的相干干涉产生额外的强度图案，即散斑噪音，大大提高了图像质量。

[0032]2、避免重建图像受到器件零级波的影响。

本发明根据全息图所加的倾斜平面波因子设置滤波光阑的位置及大小，添加倾斜平面波因子以后，器件的零级波和复振幅编码全息图图像的零级波能够在频谱面分开，滤波时就可以在滤出全息图的零级信息同时避免器件零级噪声的干扰，系统不需要布设偏振片，同时使得图像不被零级波遮盖，图像对比度增强。

[0033]3、与一般的矢量分解复振幅调制方法相比，本发明的复振幅调制方法不会改变图面的大小。

根据矢量分解的原理，一个矢量总可以分解为两个振幅相同、相位不同的矢量的叠加。

因此，传统的矢量分解复振幅调制方法中要得到n×n的重建图像就至少需要2n×n大小的复振幅编码图，使得图像大小至少缩小一倍。

而本复振幅调制方法使用的棋盘格编码方式，重建图像的大小和复振幅编码图大小是相同的。

[0034]4、使用点光源能够提高显示内容的景深，降低人眼频繁聚焦的疲劳，同时能够有效增大视场角，缓解传统的衍射式增强现实平显系统视场角小的问题。

[0035]5、相比于传统迭代优化的全息计算方法，本发明提出的方法无需迭代，大大缩短了全息图计算时间，可适用于实时计算的全息成像。

附图说明
[0036]图1是点光源发出的光波经空间光调制器相位调制后射入人眼的光路图；[0037]图2是最终重建图像(所成虚像)、点光源、空间光调制器、透镜以及成像面之间位置关系示意图；
[0038]图3是使用反射式相位型空间光调制器时显示系统的光路图。

具体实施方式
[0039]实施例1
[0040]基于复振幅调制的增强现实全息显示方法，包括以下步骤：
[0041](1)布设显示系统。

[0042]如图1所示，将点光源2、相位型空间光调制器3、透镜4和滤波光阑5依次布设，点光源2、透镜4和滤波光阑5之间的位置关系满足成像公式，空间光调制器3与生成相位全息图
的计算机1通过数据线连接。

点光源2发出的球面波射入相位型空间光调制器3，然后依次经过透镜和滤波光阑进入人眼。

相位型空间光调制器3所处的位置形成输入平面(x，y)，光阑位于频谱面(u，v)。

[0043]使用反射式相位型空间光调制器的增强现实显示系统如图3所示：点光源2发出的球面波经过第二分光棱镜7进入空间光调制器3，经过调制的光场依次经过透镜4、第一分光棱镜8和滤波光阑5进入人眼，第一分光棱镜8另一侧的现实场景经过第一分光棱镜8也进入人眼，实现增强现实的显示效果。

[0044](2)根据最终重建图像的位置和内容，结合光学系统参数，获得相位型空间光调制器所需生成的复振幅光场的位置、振幅和相位参数。

[0045]计算相位型空间光调制器3所需生成的复振幅光场与点光源2、相型空间光调制器3、透镜4以及最终重建图像所在的平面6之间的距离关系如图2所示。

其中，最终重建图像具体是指相位型空间光调制器3所生成的复振幅光场经过透镜4所成的虚像。

[0046]确定衍射距离的具体方法为：
[0047]假设要在距离人眼距离为d4处的平面6成一个最终重建图像，则计算全息图时，复振幅光场衍射的距离l1为：
[0048]
[0049]其中l2＝d1，为点光源2与相位型空间光调制器3之间的垂直光路距离，l3为实际复振幅光场与空间光调制器之间的衍射距离，l3由式(2)给出
[0050]
[0051]其中d2为相位型空间光调制器3到透镜4的垂直光路距离，f为透镜4的焦距，d3为透镜4到点光源所成像的垂直光路距离(由于滤波光阑5位于点光源的成像面，因此d3也为透
镜4到滤波光阑5的垂直光路距离)，d3由透镜成像公式得出。

[0052]获得相位型空间光调制器所需生成的复振幅光场的振幅和相位参数的方法具体为：
[0053]设目标生成的图像为U(ξ，η)＝A(ξ，η)e0，其平面为其中相位为均匀相位，可设为0。

则空间光调制器所需生成的复振幅光场以菲涅尔衍射为例为：
[0054]
[0055]其中z＝-l1，k为波数，λ为波长，j为虚数单位，(ξ，η)是与(x，y)对应的图像面的坐标。

[0056](3)利用双相位分解的复振幅调制方法对复振幅光场进行编码。

[0057]如表1所示，根据矢量分解原理，将复振幅光场各个像素的光矢量分解为两个纯相位值，得到与原图大小相等的两张纯相位全息图，利用棋盘格图样对两张纯相位全息图进行采样合成，在合成得到的纯相位全息图上加上倾斜平面波因子，得到经编码的纯相位全息图。

[0058]将复振幅光场编码为纯相位全息图的具体方法如下。

[0059]任意二维复振幅光场可以用公式(4)表示：
[0060]
[0061]式(4)中，A(x，y)表示复振幅光场的振幅，表示复振幅光场的相位。

根据矢量分解的原理，任意一个矢量都可以由两个模相等的向量合成，从而可以得到以下表达式：
[0062]
[0063]式中，B＝A max/2是一个常数，A max是A(x，y)的最大值，θ1(x，y)和θ2(x，y)分别由下面两个式子得到：
[0064]
[0065]
[0066]假定要得到复振幅为的输出面，像素化后分辨率为M×N的输入面(x，y)的纯相位编码公式为：
[0067]
[0068]式(8)中，Δx0、Δy0为空间光调制器的像素间距，i、j为像素点的标号，i∈(1，N)，j ∈(1，M)，i、j为整数。

由上述编码结果可以看出，本发明使用的双相位复振幅编码方法无需牺牲额外的像素，即要得到n×n的重建图像只需要n×n大小的复振幅编码图。

φ(iΔx0，j Δy0)为输入到空间光调制器的相位值，θ1(iΔx0，jΔy0)和θ2(iΔx0，jΔy0)由式(9)和式(10)确定；M1(iΔx0，jΔy0)和M2(iΔx0，jΔy0)由式(11)和式(12)确定：
[0069]
[0070]
[0071]
[0072]
[0073]M1(iΔx0，jΔy0)和M2(iΔx0，jΔy0)始终满足等式：
[0074]M1(iΔx0，jΔy0)+M2(iΔx0，jΔy0)＝1 (13)
[0075]通常，也将M1(iΔx0，jΔy0)、M2(iΔx0，jΔy0)的图样称作棋盘格。

2πiΔx0 sinα/λ为左右倾斜的倾斜平面波因子，具体确定方法为：
[0076]空间光调制器的分辨率记为MM×NN，输入面(x，y)的纯相位全息图的分辨率小于等于空间光调制器的分辨率，在编码的纯相位全息图以外的区域，空间光调制器所有像素的相位值设为π；倾斜平面波因子波矢与水平方向的夹角为α，由相位型空间光调制器3的采
样间距确定，由于α较小，所以sinα≈tanα，通常可取其中Δx0为空间光
调制器x轴方向即水平方向的像素间距，λ为光波波长。

[0077]表1
[0078]
[0079]4)计算机通过数据线将步骤3)得到的经编码的纯相位全息图传输到相位型空间光调制器3中，使点光源2发出的光波在相位型空间光调制器3中进行相位调制后射出，实现重建图像与现实场景的叠加。

[0080]5)根据倾斜平面波因子调整滤波光阑的位置及大小，使全息图的零级波透过滤波光阑，同时遮挡空间光调制器的零级波干扰，在紧贴滤波光阑的人眼视网膜上成像。

[0081]滤波光阑5的位置由倾斜平面波因子的倾角α、相位型空间光调制器3与点光源2的距离d1、相位型空间光调制器3到透镜4的距离d2以及透镜4的焦距f确定；相位型空间光调制器3大小根据采样定理由相位型空间光调制器3的x轴方向(水平方向)和y轴方向(竖直方向)的像素间距Ax0、Δy0，波长λ和d1，d2，f确定，具体确定方法为：
[0082]滤波光阑位于纯相位全息图的频谱面(u，v)，即点光源关于透镜的成像面，频谱面(u，v)平行于空间光调制器平面(x，y)和透镜平面，频谱面(u，v)的原点(0，0)与透镜中心、空间光调制器中心以及点光源在同一直线上，所述直线垂直于频谱面(u，v)，(u，v)坐标轴的正方向与空间光调制器平面坐标轴的正方向(x，y)相同；滤波光阑中心的位置坐标为
矩形滤波光阑的大小为u轴方向v轴方向d1为
点光源与相位型空间光调制器3的垂直光路距离，d2为相位型空间光调制器与透镜的垂直光路距离，d3为滤波光阑与透镜的垂直光路距离，d3由透镜成像公式得出。

[0083]本发明中，经编码的纯相位全息图通过计算机1加载到相位型空间光调制器3中，点光源2发出的光射入相位型空间光调制器3，光波在相位空间光调制器3中进行相位调制后射出，通过透镜4之后，经过滤波光阑5进行滤波，使一级衍射透过滤波光阑5，人眼紧贴滤波光阑可以看到无散斑的虚像。

[0084]实施例2
[0085]采用图3所示的结构得到显示系统。

即，计算机1通过数据线与反射式相位型空间光调制器3相连，反射式相位型空间光调制器3、第二分光棱镜7、透镜4、第一分光棱镜8、滤
波光阑5依次设置，点光源2位于第二分光棱镜7上部。

设置以上各光学元件的相对位置使得点光源2发出的光经过第二分光棱镜7分光射入反射式相位型空间光调制器3，再依次经过第二分光棱镜7、透镜4、第一分光棱镜8和滤波光阑5。

[0086]点光源2采用LED点光源，通过LED点光源发出波长约为532纳米的绿光进行投影；相位型空间光调制器3采用德国Holoeye公司生产的相位空间光调制器Holoeye Pluto，其规格为1920×1080像素，像素间距为8微米，即Δx0＝Δy0＝8μm；透镜4的焦距f为0.1米。

[0087]矩形滤波光阑位于纯相位全息图的频谱面(u，v)，频谱面(u，v)平行于空间光调制器平面(x，y)和透镜平面，频谱面(u，v)的原点(0，0)与透镜中心、空间光调制器中心以及点光源在同一直线上，该直线垂直于频谱面(u，v)，(u，v)坐标轴的正方向与空间光调制器平面坐标轴的正方向(x，y)相同；LED点光源距离相位型空间光调制器3的垂直光路距离d1为0.05米，相位型空间光调制器3与透镜4的垂直光路距离d2为0.13米，则编码公式(8)中倾斜平面的倾斜角度为sinα≈0.02351。

[0088]
[0089]矩形滤波光阑5中心的坐标为(1.47mm，0)，矩形滤波光阑5的大小为1.47mm×1.47mm。

[0090]在该显示系统中，经过编码的纯相位全息图通过计算机1加载到相位空间光调制器3中，点光源2发出的光经过第二分光棱镜7分光射入相位型空间光调制器3，光波在相位型空间光调制器3中进行相位调制后射出，通过透镜4之后，射入第一分光棱镜8，经过滤波光阑5进行滤波，人眼紧贴滤波光阑5可以看到无散斑的虚像与第一分光棱镜8另一侧真实场景融合的增强现实显示结果。

[0091]设最终重建图像(即所成虚像)与人眼的距离为0.625米，则衍射计算复振幅光场距离相位型空间光调制器3的距离l1为0.025米。

[0092]根据以上确定的参数，采用实施例1步骤(3)所述的方法经过编码后得到纯相位全息图。

得到的纯相位全息图经过计算机1加载到空间光调制器3中，就能够在平面6得到相应重建的虚像。

由于使用了复振幅调制的方法，有效消除了散斑，大大提高了图像质量。

同时，由于使用了LED点光源作为光源，进一步平滑了图像同时扩大的景深和视角。

图1
图2图3
说　明　书　附　图1/1页CN 106842575 A 11。