六自由度视频转码机制的制作技术

公开了一种用于促进六自由度(6 DoF)转换的装置。该装置包括转码器，用于将6 DoF点云数据转换为具有第二视频数据格式的视频数据，转码器包括：转换逻辑，用于：从外部源接收点云数据，接收从客户端接收的位置和取向参数数据，并且基于位置和取向参数数据将

点云数据的分量渲染为视频数据；和编码器，用于对视频数据进行编码，以用于传输到客户端。

技术要求

1.一种用于促进六自由度(6DoF)转换的装置，包括：

转码器，用于：将6DoF点云数据转换为具有第二视频数据格式的视频数据，所述转码器

包括：

转换逻辑，用于：从外部源接收点云数据，接收从客户端接收的位置和取向参数数据，并且基于所述位置和取向参数数据将点云数据的分量渲染为视频数据；和

编码器，用于：对视频数据进行编码，以用于传输到所述客户端。

2.如权利要求1所述的装置，其中，所述第二视频格式包括二维(2D)视频。

3.如权利要求2所述的装置，其中，所述转换逻辑将所述点云数据的分量渲染为2D直线型视图。

4.如权利要求3所述的装置，其中，已编码的视频数据包括用于每个编码帧的句法，以指示所述编码帧中所包括的点云数据的分量。

5.如权利要求3所述的装置，其中，渲染后的分量包括比所述客户端所支持的更宽的视场。

6.如权利要求2所述的装置，其中，所述转换逻辑将点云数据的分量渲染为两个2D直线型视图，以用于2D到三维(3D)转换。

7.如权利要求5所述的装置，其中，所述转换逻辑使用深度信息将点云数据的分量渲染为2D直线型视图。

8.如权利要求1所述的装置，其中，所述第二视频格式包括全景视频。

9.如权利要求8所述的装置，其中，所述转换逻辑基于所述位置和取向参数数据，将来自点云数据的球面表示渲染为所述客户端的球面透视。

10.如权利要求8所述的装置，其中，所述球面表示被投影为等矩形投影视频。

11.一种用于促进六自由度(6DoF)转换的方法，包括：

从外部源接收6DoF点云数据；

接收从客户端接收的位置和取向参数数据；

基于所述位置和取向参数数据，将点云数据的分量渲染为视频数据；以及

对视频数据进行编码，以用于传输到所述客户端。

12.如权利要求11所述的方法，其中，所述第二视频格式包括二维(2D)视频。

13.如权利要求12所述的方法，其中，所述渲染包括：

将点云数据的分量渲染为2D直线型视图。

14.如权利要求13所述的方法，其中，渲染后的分量包括比所述客户端所支持的更宽的视场。

15.如权利要求12所述的方法，其中，所述渲染还包括：

将点云数据的分量渲染为两个2D直线型视图，以用于2D到三维(3D)转换。

16.如权利要求14所述的方法，其中，所述渲染还包括：

使用深度信息将点云数据的分量渲染为2D直线型视图。

17.如权利要求11所述的方法，其中，所述第二视频格式包括全景视频。

18.如权利要求17所述的方法，其中，所述渲染包括：

基于所述位置和取向参数数据，将来自点云数据的球面表示渲染为所述客户端的球面透视。

19.如权利要求18所述的方法，其中，所述球面表示占据所述球面的分量。

20.如权利要求18所述的方法，其中，所述球面表示被投影为等矩形投影视频。

21.一种用于促进六自由度(6DoF)转换的装置，包括：

客户端设备，包括：

位置选择器，用于：获取所述客户端的位置和取向，并且将指示所述位置和取向的参数数据发送到转码器；和

处理逻辑，用于：从所述转码器接收具有比所述参数数据中所指示的更宽的视场视口和指示编码点云数据的分量的句法的点云数据的分量，并且基于所述客户端的当前位置和取向，剪切点云数据的分量，以用于在所述客户端处显示。

22.如权利要求21所述的装置，还包括：显示设备，用于显示所剪切的点云数据的分量。

23.如权利要求21所述的装置，其中，所述处理逻辑进一步对点云数据的分量执行扭转操作。

24.至少一种计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时用于执行如权利要求11-20中任一项所述的方法。

技术说明书

六自由度视频转码机制

相关申请

本申请涉及Jill Boyce于2018年7月31日提交的题为“REDUCED RENDERING OFSIX-DEGREE OF FREEDOM VIDEO”的共同受让的美国专利申请序列号16/050,153，其整个内容通过引用合并于此。

技术领域

本技术总体上涉及视频处理，更具体地说，涉及经由图形处理单元的视频处理。

背景技术

六自由度(6 DoF)或体视频是新兴的沉浸式视频格式，其通过使得场景的视点控制成为可能来向观看者提供沉浸式媒体体验。典型地使用点云表示6 DoF视频；其中，对于点云视频序列，存在时间间隔规则(例如，每秒60帧)的点云帧。点云数据帧中的每个点由六个参数来表示：(X，Y，Z)几何位置和(R，G，B)纹理数据。因此，6DoF为观看者添加了通过沿着X、Y和Z轴的平移运动来改变位置的能力。与之相比，三DoF(3 DoF)(例如，360°或全景)视频仅允许观看者从固定位置围绕X、Y和Z轴改变(偏航、俯仰、翻滚)取向。

在6 DoF实现方式中，点云数据在服务器处被压缩并且发送到客户端，以用于基于观看者进行解压缩和渲染。然而，点云数据的渲染在计算上是昂贵的，使得难以在一些客户端处以高帧率渲染包括大数量的点的点云视频。此外，点云数据速率很大，需要大容量进行存储或传输。

附图说明

因此，通过参考实施例(其中一些示于附图中)，可以详细地理解本技术的以上陈述的特征的方式，可以对以上简要概述的本技术进行更具体地描述。然而，应注意，附图仅示出本技术的典型实施例，因此不应视为限制其范围，因为本技术可以允许其他同等有效的实施例。

图1是根据实施例的处理系统的框图；

图2是根据实施例的处理器的框图；

图3是根据实施例的图形处理器的框图；

图4是根据一些实施例的图形处理器的图形处理引擎的框图；

图5是附加实施例提供的图形处理器的框图；

图6A-图6B示出在一些实施例中所采用的包括处理元件阵列的线程执行逻辑；

图7是示出根据一些实施例的图形处理器指令格式的框图；

图8是根据另一实施例的图形处理器的框图；