基于深度学习的创意三维体素模型的建模系统的构建方法与制作流程

本技术涉及三维体素模型的建模领域，其公开了一种基于深度学习的创意三维体素模型的建模系统的构建方法，构建一种可自动生成具有创意性的三维体素模型，同时具有可交互编辑功能的建模系统。该方法包括：A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集；B、搭建三维模型的生成模型以及三维模型组成部件的生成模型，并采用体素数据集和语义部件数据集分别进行训练；C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型，并进行训练；D、将训练后的语义结构模型整合入系统中作为建模算法，同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。

权利要求书

1.基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于，

包括以下步骤：

A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集；

B、搭建三维模型的生成模型以及三维模型组成部件的生成模型，并采用体素数据集和语义部件数据集分别进行训练；

C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型，并进行训练；

D、将训练后的语义结构模型整合入系统中作为建模算法，同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。

2.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于，

步骤A中，基于已知数据集ShapeNetCore，并进行人工的分类和对齐来制作三维模型的体素数据集；然后利用MeshLab软件对ShapeNetCore数据集提供的三维模型的部件根据语义结构进行分割和分类，以此制作组成三维模型的语义部件数据集。

3.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于，

步骤B中，采用整体变分自编码器作为三维模型的生成模型，采用部件变分自编码器作为三维模型组成部件的生成模型；采用KL散度和二进制交叉熵作为损失函数，利用体素数据集中的数据训练所述整体变分自编码器；采用KL散度和二进制交叉熵作为损失函数，利用三维模型的语义部件数据集中的数据训练所述部件变分自编码器。

4.如权利要求3所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于，

所述整体变分自编码器和部件变分自编码器均采用编码器-解码器的结构，编码器和解码器均由深度卷积神经网络组成；其中，部件变分自编码器采用的卷积层数少于整体变分自

编码器采用的卷积层数。

5.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于，

步骤C中，所述语义结构模型采用编码器-解码器结构，其编码器由已经训练完成的某类物体的整体变分自编码器中的编码器和已经训练完成的该类物体下所有的部件变分自编码器中的编码器并行构成，语义结构模型的解码器由深度卷积神经网络组成；采用KL散度和二进制交叉熵和多类别交叉熵作为损失函数训练所述语义结构模型。

6.如权利要求1所述的基于深度学习的创意三维体素模型的建模系统的构建方法，其特征在于，

步骤D中，所述针对生成的三维模型组件的可控编辑接口用于供用户针对生成的三维模型中的组件进行自定义修改。

技术说明书

基于深度学习的创意三维体素模型的建模系统的构建方法

技术领域

本技术涉及三维体素模型的建模领域，具体涉及一种基于深度学习的创意三维体素模型的建模系统的构建方法。

背景技术

随着人们娱乐方式的改变，影视特效，动漫创作、游戏制作等很多数字媒体领域的需求迅速扩张。而在这些数字媒体领域中，3D物体的建模是重要的工作部分，例如环境场景的建模，物体建模和人物建模。此外随着3D打印技术的逐步成熟，对三维模型的需求也逐步增加。

传统技术中的三维建模的方式通常有以下几种：

1、全自动的即时定位与地图构建方法：

该方法利用激光传感器或雷达进行三维场景的建模，常将其搭载到可移动的载体上，一边移动一边逐步扫描进行建模。

此方法的缺点在于，使用的传感器大多价格昂贵，对民用的普及还不太现实。而且此方法仅限于对现有物体的模型的还原，不具有创新性；没有提供用户可编辑的接口，不可进行对生成的模型进行编辑。

2、基于对模型组件装配的建模方法：

该方法针对所需建模的特定物体，事先准备特定的模型组件数据库。用户只需自主选取特定的组件或根据推荐的组件进行模型的拼装即可完成三维模型的构建。

此方法的缺点在于，建模缺乏创意性，只是对现有模型组件的拼装，可交互性差，用户不可对模型组件进行编辑。

3、采用专业的三维模型计算机辅助设计工具建模：

采用Maya、AutoCAD等专业工具进行三维模型的建模，需要专业的设计人员进行操作。

此方法的缺点是，设计周期长，人力成本高，很难满足未来对三维模型的需求。

因此，本申请有必要构建一种可自动生成具有创意性的三维体素模型，同时具有可交互编辑功能的建模系统。

技术内容

本技术所要解决的技术问题是：提出一种基于深度学习的创意三维体素模型的建模系统的构建方法，构建一种可自动生成具有创意性的三维体素模型，同时具有可交互编辑功能的建模系统，基于该系统可快速生成具有创意性的三维模型，并提供良好的交互功能。

本技术解决上述技术问题采用的技术方案是：

一种基于深度学习的创意三维体素模型的建模系统的构建方法，包括以下步骤：

A、制作三维模型的体素数据集以及组成三维模型的语义部件数据集；

B、搭建三维模型的生成模型以及三维模型组成部件的生成模型，并采用体素数据集和语义部件数据集分别进行训练；

C、基于训练后的三维模型的生成模型中的编码器和训练后的三维模型组成部件的生成模型中的编码器构建语义结构模型，并进行训练；

D、将训练后的语义结构模型整合入系统中作为建模算法，同时为用户提供交互界面以及针对生成的三维模型组件的可控编辑接口。

作为进一步优化，步骤A中，基于已知数据集ShapeNetCore，并进行人工的分类和对齐来制作三维模型的体素数据集；然后利用MeshLab软件对ShapeNetCore数据集提供的三维模型的部件根据语义结构进行分割和分类，以此制作组成三维模型的语义部件数据集。

作为进一步优化，步骤B中，采用整体变分自编码器作为三维模型的生成模型，采用部件变分自编码器作为三维模型组成部件的生成模型；采用KL散度和二进制交叉熵作为损失函数，利用体素数据集中的数据训练所述整体变分自编码器；采用KL散度和二进制交叉熵作为损失函数，利用三维模型的语义部件数据集中的数据训练所述部件变分自编码器。

作为进一步优化，所述整体变分自编码器和部件变分自编码器均采用编码器-解码器的结构，编码器和解码器均由深度卷积神经网络组成；其中，部件变分自编码器采用的卷积层数少于整体变分自编码器采用的卷积层数。