勘探开发专业软件云平台关键技术研究及应用

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

2020年第7期79
计算机应用
信息技术与信息化
勘探开发专业软件云平台关键技术研究及应用
斯兴焱* 段 念 朱 睿 熊康祥
SI Xing-yan DUAN Nian ZHU Rui XIONG Kang-xiang
摘 要 针对传统模式下软硬件资产部署模式分散、使用效率低、共享程度差、主管部门难以掌握硬件资源利用
率和各软件模块的使用情况等问题,本文提出了软硬件资源集中共享模式,通过对服务器、桌面、GPU 全虚拟化架构及远程三维可视化接入等关键技术的研究,建成了集硬件、软件、数据一体化管理的勘探开发专业软件云平台,满足了分公司地震解释、地质建模、数值模拟等研究业务需求,为推动多学科协同研究提供了坚强技术保障。

关键词 虚拟化;VGPU ;VSAN ;勘探开发
doi:10.3969/j.issn.1672-9528.2020.07.027
* 中国石油化工股份有限公司西南油气分公司信息化管理中心 四川成都 610041
0 引言
勘探开发专业软硬件是支撑油田企业勘探开发工作正常开展的核心技术手段,传统模式下,专业软硬件由各油田下属二级单位分散建设和管理,随着勘探开发软硬件建设不断深入,传统的分散发展、独立建设模式弊端逐渐显现。

为适应当前石油经济形势,国内外许多大公司对专业软件集中部署进行了大量持续的研究和投入。

哈里伯顿公司提出油气田全生命周期资产解决方案,公有云方面推出勘探开发软件即服务的DecisionSpace ® 365产品[1],私有部署方面推出面向勘探开发的企业云LandMark Earth 一体机。

斯伦贝谢公司推出高性能计算基础架构解决方案[2],主要使用LiveQuest 技术实现从任意类型的桌面计算机以协同工作的方式访问跨平台的专业软件。

国内油田企业在软硬件集中部署方面也做了大量的工作[3-5]:硬件方面,摒弃传统的一人一机的工作站模式,集
中建设高性能图形工作站集群,以提高计算能力和三维显示效果;软件方面,针对Linux 平台软件,采用斯伦贝谢公司的LiveQuest 和思杰公司Ctrix+Virtual GL 技术用来发布三维可视化模块。

针对Windows 平台软件,主要使用Windows RDP 服务的方式来发布Windows 软件。

从实际效果来看,能够支撑日常生产,但仍存在着虚拟化程度不够、资源调配耗时繁琐、三维支持不全面等问题。

本文针专业软硬件分散管理模式下资金投入大、软硬件利用率低、共享程度差、运维保障困难等问题,开展了勘探开发专业软硬件集中共享管理模式及其关键技术研究,建成了分公司勘探开发专业软件云平台,实现了“集中资源、统一运维、全局共享、协同工作”的建设目标,推动多学科协同研究。

1 云平台关键技术研究
1.1 服务器虚拟化
传统模式下直接在服务器上安装Windows 或Linux 操作
系统,“一软件一机”现象突出,资源负载忙闲不均,资源[2] 邓维,廖小飞,金海.基于虚拟机的数据中心能耗管理机制[J].中兴通讯技术, 2012, 18(4):15-18.
[3] 王聪, 王翠荣, 王兴伟, 等.面向云计算的数据中心网络体系结构设计[J].计算机研究与发展, 2012, 49(2):286-293.[4] 中国电子学会.T/CIE052-2018.数据中心设施运维管理指南[S].2018运维管理指南.2018.
【作者简介】
刘明亮,高级工程师,研究方向:绿色数据中心产业政策和技术应用研究;
王娟,通讯作者,经济师,研究方向:绿色数据中心产业政策和技术应用研究;
郭丰,高级工程师,研究方向:绿色数据中心产业政策和技术应用研究。

(收稿日期:2020-06-15 修回日期:2020-07-08)
2020年第7期
80计算机应用
信息技术与信息化
调整耗时繁琐,极大影响了专业软硬件资源的充分利用。

通过使用服务器虚拟化技术,将物理资源抽象成逻辑资源,使得计算资源不再受限于物理上的界限,让CPU、内存、磁盘等硬件变成可以动态管理的“资源池”,从而简化系统管理,实现服务器整合,提高硬件的利用率。

本文采用VMware vSphere 服务器虚拟化技术
[6]
,架构
如图1所示。

在虚拟化层,在服务器集群上安装虚拟化组件(ESXI),在此基础上,可根据需求部署虚拟机;在管理层,使用统一的vCenter 管理平台对服务器集群主机进行集中化管理,实现访问控制、性能监控、新建、删除和更改虚拟机配置等功能;在接口层,提供了丰富的接口,来对服务器进
行管理。

图1 VMWare vSphere 架构图
通过采用VMWare vsphere 云计算架构,使得专业软件云平台能方便地实现纵向扩展、横向扩充、高度可用及恢复能力强的按需基础架构。

服务器虚拟化技术极大提高了硬件资源的利用率,也极大提升了管理员的管理效率,实现了硬件资源的灵活调配和软件环境的快速部署。

1.2 桌面虚拟化
传统模式下,研究人员在集中应用机房或使用专用设备调用专业软件进行工作,给研究人员造成了较大的限制。

桌面虚拟化技术为研究人员摆脱机房和专用设备等限制提供了可能。

桌面虚拟化是一种以服务器虚拟化为基础的技术,服务器存放每个用户完整的桌面环境,用户无需通过固定的终端设备访问桌面资源,可以通过任何设备,在任何地点,任何时间通过网络访问属于个人的桌面系统。

目前,业界流行的桌面虚拟化软件有VMware、Citrix、微软等。

本文采用VMware Horizon 解决方案。

Vmware Hori-zon 在图像压缩率、帧率、保真度、稳定性及延迟等方面都具有优秀的表现,对三维显示支持性较好。

从Horizon7.1开始,Horizon 桌面虚拟化技术不仅支持Windows 桌面发布,也支持Linux 桌面发布,且均支持虚拟桌面三维显示。

Horizon 通过为专业软件建立桌面池的方式提供给终端用户使用,可以根据不同的应用场景和需求建立不同的桌面
池。

桌面池根据占用模式的不同,可分为专用桌面池和浮动桌面池。

在专业软件云平台中,使用浮动桌面池,Horizon 会根据现有资源负载均衡的原则将用户分配到空闲的桌面中,不仅平衡了硬件的使用率,而且避免了“一人一机”现象,提高了硬件资源的利用率,保证了软件资源有限情况下最大
限度地支撑更多用户共享使用。

1.3 GPU 虚拟化
GPU 加速器于2007年由NVIDIA 公司率先推出,是一种高性能计算硬件单元,广泛应用于三维显示、天气预报、高性能计算等领域[7]。

石油行业中许多专业软件需要使用GPU 进行三维显示和高性能计算。

传统模式在物理主机上安装一块或多块GPU 供用户使用,利用率低下。

在虚拟化环境中使用GPU 有两种方式,一种是GPU 直通技术,另一种是vGPU 技术。

GPU 直通技术使用硬件穿透的方式,将GPU 穿透给单独虚拟机使用,这种独占设备的方法使得虚拟机能够直接访问硬件资源,可接近或达到原生系统性能,但一块GPU (GPU 核心)只能供给一个虚拟机使用,利用率低。

vGPU 技术,是将物理GPU 进行分割,虚拟化为多块vGPU,以便于对GPU 进行管理和提高GPU 使用效率[8]。

vGPU 原理如图2所示,vGPU 管理程序将一块物理GPU 分割为多块vGPU,并给每个vGPU 单元分配固定的计算单元和三维显示输出单元,在逻辑上具备和物理GPU 同样的能力。

通过在虚拟机客户端上使用相同的vGPU 驱动程序,使虚拟机客户端能像使用物理GPU 的方式使用
vGPU。

图2 NVIDIA vGPU 架构图
专业软件云平台从2013年开始引入GPU 开展高性能的三维显示和高性能计算,2013年在HP DL580服务器上配备了QUADRO 6000加速卡,2015年在HP WS460C 服务器上配备了Grid K2加速卡,2016年在HP DL380服务器上配备了Tesla M60加速卡,在2019年的专业软件云平台硬件能力提升项目中,采用当前最新的Tesla V100加速卡。

2020年第7期81
计算机应用
信息技术与信息化
专业软件云平台历年引进的GPU 性能对比如表1所示。

从表中可见,随着技术的发展,GPU 跨平台支持越来越全面,虚拟化支持越来越好,CUDA 高性能计算能力越来越强。

专业软件云平台在三维显示和高性能计算等方面的能力得到了大幅的提升。

表1 专业软件云平台历年采购的GPU 卡性能对比
比较项目Quadro 6000
Grid K2M60Tesla V100应用时间2013201520162019总显存6GB 8GB 16GB 32GB Windows 平台vGPU 不支持支持支持支持Linux 平台vGPU 不支持不支持支持支持CUDA 核心数448307240965120最大支持vGPU 数
16
16
32
1.4 存储虚拟化
传统的数据中心使用专业的存储设备(NAS 存储或SAN 存储),通常在存储阵列柜上配备大量的磁盘,因而具有较大的容量,较高的读写速度和IOPS。

为了获得更高的性能,还可以采用全闪存存储,虽然可提升磁盘的IOPS,但存储必须通过以太网或光网与服务器进行数据和指令的通信,其接口速度受限于网络速度(8Gbps/16Gbps),此时接口又成了新的瓶颈[9]。

为了降低成本、提供更强的横向和纵向扩展能力、简化管理,WMware、微软、亚马逊等云计算厂商推出了软件定义数据中心的超融合基础架构[10],将计算、存储和网络连接功能整合到一个系统中。

本文采用VMware vSAN 技术[11],架构如图3所示,vSAN 使用软件定义的方法为虚拟机创建共享存储,将主机本地物理存储资源进行虚拟化,并将这些资源转化为存储池,每一个vSAN 集群中的主机都能贡献本地容量设备,从而聚合到vSAN 集群中所有主机都能共享的单个数据存
储中。

图3 vSAN 存储架构图vSAN 完全支持并与vSphere 的核心特性深度集成在一起,支持vSphere 的高可用(HA)、分布式资源调度(DRS)及vMotion 等核心特性。

vSAN 集群具备横向和纵向的扩展存储的能力,并且服务器本地磁盘越多,服务器数量越多,其总体性能(IOPS)越强。

专业软件云平台使用vSAN 存储技术用于存放专业软件云平台运行所需的数据。

通过vSAN 技术,既降低了云平台的总体建设成本,又分流了网络流量,提升云平台的整体运行效率。

2 云平台架构设计
勘探开发专业软件云平台采用虚拟化、统一身份认证、远程三维显示等技术建成了集硬件、软件、数据一体化管理的分公司勘探开发专业软件云平台,实现了统一访问的云端入口,远程高效访问。

云平台功能架构如图4所示,在逻辑
上可分为六层。

图4 专业软件云平台功能架构图
(1)数据资源层,采用高性能共享存储设备存放勘探开发综合研究数据,不仅能提高数据访问的效率和存储的安全性,更重要的是数据集中存放、统一管理,使得不同用户和不同软件数据能共享;
(2)计算资源层,是提供计算资源(CPU、内存、GUP、磁盘等)的物理服务器;
(3)虚拟化层,采用VMWare 服务器虚拟化技术将物理服务器虚拟化,将物理资源抽象成逻辑资源,使得计算资源不再受限于物理上的界限,让CPU、内存、磁盘、I/O 等硬件变成可以动态管理的“资源池”,实现服务器整合,提高硬件的利用率;
(4)应用发布层,在VMWare 服务器虚拟化的基础上,通过VMWare Horizon 桌面虚拟化技术和LiveQuest 远程三维接入等技术,可将虚拟桌面及软件进行发布供用户使用,用
户可在任何地点使用任何设备(笔记本、PC、平板等)接入
2020年第7期
82计算机应用
信息技术与信息化
虚拟桌面和使用专业软件;
(5)资源管控及门户层,通过专业软件云平台对服务器计算资源进行管控,对用户申请、使用专业软件进行授权和管理,是使用服务器资源和专业软件的入口;
(6)用户层,在上述架构的基础上,不论用户接入的是云平台内部网络、中石化内网还是外部互联网,均可通过访问专业软件云平台,调用计算资源和使用专业软件进行工作。

3 应用成效
科研人员使用统一账号登录后进入云平台并调用专业软件进行工作,如图5、图6所示。

通过云端接入,随处访问的方式,研究人员摆脱了专用工作站、机房的限制,日常工作、阶段汇报随时随地开展,变革了将地震数据、井位、层位、
断层等数据在工作站和汇报用电脑间手动传输的旧有模式。


5 云平台资源应用页面
图6 Landmark GeoProbe 及Petrel 远程三维可视化勘探开发专业软件云平台建成以来实现了资源成果由个人独占到全局共享转变、工作场所由固定机房向网络化转变,资源利用率明显提升,软硬件投入节省显著,远程共享应用模式已成为主流,支持了分公司95%以上的生产科研工作,较好地满足了公司地震解释、地质建模、数值模拟等研究业
务需求,为推动多学科协同研究提供了坚强技术保障。

4 结语
本文针对传统模式下,勘探开发专业软硬件分散建设和管理模式的缺点,开展了集中共享模式的研究。

研究了服务器虚拟化、桌面虚拟化、GPU 虚拟化及存储虚拟化的全虚拟化架构,建成了集硬件、软件、数据一体化管理的勘探开发专业软件云平台,实现了专业软件高性能三维可视化云端接入和随处访问,有效提升了软硬件的利用率和协同研究水平。

参考文献:
[1] Halliburton. Halliburton DecisionSpace 365[D/OL]. [2018-5-18]. https://ndmark.solutions/DecisionSpace-365.[2] Schlumberger. Schlumberger IT 基础设施服务[D/OL]. [2017-7-20]. /products-services/it.aspx.[3] 杨澎涛,宋健,等.浅谈石油行业专业软件资源网络共享技术[J].信息技术与信息化,2008(6): 101-105.
[4] 董涛,邱小果,等.油田企业级软件共享系统的远程交互组件研究及实现[J],电脑知识与技术,2014, 10(14): 3276-3279.
[5]张超,张云飞,等.石油专业软件许可证监测系统的设计与实现[J].电脑知识与技术,2019, 15(36): 229-231.
[6] VMware. VMware vSphere Product Introduction[D/OL].
[2019-3-11]. https:///cn/products/vsphere.html.[7] 余时强,张为华.GPU 虚拟化相关技术研究综述[J],2017, 26(12): 25-31.
[8] Virtual GPU Software Documentation[EB/OL]. https:///grid/latest/grid-vgpu-user-guide/index.html
[9] 王春海.深入学习VMware vSphere 6[M].北京:人民邮电出版社,2016: 561-566.
[10] 陈熹.软件定义数据中心技术与实践[M].北京:机械工业出版社,2015: 41-45.
[11] VMware vSAN Documentation[EB/OL]. https:///en/VMware-vSAN/index.html.【作者简介】
斯兴焱(1983—),男,工程师,硕士,主要研究方向:
虚拟化、云计算、软件架构。

(收稿日期:2020-06-11 修回日期:2020-07-05)。

相关文档
最新文档