cProc产品快速介绍和问答
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
产品回答
你们这个云计算,到底什么是云?
云计算是从分布式计算、网格计算逐步发展而来的商业计算模型,通俗地说:就是在一堆廉价的PC机上用高性能的软件,使其互联,共同对外提供高可靠的存储、处理等服务,这样可以极大得降低成本,达到空前的性价比,以此来取代传统价格高昂的服务器。
举个例子:假如一台传统的服务器价格是100W,用高性能的硬件来提供可靠安全的存储,含有备份冗余,并提供处理能力;那么在云模式中,25W就能以廉价PC机集群的形式完美取代它,提供同样高可靠的保障,并且可以提供比它更大的存储容量,更快的处理能力,基于这些之上还可以开发更多传统上难以实现的应用,这就是云计算。
什么是云存储?你们的产品有哪些优势?
通俗一点讲,云存储是指将海量的数据分布式的存储在一大堆廉价的硬件上的技术,它是2010年以后才提出来的最新的存储技术,主要解决的是海量的数据大规模存储的问题。
云存储是将数据存储在一大堆廉价的硬件上,那么它的成本低廉,是传统存储的五分之一不到;它存储的是海量的数据,因此它的存储能力是无限的,由于采用的是分布式存储的架构,对于我们的系统来说,系统的吞吐率随着存储节点的增多是线性增加的,解决了传统存储扩容困难,而且随着用户增多,访问速度变慢的问题。
说到这里,您可能会有这样的疑虑,你用的是最普通的硬盘,那么你的系统可靠么,硬盘要是坏了,我的数据不就丢了吗?对的,这就是我们的独特之处,数据存在最普通的硬件上,还要保持高可靠性、高稳定和高安全,我们主要是通过在软件上做的大量工作,来弥补硬件的不可靠问题,通过我们的分布式架构,数据是分块存储在不同的存储节点上,如果我们做了传统的冗余备份的话,如1:1备份,那么每一块数据都会存两份,并且是在不同的存储节点上,这样,任意一个硬盘损坏,甚至是节点损坏,都不会影响数据的完整性,而且系统会自动的检测,发现有数据块丢失,会自动的在其他节点上重新备份,这样就保证了数据的可靠。
另外,对于传统的冗余备份,如1:1或者1:2备份,整个系统的有效容量就会减少一半或者三分之二,从而变相的提高了成本,在这块,我们有一个专利技术,称为超安存,它可以在有效提高数据可靠性的情况下,大大的减少这种冗余备份带来的容量损失。
你们的云存储cStor与传统的IP SAN存储有什么区别?
区别有很多。
第一,云存储是分布式的集群存储模式,即整个集群中的所有机器都同时对外提供服务,我们知道硬件的读写能力尤其是磁盘的读写能力是有瓶颈的,单台机器最大的读写能力就只有那么多,云模式下的分布式存储采用了切块的方式,多台集群中的节点同时存储,在读写性能上有着前所未有的效率。
第二,在使用模式上,IP SAN的存储模式是每台IP SAN指定一个唯一的IP位置,而cStor是把所有的存储空间为用户虚拟成了一个无限大的硬盘(如C、D、E、F后多了一个G盘),呈现在用户面前,用户对于cStor的所有操作都如同操作本地硬盘一样,当然也可以通过IP访问,且做了虚拟化,对外的IP地址仅仅是1个,方便用户操作。
第三,在扩展方面,传统IP SAN模式当单台IP SAN存储量满后,用户要么需要取出硬盘、换上新硬盘,要么需要再部署一台IP SAN。
这两个方法都会产生一定麻烦,如:换硬盘后需要访问历史数据,又需要再次更换硬盘,而再部署一台IP SAN后可能项目的整体调度上也需要做一定改变等。
而使用cStor,完全没有这些烦恼,当存储容量不足时,只需要为集群添加新节点或者加入新硬盘即可,且不需要重新配置,全部自动完成,而且支持热
插拔,服务不停机。
第四,在数据安全方面,我们有着自主研发的超安存方案,数据与传统的1:1备份存储一样需要额外占用一倍的存储空间,但是达到的安全和可靠性却可以达到传统的10倍,因为我们的超安存是将数据切块后散落在不同节点上的,单台机子的问题对数据不会有任何影响。
用了超安存后,任意丢失不超过一半的节点(即坏掉不超过一半的机器),都可以将文件恢复;在安全方面,任意用户得不到数据中总分块数的一半都无法还原文件(与托管数据方个数与密钥相关共同保障安全性)。
最后,在性价比方面,cStor有着超高的性价比,cStor也有提供类似IP SAN的传统存储服务器模式,而这种模式我们的报价仅仅每TB一千元(含盘)。
云模式下会加入机柜、背板等额外设备,而报价也仅需每TB二千元不到(含盘)。
而且我们公司自主研发的低功耗主板,使得单个存储节点的功耗仅5-10W,国际上主板最低功耗也要100W不到,我们只需要它的1/10,十分节能,因此从发展的层面上看,性价比优势也将更为明显。
你们的系统安全吗?
绝对安全,数据都有多份备份,并且可以设置备份数。
有管理服务器?
有,跟GFS管理服务器差不多,我们有MASTER节点,管理数据服务器
文件删除后,是否可以再恢复出来?
可以的,存储系统中的删除属于伪删除,会对删除的文件保留一段时间(这个时间可以设置),只要在这个范围件都是可以恢复的。
cProc与hadoop的区别
cProc是在Hadoop上扩展出来的。
Hadoop的缺陷在于Mapreduce管理节点出现故障时需要人工重新恢复,所有的计算都要重新开始。
而cProc补足了这一缺陷,处理效率得到了大幅度提升。
同时,cProc还带有数据立方存储索引结构,支持任意的检索与查询。
在将来的发展中,我公司将以此技术为基础做进一步的开发,实现对SQL语法的支持。
你们的云存储cStor与传统的IP SAN存储有什么区别?(云存储与传统存储的区别?) 区别有很多。
第一,云存储是分布式的集群存储模式,即整个集群中的所有机器都同时对外提供服务,我们知道硬件的读写能力尤其是磁盘的读写能力是有瓶颈的,单台机器最大的读写能力就只有那么多,云模式下的分布式存储采用了切块的方式,多台集群中的节点同时存储,在读写性能上有着前所未有的效率。
第二,在使用模式上,IP SAN的存储模式是每台IP SAN指定一个唯一的IP位置,而cStor是把所有的存储空间为用户虚拟成了一个无限大的硬盘(如C、D、E、F后多了一个G盘),呈现在用户面前,用户对于cStor的所有操作都如同操作本地硬盘一样,当然也可以通过IP访问,且做了虚拟化,对外的IP地址仅仅是1个,方便用户操作。
第三,在扩展方面,传统IP SAN模式当单台IP SAN存储量满后,用户要么需要取出硬盘、换上新硬盘,要么需要再部署一台IP SAN。
这两个方法都会产生一定麻烦,如:换
硬盘后需要访问历史数据,又需要再次更换硬盘,而再部署一台IP SAN后可能项目的整体调度上也需要做一定改变等。
而使用cStor,完全没有这些烦恼,当存储容量不足时,只需要为集群添加新节点或者加入新硬盘即可,且不需要重新配置,全部自动完成,而且支持热插拔,服务不停机。
第四,在数据安全方面,我们有着自主研发的超安存方案,数据与传统的1:1备份存储一样需要额外占用一倍的存储空间,但是达到的安全和可靠性却可以达到传统的10倍,因为我们的超安存是将数据切块后散落在不同节点上的,单台机子的问题对数据不会有任何影响。
用了超安存后,任意丢失不超过一半的节点(即坏掉不超过一半的机器),都可以将文件恢复;在安全方面,任意用户得不到数据中总分块数的一半都无法还原文件(与托管数据方个数与密钥相关共同保障安全性)。
最后,在性价比方面,cStor有着超高的性价比,cStor也有提供类似IP SAN的传统存储服务器模式,而这种模式我们的报价仅仅每TB一千元(含盘)。
云模式下会加入机柜、背板等额外设备,而报价也仅需每TB二千元不到(含盘)。
而且我们公司自主研发的低功耗主板,使得单个存储节点的功耗仅5-10W,国际上主板最低功耗也要100W不到,我们只需要它的1/10,十分节能,因此从发展的层面上看,性价比优势也将更为明显。
低功耗体现在什么地方?
超低功耗云存储硬件节点,功耗仅为5-10W(不含硬盘),支持16块硬盘,容量达到48TB 以上。
不了解产品,能给他带来什么效益?降低成本?提升效率?
cStor优势分析
购买成本优势:cStor云存储系统的购买成本比同行业低5-10倍。
运维成本优势:由于能耗和管理费用,使得拥有海量存储系统后,运维成了最大成本,cStor 云存储系统通过将功耗大幅降低并完全自动化管理,可将运维成本降低5-10倍。
可靠性优势:cStor系统具有传统存储系统无以比拟的可靠性,任意节点损坏、丢失不会对服务产生影响,数据支持N+M的分布式容错,使得存储的数据更为安全可靠。
网络服务速度:由于cStor所有节点均可同时I/O和服务,在性能上可较之传统方式有显著的提升。
和网盘有什么区别?
网盘,又称网络网络硬盘,是一些网络公司推出的在线存储服务。
向用户提供文件的存储、访问、备份、共享等文件管理功能,使用起来十分方便,是我们的云储存系统的一个具体运用。
你们的cStor有具体的应用产品吗?
我们公司的云传输系统,云视频点播,云视频监控,云分发系统都是架构在cStor云存储系统之上的,目前已部署十几套集群,有多个数据中心使用我们的产品。
云存储的安全性?
我们主要是通过在软件上做的大量工作,来弥补硬件的不可靠问题,通过我们的分布式架构,数据是分块存储在不同的存储节点上,如果我们做了传统的冗余备份的话,如1:1备份,那么每一块数据都会存两份,并且是在不同的存储节点上,这样,任意一个硬盘损坏,甚至是节点损坏,都不会影响数据的完整性,而且系统会自动的检测,发现有数据块丢失,会自动的在其他节点上重新备份,这样就保证了数据的可靠。
另外,对于传统的冗余备份,如1:1或者1:2备份,整个系统的有效容量就会减少一半或者三分之二,从而变相的提高了成本,在这块,我们有一个专利技术,称为超安存,它可以在有效提高数据可靠性的情况下,大大的减少这种冗余备份带来的容量损失。
你们是如何提高集群的读写速率的?
数据流与控制流分离,使得Client与Chunk Server之间直接进行数据传输,同时由于文件被分成多个Chunk进行分布式存储,Client可以同时访问多个Chunk Server,从而使得整个系统的I/O高度并行,系统整体性能得到提高。
读写数据时是否设计用户锁?
暂未考虑,不过可以在数据管理平台去做,但锁会让读写性能下降
一个CPU的功耗是46W,你们的板子只有10W,这是怎么做到的,与传统的架构有什么关系,是ARM还是X86的?
我们的板子是基于ARM的板子,板子上包含所有的芯片,但经过我们科技人员的研发,可以达到很低的功耗,大概在10W左右。
实时性能否做到?如果把虚拟机的文件放在集群上,那么使用虚拟机是否有影响?
能够做到,不影响虚拟机的使用。
硬件板子的报价是多少?
成本仅为2千多元,将支持16块硬盘,单个板子容量达到48TB以上。
只卖产品还是提供其他一些服务?
目前提供云存储软件系统和硬件系统,软件系统和硬件系统可以单独出售,但软件系统架构在我的硬件系统上,性价比更高;同时我们还与其他企业合作,提供技术输出或解决方案的定制。
卖硬件还是软件?
软硬件系统可以单独卖,但软件系统最好架构在我们自己的硬件系统上,因为性价比更高。
你们的产品和mfs一样吗?
不一样,性能比MFS好,支持的功能也比MFS多,支持多种应用场合,不存在MFS的功能缺陷,如单节点问题。
你们的产品和GFS有什么不同?内部设计原理是什么?
cStor的设计理念是借鉴了GFS,内部的设计原理是也差不多,但我们可以根据客户的需求,做一些定制化。
将POSIX支持的力度有多大?
POSIX的功能cStor全部都是支持的
是否与传统的存储设备兼容性?
是兼容的,可以将诸如SAN、NAS作为存储目录。
服务down时,是否有守护进程将其拉起,如watchdog?
是。
hunk磁盘间的负载均衡是由chunk实现的还是master实现的。
当新增磁盘后,负载均衡如何发生。
chunkserver内的磁盘间的负载均衡是由chunkserver根据各磁盘利用率实现均衡的,
chunkserver之间的负载均衡,是由master根据各chunkserver的磁盘利用率进行均衡的。
云视频与传统视频监控的区别
云视频较传统视频的优点:
采用云存储技术,性价比大幅度提升。
省略了中间环节,从采集端采集后直接传输到转码系统进行处理,然后输出。
转码系统中包含多个节点,并能同时处理,实时转码。
支持监控任意多路高清视频。
后续发展:在此基础上支持视频的智能分析。
云传输的特点
传统的网络传输是基于TCP/IP协议的,只解决了网络传输的问题,不能保证传输效率。
而UDP协议能保证传输效率,云传输就是在UDP基础上提供高效可靠的传输,能够有效的将2点之间的传输效率提高到80倍。
同时传输的两点直接能够相互协作。
例如深圳某家上
市公司:这家公司提供全国26个省的在线高清电视节目。
在使用云传输之前,电视节目的传输是整体传输到一个省,结束后再传输到第二个省,依此类推,不仅耗时而且无法保证时效性。
在使用云传输后,可以将需要传输的内容分割为几个包,分别传输到各个省,在各个省份之间又可以进行相互的传输,保证了时效性的同时还节约了资源。
我是卖视频监控设备的,你们的东西和我的东西可以怎样产生效益?
您好,据我所知,至少有两个方面可以产生效益:
一个是视频的存储。
目前,大部分的视频监控部署都会采用高清摄像头,譬如交通部门安装在十字路口或者卡口上的摄像头、小区或者楼栋里面的监控,那么每时每刻产生的数据量都是很大的,特别是如果摄像头的路数越多,产生的数据量更是惊人;那么对于这些视频信息的存储就是一个问题,如果要保存稍微长点时间,如两年或三年,存储的问题更突出,一是你不知道最终实际有多少数据,存储设备的配置不方便,如果容量不够,扩容也很麻烦,要么更换硬盘,要么更换设备,不仅成本高,服务也停掉了,想调之前的数据很不方便;二是随着监控摄像头的路数越多,存储服务器由于网络的限制,速度会越慢。
我们的云存储平台则很好的解决了这两个问题,我们的系统支持不停机而且是不停服务(也就是,外界还可以继续调用之前的视频录像)的情况下,动态的扩容,而且很方便,只需将新的存储节点通过网络连到系统即可;由于数据的实际存储是直接与存储节点通信,因此存储节点越多,系统的吞吐率成线性增加。
而且我们的云存储平台很便宜,它的价格是传统存储的五分之一不到,平均每TB,也就是1024GB小于两千块。
另外针对那种数据不需要长时间存储,而且容量不是很大的情况,我们也有相应的IP-SAN设备,其价格平均到每TB不到一千块。
再一个就是对视频数据的处理。
如果我想在我存储的大量视频数据里查找我所需要的信息,采用传统的用人来查找,效率就很低,譬如这次南京的1·6案件罪犯信息的查找(1·6专案组视频的存储和处理就是由我们公司做的);我们公司有一套自己的数据挖掘技术——数据DNA,再配合我们的cProc的处理平台,可以高效的解决这个问题,另外,我们的视频处理技术在灾害预警等方面也有着自己的专利技术,可以满足不同的需求。
总的来说,为您开拓自己的业务提供了更多的选择和更宽广的业务面。
我们是做小区和楼栋监控的,你们的东西可以用到我们这里吗?怎么用?
可以的。
针对您监控视频数据的处理,我们公司可以提供cStor的云存储平台,主要解决视频数据的存储,还有cVideo的视频监控和管理平台,主要解决您视频的监控和实时处理。
像现在新部署的监控摄像头,很多都要求是高清的,至少是标清摄像头,如果摄像头路数多,那么每时每刻产生的数据量都很大,如果保存的时间比较久,像刚才有个客户提到的三年,这就需要有一个海量的存储平台,至少是一个扩容很方便的平台,而且该存储平台在多路设备同时访问时也要有很好的I/O性能,我们的cStor云存储平台很好的解决了这个存储的问题,它的容量理论上没有限制,而且随着存储节点数的增多,系统的吞吐率会呈线性增加,并且系统扩容非常方便,只需要将新增加的存储节点通过网络并入到系统即可,更重要的是我们的价格只有传统的五分之一不到。
如果把我们的数据放在你们这里,安全吗?
不好意思,我们这边不是提供您所说的这种个人云存储服务,而是提供云存储的基础设施构建,通俗点说,就是我们给你们部署云存储数据中心。
由于我们的云存储采用的是一个分布式的存储架构,数据是按块分布式的存储在存储节点里面,在采用传统冗余备份情况下,数据不会因某一台机器故障而丢失;而且我们有一个超安存技术,不仅可以解决传统冗余备份情况下有效容量的大幅减少问题,还通过自有的一套编解码技术保障了数据的安全,即是数据都被别人获取到,没有我们的解码技术,同样也得不到完整的文件,像国内云计算这块做的最好的华为,他们在云安全这块都是找我们公司合作的。
你们的东西估计只有大型企业或者国家部门用得上,像小公司或者个人可能用不了
对于个人的话,确实可能用不上,但是对于企业来说的话,也不一定。
因为我们的云存储设备是可伸缩极强的,如果公司有很大的数据量存储和处理的需求,或者说有潜在的大数据量的一个需求,那么采用我们的存储系统应该是一个非常不错的选择。
我们是邮局的,你们的云存储怎么样运用到我们那里,又可以为我们的工作带来哪些方便呢?
我们的云存储系统主要解决的是一个海量数据的集中式存储的问题,对于一些有海量数据需要存储的地方均可以采用。
像您所在的邮政部门,应该是非常合适的。
你们给的是CentOS 5.6 为自己定制版本,能否兼容其他linux系统?包括官方的CentOS 系统。
因为我们的服务器原来是redhat和ubuntu系统,我们自己试了都不能安装,所以不知你们的cstore是否能在其他linux上安装。
cStor存储服务器和cStor元数据管理服务器建议使用光盘自带的操作系统版本
cStor应用程序客户端支持多种平台,需提供对应linux平台和系统的版本后,我们能生成对应的安装包;
你们的光盘安装盘能否做成u盘安装,我们服务器的光驱出问题了,想做成u盘安装,但是发现中间有问题,或者能否提供网络安装等其他方式?
可以U盘安装
另外cstore是否有方便的安装和测试工具,我们好测试一下性能和功能;
cstor提供posix访问接口,可以用dd,iozone,iometer等测试
还有你们的cstore对服务器硬件有没有要求,我们的服务器原来装了raid0和raid1这样有没有问题呢?
没有问题
我们的存储可以支持到1024x1024x1024个PB,那么这仅仅是理论计算的结果吗?
我们在cstor集群上面添加了超级master模块,这个模块只维护了挂载客户端与master 的目录关系,所以1024x1024x1024这个值是可以的。
系统的IOPS是多少,怎么算出来的?
postmark,是由著名的NAS提供商NetApp开发的小文件性能测试工具,主要用于模拟诸如邮件系统以及Web系统的实际业务情况,即频繁大量的存取小文件。
Postmark是在一个磁盘上创建一系列的文件,通过随机数来产生所操作的文件的序号,对该文件进行创建、删除、读写或者添加的操作,使得测试贴近于现实中的应用。
最后输出包括测试总时间、每秒钟平均完成的事务数、在事务处理中平均每秒创建和删除的文件数,以及读和写的平均传输速度等数据。
小文件性能
(1客户端、2存储节点)
文件大小读写比例
吞吐量(MB/s) 总吞吐量
(MB/S)
IOPS
平均响应
时间ms
其它说明接收发送
32K 100%读14.6 0 14.6 467 2 100%写0 1.42 1.42 87 11 8:2读写 3.93 1.2 5.13 157 6 6:4读写 1.81 1.32 3.13 96 10
64K 100%读23.23 0 23.23 371 2 100%写0 2.98 2.98 143 6 8:2读写7.71 2.78 10.49 154 6 6:4读写 4.49 2.56 7.05 119 8
1M 100%读53.57 0 53.57 53 18 100%写0 30.12 30.12 85 11 8:2读写25.75 14.68 40.43 32 31 6:4读写14.48 16.14 30.62 24 41
系统的硬盘的读写IO最大是多少带宽?
大文件性能
(2客户端、1-4数据节点,单位:MB/s)数据节
点数
write Re-writer Reader Re-reader Random Read Random Write
1 68.97 37.44 73.1
2 73.17 66.59 15.07
2 133.5968.54107.97114.1189.2521.36
3 196.27100.56122.13124.52104.726.48
4 220.14222.29172.77151.12187.677.96
在存储节点增加和客户端增加的情况下几乎能达到线性增长。
同样容量的cStore和SAN存储价格优势大概是多少,cStore是采用多份存储的(最少是两份),如果实现同样容量的存储相比于SAN又有多少优势呢?
云存储和磁盘阵列比较
磁盘整列cStor
性能 1.管理服务器成为性能瓶颈,所有
访问都通过管理服务器,存在性
能瓶颈,一旦故障停机,对外服
务停止。
1. 系统吞吐率随着节点的增多而增加。
2.采用分布式存储架构,性能没有瓶颈。
可靠性一般采用RAID的方式来进行可
靠性保证,磁盘利用率低。
2. 采用分布式文件系统来保证系统可靠,任意节点包括元数据管理节点坏掉,对外服务不停止,数据不丢失。
服务磁盘阵列需要提供专门的存储服
务器对外提供服务,存储服务器
存储性能瓶颈。
只提供数据存储功能,当外部需
要访问其中的数据时,需要通过
专门的访问服务器,而这个访问
服务器造成了访问速度、并发访
问等一系列的瓶颈问题云存储的每个存储节点既可以做为存储节点,也可以对外提供服务。
性价比低
磁盘阵列100T
HP --35万dell--30万
高30万
你们有哪些成功案例
1.镇江云神工程
2.江苏移动
3.南京公安局
4.天华传媒资源分发系统
5.苏宁云能源。