李道兵(红牛时间)七牛云存储-三分开发,七分运维
短视频和云存储
短视频的痛点
• 有压力，常规的服务如何解决？
– 数据库: 尽量使用 SSD 硬盘，增大数据库处理能 力 – 缓存层: memcache 或者 redis，水平扩张 – 业务层: 消除服务状态，然后水平扩张 – 接入层: nginx/tengine，水平扩张，用 heartbeat 或者 LVS 来做高可用 – 网络: 尽量使用 BGP 机房，如果只走元数据，那 么流量成本还可以接受
此处是广告
• 七牛的目标是做成为一站式数据平台，帮 助我们的客户更好地解决他们的数据收集、 存放、处理、分析、分发的任务。 • 如果你认同数据的价值，认同七牛的理念， 请联系我们，我们正在招人 hr@
• Google 的出现把互联网成功从 1.0 升级到 2.0
– 收集网页变成搜索功能来满足用户 – 收集用户的搜索和访问行为变成广告投放引擎 来满足客户 – 这些都是数据价值的体现 – 值多少：3000多亿美金
数据的意义
• 未来的世界，数据越来越重要
– 你能不能贷款买房，决定的不是你的客户经理 ，而是背后的数据 – 你获取用户的能力，不再仅仅决定于你的智慧 和直觉，而更多是你的数据挖掘能力 – 你的公司的盈利提升，也将更多取决于你的在 数据上能挖掘得多深。
• 实名社交和熟人社交：可以跟你的朋友分享你的成果和 感受，享受你跟朋友的互动 • 传播效应更显著、且质量与转发量成正相关，让大家努 力创作高质量内容，且高转发下有更高的荣誉感
短视频产品的痛点
• 疯狂增长
– 如果你对产品打磨得足够好，那么用户使用量 会疯狂增长，比如逗拍上线几天后就成为 iOS 免费榜第一名 – 疯狂增长会给你的全线带来压力，数据库，缓 存，业务逻辑，存储，上传，分发都会受到很 大的冲击
运维牛SEBA云平台v1.0
资质证书
应用案例--医疗卫生建筑
抚宁区人民医院
抚宁县人民医院坐落在抚宁县城南部，位于健 康大街50号，是一所现代化的二级甲等医院。医院 占地面积28295平方米，建筑面积22960.86平方米， 包括门诊楼、外科楼、儿科楼、急诊楼、宿舍楼、 食堂、放疗科、氧气站、配电站、后勤总库房等， 为响应智慧抚宁建设目标，采用运维牛智慧消防服 务系统（监控点达1000点），全面实现医院安全信 息化建设管理，提升医院火灾预警监控能力和医院 服务安全管理品质，减少消防控制室值班人员工作 量，节省了人力成本。
类似项目： 红枕安悦酒店、昌乐鸢飞大酒店、凯瑞酒店、青龙县万豪酒店、淮阳县皇都大酒店、淮阳县皇都大酒店、周口菊香酒店服务有 限公司
感谢观看！
消防安全管理——门禁及车辆出入管理
消防安全管理——周界
环境监测管理——环境参数监测
环境监测管理——垃圾清运
防开盖探测器
垃圾桶开盖监测
监测模块
采集现场传感器，上传中心
红外探测摄像机
与原有摄像机合用，监测垃 圾点情况；
宣传牌
清运二维码
保洁人员管理
地埋探头与温度传感器
垃圾桶移位监测； 垃圾桶温度监测；
类似项目： 哈尔滨优度社区、抚宁紫金湾景逸小区、抚宁紫金湾景彩小区
应用案例--商业建筑
潍坊泰华城
潍坊泰华城总建筑面积69万平米，其中商 业建筑面积33万平米，项目定位于大型综合体 和城市综合购物中心，项目采用运维牛消防安 防物联网服务平台（监控点位达38000点），对 商城内的消防设备设施、视频监控系统、消防 水源等进行联网监控，对商城内的设备进行全 面覆盖、实现集中控制，提高了商城的安全性。
设备监测数量及下级管理数量
刍议输变电设备状态监测中的物联网技术应用
512023年9月下 第18期 总第414期信息技术与应用China Science & Technology Overview1物联网体系的构建与设计1.1物联网体系的构建物联网体系包含3个层级，主要为感知层、网络层与应用层，物联网体系中感知层、网络层与应用层分别承担着各自的职责，各层级相互配合有助于提升物联网应用水平，凸显物联网的优势。
感知层负责感知与采集信息，可接收特定范围内的网络信息，在短距离无线通信网络下可使感知层与通信设备建立联系，使其在系统运行中接收大量来自其他环节的信息；网络层负责信息传输，感知层所接收的信息可在网络层辅助下传输；应用层包含了各种应用终端，如智能手机、计算机、平板电脑等，在应用层支持下计算机与用户之间能保持良好的交互。
物联网的应用架构包括基于FRID 电子标签的应用架构、基于传感网络的应用架构、基于M2M 的应用架构。
RFID 电子标签中集成了输变电设备的各种信息，这种数据特点决定了RFID 电子标签可作为智能化虚拟物而存在，负责实时监测与管理；传感网络中包含了各种传感设备，如红外线传感器、GPS 系统、扫描系统，这些均具备传感功能，借助传感网络可在不同设备之间建立联系，使设备之间能传输、共享信息；M2M 是终端设备智能交互实现的网络化服务，借助M2M 应用架构，用户可根据实际情况选择解决方案，完成相应的调度与监控工作[1]。
物联网网络模型以功能、技术作为划分依据，划分为感知层、网络层与应用层。
1.1.1智能感知层物联网体系架构中，智能感知层是其关键构成部分，合理设计感知层可以实时监测输变电过程，保障输电、变电、配电与用电的高效性。
感知层借助传感、摄像等设备可精准、全面感知输变电设备的运行状态。
与此同时，监测环境可以形成完整的监测数据，在后续工作中合理利用这些数据，能够消除输变电设备运行中的风险。
在输变电设备物联网技术体系中，智能感知层以物联网为介质，配备了GPS、智能传感器、EPC 标签等设备，完成对输变电设备运行中数据状态的科学感知，同步采集全生命周期内的资产数据。
知名企业培训讲师
陈龙老师介绍&讲师介绍陈龙老师，经济学硕士，员工职业化培训讲师，时代光华教育集团总部首批认证内部培训师，香港光华管理学院特聘员工训练讲师，PTT培训认证讲师、中国培训行业联合会会员。
中国保健协会特聘讲师、清华大学保健品行业总裁班特聘讲师、北京海淀企培中心特聘讲师、天津市劳动局企业培训特聘讲师、湖北卫视职业频道特聘讲师。
&实践/学术背景拥有十余年的企业管理经验，曾任北京时代光华教育发展有限公司课程研发部门首席顾问、培训认证中心负责人;慧商斯威财务管理顾问(北京)有限公司总经理等职。
陈老师擅长于员工职业化、基本管理技能等培训，将本人多年的知识凝练和团队管理经验运用在课程当中，授课中注重启发及技能传授的相互结合，以显著的培训效果被广大学员所赞誉。
授课风格上讲求“道”与“术”的统一，使学员易于理解及体会，让学员在思想上得到升华的同时在行动上得以提高。
&主讲方向职业化修炼3部曲职业化修炼之素质篇职业化修炼之心态篇职业化修炼之方法篇管理类3大法宝《实用沟通技巧》《打造高执行力的团队》《打造黄金中层》部分其他课题推荐《TTT培训》《专业演讲与呈现技巧》《直指人心的激励艺术》&服务过的客户胜利油田、高等教育出版社、陕西神东电力公司、中国联通、山东万达通宝轮胎、江苏国泰亿达实业、山东太平人寿、山东海科集团、杭州易泰达科技、北京知鸟集团、北京九思易科技、北京海淀企培中心、咸宁供电公司、杭州金海岸、北京邦格广告、连邦软件总部、北京普源精电、中化集团宁波公司、南通通光科技、北京蒙太因医疗器械集团、马应龙药业、中国医药集团、润都医药集团等多家企业，广受好评。
陈兆杰老师2005年最受企业欢迎十大著名实战管理培训师。
北京大学、清华大学、浙江大学等知名院校EMBA、MBA课程签约讲师、总裁班特聘教授，蒙代尔国际企业家大学客座教授;新加坡华点通教育集团特聘高级培训师。
陈老师自幼熟读孙子兵法、易经、鬼谷子、先秦诸子百家等中国古代优秀著作并成功将其应用在企业管理和企业培训之中系中国大陆中国式管理第一人。
牛人云计算奶牛场管理系统
创新优势 1
2
无须安装随时访问
•任何时间 •任何地点
34
适合大数据量特点
•服务器计算快速 •操作便捷
5
云存储数据更安全
•分权限管理、控制 •数据多镜像备份，防丢失
云计算还可以帮助政府改进行业管理与服务 It’s can also help the government to improve service !
新一代牛人 The New Generation of Cattle Man
还在用传统手段管理牛群和您的企业？ Still Managing your farm in traditional way?
您落伍啦？ Out！ You are Dropped Out ?
存储
服务器
新牛人云计算
牧场
网络
云计算 移动互联网时代
养牛也是可以用“高科技”的！ Cow Industry is full of ‘high’technology!
Jump
Growth Start
行业信息化历程
2012 2012，首款牧场云计算
年
系统，在京发布
21世
纪初 2006年，C/S单机版出现
20世
纪90 90年代，DOS版出现
新一代牛人 The new generation of cattle man
用新技术和不断创新的精神改变牛业发展 The Spirit of innovation will changing the industry
随时随地查看 牛群结构
即时接收工作预警
首创智能手机客户端：智能预警、即时查询
国内首家平台级系统，兼容各种牧场硬件
自动 采集
Байду номын сангаас云计算
在开源世界里逼自己成长
在开源世界里逼自己成长李道兵，七牛云存储首席架构师。
他曾是北大化学专业博士研究生，中途毅然转行至自己喜欢的互联网行业。
2007 年加入金山实验室，2010年加入盛大创新院，曾先后参与了盛大网盘项目和盛大云项目。
2013年，李道兵加入七牛云存储，任职至今。
他热爱开源，曾先后担任维基百科中文管理员，Debian Developer，协助维护iso-codes 等开源软件。
他喜欢架构，参与了不少高压力项目的结构设计，推崇高可用，可伸缩，低耦合的架构设计。
问：你是从什么时候开始编程的？为什么没有坚持自己原来的化学专业？我高中才开始接触到电脑，大学的时候兴趣大增，还找了一份帮人做网站的兼职。
研究生阶段专业是计算化学，所以不仅有大量编程的工作（我的课题算法需要自己写，没有现成的软件），还要帮课题组维护一个由几十台Linux服务器组成的集群，所以也积攒了一些Linux 运维的经验。
离开学校后没有继续做化学的一个原因是我没能正常毕业（文章发表不太顺利），最后拿了肄业证书走人；另外一个原因是兴趣转移了，自己的职业规划就是要往软件行业走，所以是否有一份化学的学位证书对我影响不大，所以就没有坚持下去。
问：你认为现在的开源社区环境跟你当初成为Debian Developer时的环境有哪些差别？是否仍然鼓励今天的程序员为开源软件做贡献？差别挺大的，当时开源软件的最大威胁还是来自大公司的一些不实攻击（特别是微软的一些FUD策略），而现在的最大挑战可能是来自开源软件的主导权问题。
主导权是留在社区还是会慢慢变成由公司来主导？GNU组织的影响力也在逐渐下降，大家对开源主导权继续保留在社区的信心也在逐步下降。
我觉得程序员参与开源是好事。
一方面开源世界有很多问题需要解决，解决这些问题能倒逼自己快速成长。
对于我来讲，如果没有参与开源的话，我的水平会比现在差很多。
另一方面是理念方面的原因，我觉得能够贡献一点时间给全人类谋点福利是值得的，特别是在那些可以沉淀下来的事务上。
宏杉科技存储技术交流
在大型企业
在大企业、中央直属企业、军工企业等广泛 部署，包括航天科工集团、中国资源卫星应 用中心、广东银联、成都光明光电、用友集 团、沪东重机、富力地产、云南烟草、红云 红河烟草、云天化集团、韶钢集团、陕西延 长石油、普光油气田等。
9
持续技术创新
ODSP
✓ CRAID2.0 ✓ HotCache ✓ SDAS（Sym Dual
➢ 基于ODSP平台下的MS7000高端多控制器技术， 可靠性更高。
MS3000
镜像 生产卷 数据中心B
18
灾备解决方案
一对一模式
主站点
备站点
两地三中心模式
站点A
站点B
站点C
多对一模式
WAN
站点1
中心 站点
… 站点2
站点n
云灾备服务运营
IDSM智能数据管理平台
19
大数据解决方案
MC系列
高性能计算集群存储
Active System）
✓ MPR（Multi Point
Replication）
✓ ......
产品
✓ 双交换矩阵：MS7000高端存储 ✓ 高端架构中端化：MS5000/3000四控 ✓ 大数据存储：MP系列/MC系列 ✓ ……
解决 方案
✓ 双活数据中心 ✓ 两地三中心 ✓ 多点/云灾备 ✓ ……
6
在电力能源
同时入围国家电网信息化技术支持项目、 调度支持项目系统采购，累计部署48台中 端存储 ，包括江苏电力、浙江电力、黑龙 江电力、吉林电力、福建电力、北京电力、 天津电力、中国电科院等单位。
7
在卫生医疗
在各级医院、卫生机构广泛部署，包括数十家三 甲医院，如北京朝阳医院、郑州人民医院、郑州 颐和医院、河南职工医院、洛阳妇幼医院、山大 二院、石家庄中医院、吉大口腔医院、北大深圳 医院、昆明军区总医院、云南第二人民医院、暨 南大学附属第一医院、武警广东省总队医院等。
智能煤矿数据中台架构及关键技术研究
的Yarn,ZooKeeper资源调度管理组件，Flink实时
流式计算处理组件，以及数据资源池建设中所需的
MySQL，Redis，ES等数据存储组件。
(3) 数据汇聚。主要实现结构化、半结构化、非
员定位、工业视频监控、冲击地压监测、水害防治和
矿用重大设备运维等感知数据接入规范，以及双重
预防、地质测量等管理数据接入规范。数据治理规
范包括主数据规范、元数据规范、数据目录规范、数
据服务规范等，依据相关国家标准和行业标准制定。
(2) 大数据基础支撑。主要包括数据汇聚时所
需的Kafka消息队列(用于缓存实时数据),Hadoop
1智能煤矿数据中台建设思路
智能煤矿 中 台
类
、
理规范的制定，汇聚数据资源量、硬件计算资源量、
存储资源需求量估算，根据数据资源量和数据采集 频率及实时性要求等进行大数据基础支撑组件的选 型等,包括数据汇聚、数据开发、数据存储、数据资产 管理和数据服务等步骤。
经数据汇聚采集的数据没有经过处理，基本是 按照数据的原始状态堆砌在一起的，业务难以使用， 需要通过数据开发存入数据资源池。数据开发主要 面向开发和分析人员，提供离线或实时的算法开发 工具，以及任务管理、监控等一系列集成工具。数据 存储是数据中台的核心，要充分考虑数据的一致性 和复用性，按照原始库、资源库、主题库等存储方式 进行数据资源池建设，并形成数据资产和相关模型数据服务使数据资产和相关模型服务于煤矿风险监 测预警、设备健康诊断等，通过运维体系保障数据中 台长期健康、持续运转。
务、运维保障等功能模块；探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、
数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案&应用表明，智能煤矿数据中台实现
云存储技术在高速铁路高清视频监控系统中的应用
云存储技术在高速铁路高清视频监控系统中的应用叶安君【摘要】论述我国高速铁路视频监控系统建设和国内外云存储技术发展现状;从高速铁路视频监控系统建设方案、车站视频汇聚层存储容量分析出发,提出高清视频监控系统建设面临的困难和挑战;从云存储概念入手,并以云存储系统建设案例阐述云存储关键技术的实现;论述云存储技术在高速铁路视频监控领域的应用趋势.【期刊名称】《中国铁路》【年(卷),期】2018(000)005【总页数】5页(P90-94)【关键词】云存储技术;高速铁路;视频监控系统;云节点;存储设备【作者】叶安君【作者单位】中铁第一勘察设计院集团有限公司,陕西西安710000;轨道交通工程信息化国家重点实验室(中铁一院),陕西西安710000【正文语种】中文【中图分类】U2980 引言截至2017年底，我国已开通超过2.5万km高速铁路。
伴随着高速铁路的建成开通，同步建成了视频监控系统[1]。
视频监控系统以其直观、高效的优势得到铁路运营部门的青睐，为铁路生产作业、安全管理提供了强有力保障。
随着高清视频技术在其他行业的全面应用，相关产品产业链完善成熟。
目前，我国铁路视频监控系统的建设标准已向数字高清标准全面演进，将为用户提供更清晰的视频图像、更易操作的系统，大大提升了视频系统的应用品质。
目前，云存储技术在全球已发展到成熟期，根据国际数据公司（International Data Corporation，IDC）报告显示，2013年全球云存储市场规模为442亿美元，未来4年全球云存储市场平均每年将增长26%，主要表现在以下方面：（1）云存储的产品和服务业已定型（如亚马逊的云服务，百度的SaaS云软件服务等），技术已成熟，成本也在不断下降（如各类开源免费的云平台）。
（2）行业内从事云存储技术的企业众多，产业链完整，竞争日趋激烈，新企业进入门槛变高。
（3）云存储技术不断满足政府、工业制造、大众消费的使用需求。
（4）云存储相关标准已有大量组织和团体在着手制定，如亚马逊的EC2、EBS已经形成市场标准。
三分开发 七分运维
三分开发七分运维
佚名
【期刊名称】《网络运维与管理》
【年(卷),期】2014(000)024
【摘要】对于云服务来说,三分靠开发,七分靠运维。
云存储究竟难在哪儿？为什么HDFS，glusterfs．mogilefs不能作为云存储的基础设施？七牛云存储首席架构师李道兵为我们带来了“三分开发，七分运维”的精彩观点。
【总页数】2页(P32-33)
【正文语种】中文
【中图分类】TD94
【相关文献】
1.变"三分种七分管"为"七分种三分管" [J],
2.“三分治七分养”胃病之饮食调养 [J], 石劢
3.于俊清:信息化工作"三分技术七分管理" [J], 王世新
4.慢性咽炎,三分治七分养 [J], 文镛
5.数字化转型三分技术、七分组织 [J], 毛基业
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
全球软件案例研究峰会
云存储：三分开发，七分运维
李道兵
七牛云存储
全球软件案例研究峰会
七牛为什么要做云存储？
客户是谁？
有存储需求的人（典型情况: 图片，音频，视频应用，日志存储和分析）
价值如何体现？
他们自己搞定这个事情的成本是多少？
前景如何？
世界上的新增数据以每年66%的速度增长，。
全球软件案例研究峰会
我们为什么需要一个公有云？
我把数据放在磁盘里，磁盘做RAID5 是不是就可以了？
单点故障，如果机器损坏或者需要停机，这些数据就下线了
IOPS和吞吐量都很有限
容量有限，放满了这个方案就不合适了
听说glusterfs 不错，是否可以解决这个问题
全球软件案例研究峰会
glusterfs 的问题
优点
POSIX兼容，很多程序不用修改就可以直接用
无中心的架构，机器数量不受限制
缺点
无中心的架构天生的两个缺点: a. 扩容时rehash导致大量数据迁移b. 对称盘的形式导致修复速度太慢
数据链路过长，所以小文件性能超差
实现的API过多，导致实现复杂度很高
适用领域: 小规模集群，容量可预估，没有小文件，程序很难改造成用API 来访问存储
全球软件案例研究峰会
mogilefs 的问题
优点
有中心，扩容和修复更方便
缺点
有中心的缺点:
总条目数受中心限制
读写速度受中心限制
大文件上传不方便
适用领域
中小型网站，文件数量不超过几千万，1PB左右的规模，访问频率不超过几千QPS，不用考虑大文件上传的问题。
全球软件案例研究峰会
Hadoop 的问题
优点
超强的伸缩性，1000台规模无压力，5000台阿里也有一些实践
缺点
Hadoop 是按照离线数据分析服务来设计的
可用性低: Java语言本身的问题，Hadoop 数据平衡时数据访问超时
小文件支持不好，hadoop 的数据块太大
适用领域:
离线数据分析：各类日志分析，数据报表类的业务
全球软件案例研究峰会
混搭模型
HBase
Hadoop+HBase/MySQL
RawDisk+MySQL
…
简单来说，做一个支持1PB 的云存储已经不是什么难事了，剩下的大问
题只有一个: 运维
全球软件案例研究峰会
你有足够强的运维么？
为什么需要运维
机器坏，磁盘坏
磁盘满，网络满，磁盘过载，内存不足
网络不稳，交换机死机，。
安全更新
为什么哪些软件不把这些全部做到业务逻辑里边去
有些很难做（比如网络，交换机，磁盘满，安全更新)
防止系统过敏（比如上次亚马逊机房事故就是一次过敏）
研发和稳定期很长
全球软件案例研究峰会
你需要更多基于云存储的服务
图片：缩放，水印，原图保护
音视频：转码，切片，合成，快速预览
你的自定义需求: 美颜相机，人脸识别，数据统计
而这些需求在跟私有云整合时开发工作量很大，而对于很多云存储这些
功能都是现成的
全球软件案例研究峰会
七牛为什么要做云存储？
客户+价值+前景// 公司的立身之本
有技术门槛// 不会变成红海
很酷// 大家干得很开心
创业加速器// 看到一堆新公司在自己的平台成长起来很开心
全球软件案例研究峰会
单机房100PB的挑战
4000台存储机，不考虑冗余每台要承担25TB 的容量200KB的文件平均大小情况下，如何去支持5000亿条元数据元数据集群如何去支持1Mqps 的请求频率
除了这些还有...
全球软件案例研究峰会
单机房100PB的挑战
架构也许不是那么难
保持每个组件都是高可用，可伸缩的
保持每个远程调用都是可重入的
网络传输需要校验
全球软件案例研究峰会
单机房100PB的挑战
墨菲定律的诅咒
多磁盘故障
交换机故障
人为失误
全球软件案例研究峰会
单机房100PB的挑战
我们能做什么？
多预案，并且喜欢处理流程
多演习，让事故处理常态化
常规事故处理一键化，自动化
全球软件案例研究峰会
Summary
自建云存储的缺点
运维成本高，相比购买云服务，并不划算
常规解决方案存在适用领域狭窄的问题，不够通用
七牛云存储的优点
运维外包，成本更低，安全性可用性更好
更多的扩展功能
全球软件案例研究峰会
全球软件案例研究峰会
TOP100Summit案例大会：
全球软件案例研究峰会
Thanks for your attention。