分布式系统技术简介
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Docker mac 入门:https://docs.docker.com/mac/
Docker 用户指引:https://docs.docker.com/engine/userguide/ Docker 官方博客:http://blog.docker.com/ Docker Hub: https://hub.docker.com/ Docker开源: https://www.docker.com/open-source
Docker Swarm
Docker实现分布式系统
Docker swarm Docker stack Docker compose 见官网教程 https://docs.docker.com/get-started/
Docker学习资源
Docker官方英文资源 docker官网:http://www.docker.com Docker windows入门:https://docs.docker.com/windows/ Docker Linux 入门:https://docs.docker.com/linux/
CEPH数据读写
CEPH安装
方法1:见官网 https://ceph.com/install/ 方法2:使用docker 进行安装 https://zhangge.net/5136.html https://cloud.tencent.com/info/3dc72759a9ad87a28139958 ba73dbe52.html https://blog.csdn.net/styshoo/article/details/77284916 https://www.ibm.com/developerworks/cn/opensource/oscn-ceph-rbd-docker-storage/index.html
CEPH学习路径
1、深入理解三种存储方式 2、了解CEPH的架构和基本概念 3、学习CEPH的基本操作 4、尝试安装CEPH 建议多看官方文档
THANKS
CEPH
CEPH
CEPH是什么?
CEPH
CEPH
CEPH是一个分布 式文件存储系统
存储方式
存储方式
主要是将裸磁盘空间映射给主机使用。 典型设备: 磁盘阵列,硬盘 优点:容量大,可存储大文件 缺点: 主机之间不方便共享数据。
存储方式
为了克服块存储文件无法共享的问题,所以有了文件存储。
典型应用:FTP NFS服务器
Docker学习资源
Docker中文资源 Docker中文网站:https://www.docker-cn.com/
Docker安装手册:https://docs.docker-cn.com/engine/installation/ Docker 国内镜像 网易加速器:http://hub-mirror.c.163.com 官方中国加速器:https://registry.docker-cn.com ustc的镜像:https://docker.mirrors.ustc.edu.cn
Container(容器)
轻量
Docker
Docker就是一种容器技术, 于2013年开始流行,Docker的火热也带 火了容器化技术
Docker
Docker的出现极大的简 化了容器化技术
使其快速成为容器化技 术的“标准”
Docker核心概念
Docker 镜像(Image):
类
Docker 镜像是用于创建 Docker 容器的模板。
分布式系统技术简介
杨述 2018.07.28
Docker
Kubernetes
CEPH
Docker
Container(容器)
每次都花大把时间在开发环境的配置上?
程序在自己电脑上运行良好,发送给客户或者同事就运行不了?
Container(容器)
程序文件
打包
容器
环境配置,依赖项
Container(容器)
Docker 容器(Container):
容器是独立运行的一个或一组应用。
对象
Docker安装
Ubuntu系统:https://docs.docker.com/install/linux/dockerce/ubuntu/
Windows系统:http://www.runoob.com/docker/windows-dockerinstall.html
CEPH核心组件
Monitor 一个Ceph集群需要多个Monitor组成的小集群,它们通过Paxos同步数据,用来保存OSD的元数据。 OSD OSD全称Object Storage Device,也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。 MDS MDS全称Ceph Metadata Server,是CephFS服务依赖的元数据服务。 Object Ceph最底层的存储单元是Object对象,每个Object包含元数据和原始数据。 PG PG全称Placement Grouops,是一个逻辑的概念,一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据 和定位数据。
Docker基本操作
Docker Hello World Docker容器操作 Docker镜像操作 见菜鸟教程 http://www.runoob.com/docker/docker-tutorial.html
大型网络架构简介
Docker实现分布式系统
Stack
service
Container
CEPH核心组件
RADOS RADOS全称Reliable Autonomic Distributed Object Store,是Ceph集群的精华,用户实现数据分配、Failover等集群操作。 Libradio Librados是Rados提供库,因为RADOS是协议很难直接访问,因此上层的RBD、RGW和CephFS都是通过librados访问的 CRUSH CRUSH是Ceph使用的数据分布算法,类似一致性哈希,让数据分配到预期的地方。 RBD RBD全称RADOS block device,是Ceph对外提供的块设备服务。 RGW RGW全称RADOS gateway,是Ceph对外提供的对象存储服务,接口与S3和Swift兼容。 CephFS CephFS全称Ceph File System,是Ceph对外提供的文件系统服务。
Docker推荐学习路径
1、Docker的基本概念 2、Docker的基本操作(菜鸟教程) 3、Docker部署分布式系统基本操作(官网) 4、Docker高级操作(官网、技术博客) 5、实际应用
Kubernetes
Kubernetes
Kubernetes是什么?
Kubernetes
Docker Swarm
Kubernetes
他们都是容器编排技术
Kubernetes
Kubernetes架构
Pod Container Label(label) Replication Controller Service Node Kubernetes Master
Kubernetes学习资源
Kubernetes基本概念 https://www.jianshu.com/p/63ffc2214788 http://dockone.io/article/932 Kubernetes部署集群 https://kubernetes.io/docs/tutorials/hello-minikube/ Kubernetes系统性学习 https://kubernetes.io/docs/home/?path=users&persona=appdeveloper&level=foundational
优点: 造价低,随便一台机器就可以了。方便文件共享。 缺点:读写速率低。传输速率慢。
wk.baidu.com
存储方式
主要是以键值对的形式存储文件。特别适用于大型分布式系统。 优点: 具备块存储的读写高速。 具备文件存储的共享等特性。 使用场景: (适合更新变动较少的数据) 图片存储。 视频存储。
存储方式
存储方式
CEPH架构
1. 容器是自包含的,它打包了应用程序及其所有依赖,可以直接运行。 以前应用程序的依赖管理一直是个大问题,即使像 RPM 、Maven、 等都能解决一部分问题,但并没有一个所有应用程序通用的标准机 制,直到容器出现。 2. 容器是可移植的,可以在几乎任何地方以相同的方式运行。这就可 以确保应用在开发环境、测试环境、生产环境等都有完全一样的运 行环境。 3. 容器是互相隔离的,同一主机上运行的多个容器,不会互相影响。 即一个容器中运行的应用程序,是访问不到其他容器的资源的(进 程、网络、文件、用户等),除非配置为共享的资源。 4. 容器是轻量级的,体现在容器的秒级启动,并且占用资源很少。