AWS大数据架构模式和最佳实践
aws dms 使用手册
aws dms 使用手册一、AWS DMS简介与概述AWS Database Migration Service（简称AWS DMS）是一款基于云计算的数据迁移服务，旨在帮助用户在云间和本地数据中心之间迁移、转换和维护数据库。
通过AWS DMS，用户可以轻松地将现有数据库迁移到Amazon RDS、Amazon Redshift、Amazon DynamoDB等AWS服务，或从这些服务迁移至其他云服务或本地环境。
本文将为您介绍AWS DMS的使用方法、功能特性以及最佳实践。
二、安装与配置AWS DMS在开始使用AWS DMS之前，首先需要在AWS Management Console 或AWS CLI 上安装并配置该服务。
以下是安装与配置的简要步骤：1.登录AWS 控制台，进入AWS Management Console。
2.选择“服务”菜单，搜索“Database Migration Service”，点击进入AWS DMS 控制台。
3.在AWS DMS 控制台上，点击“创建迁移任务”按钮。
4.按照提示填写迁移任务所需信息，如源数据库类型、目标数据库类型、迁移方式等。
5.完成任务创建，等待迁移任务启动。
三、AWS DMS核心功能与特性AWS DMS 提供了丰富的功能和特性，以满足不同场景下的数据迁移需求。
以下是核心功能与特性的简要介绍：1.支持多种数据库类型：AWS DMS 支持MySQL、Oracle、PostgreSQL、SQL Server、MariaDB 等主流数据库类型的迁移。
2.迁移方式灵活：支持全量迁移、增量迁移、合并迁移等多种迁移方式。
3.数据转换：在迁移过程中，支持对数据进行实时转换，以满足目标数据库的兼容性要求。
4.实时监控：AWS DMS 提供实时监控功能，便于用户随时了解迁移进度和状态。
5.安全与隐私保护：支持加密传输和数据脱敏，确保数据迁移过程中的安全与隐私。
四、数据库迁移与转换在AWS DMS 中，数据库迁移主要包括以下几个步骤：1.创建迁移任务：根据需求填写迁移任务相关信息，如源数据库类型、目标数据库类型、迁移方式等。
云计算服务实习总结
云计算服务实习总结在过去的几个月中，我有幸在不同行业进行了多个实习，其中包括云计算服务。
通过这次实习，我对云计算的概念、技术和应用有了更深入的了解。
以下是我对实习期间的经历和所学知识的总结。
一、实习经历1. 公司背景我所在的公司是一家专注于云计算服务的创业公司。
公司的主要业务是为企业提供云端存储、计算和应用服务，以便客户能够更高效地管理和利用数据。
2. 实习任务在实习期间，我参与了多个项目，包括：- 搭建和维护云计算平台：通过使用虚拟化技术和分布式系统，我学会了搭建和管理云计算平台，并进行了相关的维护和优化工作。
- 大数据分析：我参与了一个基于云计算的大数据分析项目，学习了各种数据处理和分析工具，如Hadoop、MapReduce和Spark，并使用它们进行了实际的数据分析任务。
- 安全性和隐私保护：作为云计算服务的关键问题之一，我学习了云安全的基本原理和技术，并参与了一些安全性和隐私保护方面的项目。
3. 实习成果在实习期间，我取得了一些实际成果：- 成功搭建了一个小型云计算平台，并测试了其中的虚拟机和网络功能。
- 完成了一个数据分析任务，通过对大规模数据集的分析，揭示了其中的一些有价值的信息。
- 参与了一些安全性方面的项目，包括对云端数据进行加密和访问控制的研究。
二、所学知识通过这次实习，我学到了很多关于云计算的知识和技能，包括但不限于以下内容：1. 云计算概念和架构- 云计算的基本概念和原理：包括资源池化、按需自助服务、宽带访问以及弹性伸缩等。
- 云计算的三种服务模式：基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）。
- 云计算的部署模型：包括公有云、私有云和混合云。
2. 云计算平台和工具- 虚拟化技术：如容器技术（Docker）和虚拟机技术（VMware）等。
- 分布式计算系统：如Hadoop、MapReduce和Spark等。
- 云计算服务商：如Amazon Web Services（AWS）、Microsoft Azure和Google Cloud等。
AWS大数据解决方案
AWS大数据解决方案
AWS大数据作为AWS中的一项服务，它都能解决什么问题呢？
大数据
科学家、开发人员以及其他很多来自不同行业的技术人员都在利用AWS进行大数据分析，应对持续增加的数字信息容量、种类和速度所带来的挑战。
AWS 提供广泛的端对端云计算服务组合，通过降低成本、根据需求调整规模和提高创新速度来帮助您管理大数据。
高性能计算
高性能计算(HPC) 使科学家和工程师们能够使用需要高带宽、增强型网络和超高计算能力的应用程序，来解决复杂的科学、工程和业务问题。
通过AWS，您可以在云中运行高性能计算以改善研究速度，还可以利用按需提供的集群计算或服务器集群来节省巨额的资金投入，同时降低成本。
您有权限访问面向紧密耦合、IO 密集型工作负载的完全等分的高带宽网络，这使您能够让以吞吐量为导向的应用程序在数千个核心之间横向扩展。
物联网
物联网(IoT) 实现了互联设备和信息同时在线。
无论您是使用全球数百万气象传感器创建实时预测，还是输入来自DNA 测序仪的人类基因组数据，AWS 都可以为您提供所需的服务、安全性和支持，帮助您连接到全球物联网。
AWS大数据解决方案-AWS在线技术峰会-分会场3-主题二77
AWS大数据分析与机器学习曹玮祺博士解决方案架构师团队高级主管AWS中国weiqicao@1个实例算1,000小时=1,000个实例算1小时弹性数据中心用于分析的应用数据和日志放到Amazon Elastic MapReduce name node 用于控制分析NMapReduceElastic DataCenterN增加成百上千的节点N 作业完成后释放资源将分析结果放回你的系统多样(Variety)高速(Velocity)价值(Value)大数据多样大数据VarietyS3Kinesis DynamoDB RDS (Aurora)AWS LambdaKCL AppsEMR RedshiftMachine采集处理分析存储数据采集和存储数据处理事件处理数据分析数据结果结构化–简单查询NoSQLAmazon DynamoDB CacheAmazon ElastiCache 结构化–复杂查询SQLAmazon RDS SearchAmazon CloudSearch非结构化Cloud StorageAmazon S3数据结构复杂程度查询结构复杂程度热数据温数据冷数据容量MB–GB GB–TB PB项的大小B–KB KB–MB KB–TB 延迟毫秒毫秒, 秒分钟, 小时持久性低–高高非常高请求率非常高高低花费/GB$$-$$-¢¢¢Amazon RDS请求率高低花费/GB 高低延迟低高低高Amazon GlacierAmazon CloudSearch结构低高Amazon DynamoDBAmazon ElastiCacheAmazon ElastiCache AmazonDynamoDBAmazonRDSAmazonCloudSearchAmazon S3Amazon Glacier平均延迟毫秒毫秒毫秒, 秒毫秒,秒毫秒,秒,分钟(~ 大小)小时数据量GB GB–TBs(无限制)GB–TB(最大3TB)GB–TB GB–PB(无限制)GB–PB(无限制)项的大小B-KB KB(最大400 KB)KB(~行大小)KB(最大1 MB)KB-GB(最大5 TB)GB(最大40 TB)请求率非常高非常高高高低–非常高(无限制)非常低(无限制)存储花费$/GB/month$$¢¢¢¢$¢¢持久性低–中非常高高高非常高非常高Amazon Kinesis•分离生产者和消费者•临时缓冲区•保持客户端顺序•流式MapReduce44332211432143214321432144332211生产者1Shard 1Shard 2消费者1Count of Red = 4Count of Violet = 4消费者2Count of Blue = 4Count of Green = 4生产者2生产者3生产者NKey = RedKey = Green云端大数据最佳服务大数据实时大数据Velocity原始模式AWS LambdaKCL Apps采集处理分析存储数据采集和存储Amazon EMR•实时–在数据流中对事件实时应答–相对简单的数据计算(聚类, 过滤, 滑动窗口)•Micro-batching (近实时)–数据流中的小批量事件的近实时操作–标准处理和查询引擎分析•端到端低延迟•高可扩展性，弹性•持久性和容错•专注写分析逻辑事件处理框架KinesisAWS LambdaClientLibraryAmazon EMR使用KCL的实时监控Amazon Kinesis Kinesis-enabled ApplicationProducer on Amazon EC2AmazonDynamoDBDashboard onAmazon EC2 2秒点击流数据滑动窗口分析Amazon Kinesis 连接器•Amazon S3–批处理文件写入S3–基于序列的文件命名•Amazon Redshift–支持微批量加载至Redshift–用户自定义消息转换•Amazon DynamoDB–批量追加至表–用户自定义消息转换•Elasticsearch–上传至Elasticsearch集群–用户自定义消息转换S3Dynamo DB RedshiftKinesisData 驱动: Amazon S3Amazon S3 桶事件AWS Lambda原始映像缩略图映像123数据驱动: Amazon DynamoDBAWS LambdaAmazon DynamoDB表和流发送Amazon SNS通知更新另一个表AWS Lambda 从Kinesis读Amazon EMR 整合直接读取数据进入Hive, Pig, Streaming 和Cascading•面向批处理系统的实时源•多应用支持Amazon EMR 整合: HiveCREATE TABLE call_data_records(start_time bigint,end_time bigint,phone_number STRING,carrier STRING,recorded_duration bigint,calculated_duration bigint,lat double,long double)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ","STORED BY'com.amazon.emr.kinesis.hive.KinesisStorageHandler' TBLPROPERTIES(""=”MyTestStream");•高级抽象的离散流：Dstreams •表示为RDDs 序列DStreamRDD@T1RDD@T2消息接收者Spark 流–基本概念/docs/latest/streaming-kinesis-integration.html处理Amazon Kinesis 流AmazonKinesisSpark-Streaming实时:基于事件的处理KinesisStormSpoutProducerAmazonKinesisApache StormElastiCacheClient(D3)/bigdata/post/Tx36LYSCY2R0A9B/Implement-a-Real-time-Sliding-Window-Application-Using-Amazon-Kinesis-and-Apache云端大数据最佳服务大数据机器学习Value机器学习经典算法推荐聚类分类协同过滤CF(基于用户、基于项目)斜坡算法SVD++矩阵分解(Matrix Factorization w/ ALS)聚类算法(Canopy 、K-Means)模糊流式光谱分析决策树(Decision Trees)线性回归(Linear Regression)逻辑回归(Logistic Regression)贝叶斯模型(Naïve Bayes)随机森林算法(Random Forest)隐马尔可夫模型(Hidden Markov Models)多层感知器(Multilayer Perceptron)AWS 平台上的机器学习存储可视化&分析R Octave Matlab ExcelDAS SPSSGraphlab Mahout Spark MLlibH200xData Hbase HDFS Radoop Prediction.IORDBMS SAN/NAS BigMLKNIME WEKA Python Kits 单节点大数据机器学习的弹性伸缩•用正确的工具做正确的事情Amazon ML介绍为开发人员打造的，简单易用的机器学习服务●通过直观而强大的服务控制台来发现和建构学习模型●通过全功能的API和SDK来完成模型生命周期的自动化管理-Java, Python, .NET, JavaScript, Ruby, Javascript●通过AWS Mobile SDK快速建构iOS ，Android智能应用基于Amazon内部系统的，健壮的，强大的机器学习技术●基于Amazon内部众多经过实战考验的系统●不仅仅是算法:智能数据转换、输入数据的质量警告以及模型的质量警告、内置的业界最佳实践●和AWS的数据生态系统完美集成：S3、Amazon Redshift、RDS MySQL、IAM完全托管的模型和预测服务●端到端的服务，不需要对底层服务器进行管理●预测模型一键部署●可以通过程序获得模型的元数据，使数据获取流程自动化成为可能●可以通过Amazon CloudWatch监控预测使用模式按使用量付费，非常便宜●数据分析，模型训练和校验: $0.42/实例小时●批量预测: $0.10/1000条●实时预测: $0.10/1000条日志存储提取转换加载ETL建模打分用户网关服务层用户推荐引擎NRT情感处理社交媒体源其它源(信号灯)的在线机器学习平台用户媒资平台手机Web 日志(Amazon CloudWatch)Web 日志ETL (AmazonElastic MapReduce)机器学习推荐引擎(EMR)Model Updates查询播放购买比率AWS ElasticBeanstalk推荐AmazonCloudSearch流媒体事件社会媒体活动社会信号处理Amazon S3Amazon S3Amazon CloudFront Netflix基于AWS的在线机器学习平台大数据参考架构应用设备日志框架摄入存储处理可视化热数据温数据热数据冷数据热数据快快快慢快Hadoop全系列与Spark全系列完美支持使用AWS做大数据的行业无线/有线电信石油和天然气工业生产零售/消费娱乐生命科学探索金融服务媒体广告在线媒体社交网络游戏Sling 使用AWS存储和分析TB 级的数据通过使用AWS, 我们对于新功能的决定又快又容易.•需要平衡TB级的数据使用来了解用户需求同时主动占领市场份额。
T6-S1-曹玮祺
议题•大数据的挑战•如何简化大数据的处理•你需要用到什么技术?–为什么需要这些技术?–如何使用?•参考架构•设计模式大数据不断增加容量速率种类•批处理•报表•实时•警报•预测•预报AmazonGlacierS3DynamoDBRDSEMRAmazonRedshiftData PipelineAmazon KinesisCassandraCloudSearchKinesis-enabledappLambdaMLSQSElastiCacheDynamoDBStreams架构原则•解耦“数据总线”•数据→ 存储→ 处理→ 得出结果•使用正确的工具来完成工作•数据结构, 等待时间, 吞吐量, 访问模式•使用Lambda架构的想法•不可变的(只追加) 日志, 批处理/加速/服务层•利用AWS管理服务•无管理或低管理•大数据≠ 高成本简化大数据处理摄取/收集存储处理/分析消费/可视化数据解答应答时间(延迟)吞吐量收集/摄取数据类型•事务处理–数据库读写(OLTP)–缓存•搜索•日志•流•文件–日志文件(/var/log)–日志收集和框架•流–日志记录–传感器和IoT 数据数据库文件存储流存储AiOS Android网络应用LogstashTransactionalDataFile DataStream Data移动应用Search Data搜索收集存储存储流存储AiOS Android网络应用LogstashAmazon RDSAmazon DynamoDBAmazonESAmazon S3Apache Kafka Amazon Glacier Amazon Kinesis Amazon AmazonElastiCache S e a r c h S Q L N o S Q L C a c h eS t r e a m S t o r a g eF i l e S t o r a g eTransactionalDataFile DataStream Data移动应用Search Data数据库文件存储搜索收集存储L o g g i n gA p p l i c a t i o n s流存储选项•AWS 托管服务•Amazon Kinesis → 流•DynamoDB Streams → 表+流•Amazon SQS → 队列•Amazon SNS → 发布/订阅•非托管的•Apache Kafka → 流为什么使用流存储?•解耦生产者和消费者•持久的缓存•收集多个流•保存客户端指令•流式MapReduce •并行消费4433221143214321432144332211生产者1Shard 1 / Partition 1消费者1Count of Red = 4Count of Violet = 4消费者2Count of Blue = 4生产者2生产者3Key = VioletKafka Topic DynamoDB StreamKinesis Stream队列& 发布/订阅? •解耦生产者& 消费者/订阅者•持久缓存•收集多个流•没有客户端指令•在Amazon SQS没有并行消费者•Amazon SNS 路由到多个队列或Lambda•没有流式MapReduceConsumers ProducersProducersAmazon SNSqueuetopicfunctionʎAWS LambdaAmazon SQSqueueSubscriber我应该使用哪个流存储?Amazon Kinesis DynamoDBStreamsAmazon SQSAmazon SNSKafka托管Yes Yes Yes No指令Yes Yes No Yes分发最少执行一次只执行一次最少执行一次最少执行一次试用期7 天24 小时14天可配置复用3可用区3可用区3可用区可配置吞吐量没有限制没有限制没有限制~ 节点并行客户端Yes Yes No (SQS)Yes MapReduce Yes Yes No Yes记录大小1MB400KB256KB可配置文件存储AiOS Android网络应用LogstashAmazon RDSAmazon DynamoDBAmazonESAmazon S3Apache Kafka Amazon Glacier Amazon Kinesis Amazon AmazonElastiCache S e a r c h S Q L N o S Q L C a c h eS t r e a m S t o r a g eF i l e S t o r a g eTransactionalDataFile DataStream Data移动应用Search Data数据库搜索收集存储L o g g i n gA p p l i c a t i o n s为什么Amazon S3善于处理大数据?•支持大数据框架(Spark, Hive, Presto, etc.)•不需要为存储运行计算集群(unlike HDFS)•能瞬间运行Hadoop集群& Amazon EC2 Spot 实例•多个不同的(Spark, Hive, Presto)集群能使用相同的数据源•不限数量的对象存储•非常高的带宽–没有总吞吐量的限制•高可用性–可以容忍AZ失败•为99.999999999% 持久性设计•TB级存储(Standard, IA, Amazon Glacier) 通过life-cycle 的策略•安全–SSL, 空闲的时候客户端/服务端加密•低成本HDFS & Amazon Glacier •使用HDFS经常访问(hot) 数据•使用Amazon S3标准经常访问数据•使用Amazon S3标准–IA 用于不常访问的数据•使用Amazon Glacier 归档冷数据数据库+ 搜索层AiOS Android网络应用LogstashAmazon RDSAmazon DynamoDBAmazonESAmazon S3Apache Kafka Amazon Glacier Amazon Kinesis Amazon AmazonElastiCache S e a r c h S Q L N o S Q L C a c h eS t r e a m S t o r a g eF i l e S t o r a g eTransactionalDataFile DataStream Data移动应用Search Data收集存储数据库+ 搜索层反模式数据库+ 搜索层最佳实践—使用正确的工具来完成工作Data Tier SearchAmazonElasticsearch Service AmazonCloudSearchCache RedisMemcachedSQL Amazon Aurora MySQL PostgreSQL Oracle SQL Server NoSQLCassandraAmazonDynamoDBHBaseMongoDB数据库+ 搜索层实例化视图我应该使用什么数据存储?•数据结构→ 多模式、JSON格式、键值对格式•访问模式→ 访问按格式存储的数据•数据/ 访问特征→ 热数据、温数据、冷数据•成本→ 高成本数据结构和访问模式访问模式使用什么?Put/Get (Key,Value)Cache, NoSQLSimple relationships → 1:N,M:N NoSQLCross table joins, transaction, SQL SQLFaceting, Search Search数据结构使用什么?Fixed schema SQL, NoSQLSchema-free(JSON)NoSQL, Search(Key,Value)Cache, NoSQL你访问的是怎么样的数据?热数据、温数据、冷数据？数据/ 访问特征: Hot, Warm, ColdHot Data Warm Data Cold DataHot Warm Cold容量MB–GB GB–TB PB项目大小B–KB KB–MB KB–TB等待时间ms ms, sec min, hrs持久性低–高高非常高请求率非常高高低成本/GB$$-$$-¢¢¢CacheSQL请求率高低成本/GB 高低等待时间低高低高Glacier结构NoSQL Hot DataWarm DataCold Data低高Search我应该使用什么数据存储?Amazon ElastiCache AmazonDynamoDBAmazonAuroraAmazonElasticsearchAmazonEMR (HDFS)Amazon S3Amazon Glacier平均等待时间ms ms ms, sec ms,sec sec,min,hrs ms,sec,min(~ size)hrs数据容量GB GB–TBs(no limit)GB–TB(64 TBMax)GB–TB GB–PB(~nodes)MB–PB(no limit)GB–PB(no limit)项目大小B-KB KB(400 KBmax)KB(64 KB)KB(1 MB max)MB-GB KB-GB(5 TB max)GB(40 TB max)请求率高–非常高非常高(没有限制)高高低–非常高低–非常高(没有限制)非常低存储成本GB/month$$¢¢¢¢¢¢¢¢¢/10持久性低–中等非常高非常高高高非常高非常高Hot 数据Warm 数据Cold 数据成本意识的设计举例: 我应该使用Amazon S3 还是Amazon DynamoDB?•“我们目前正在做一个项目，将大大增加我的团队使用Amazon S3的用量。
亚马逊AWS大数据分析最佳实践
郑进佳(Kenny) 解决方案架构师 亚马逊AWS
议程
• 什么是大数据？ • 大数据的挑战？
– – – – 数据产生 数据收集与存储 数据分析与计算 数据的展现与分享
• 成功案例 • 问与答
什么是大数据？
大数据应用场景
精准营销
油气分析
及时推荐
生物传感
防病毒 欺诈检测
人口统计
SQL客户端/BI工具
JDBC/ODBC
主节点
• 计算节点
– – – – 列式存储 并行查询 可通过 S3 加载、备份和恢复数据 可从 DynamoDB 并行加载数据
载入 备份 恢复
10 GigE (HPC)
计算节点
计算节点
计算节点
• 支持 SSD • 支持单节点版本
使用Amazon Redshift
成本
1.6 PB 每集群 100 node dw1.8xl (3-yr RI) $180/hr
性能
– 扫描 2.25 万亿行数据花费时间: 14 分钟 – 加载50亿行数据花费时间: 10 分钟 – 回填 1500亿行数据花费时间: 9.75 小时 – Pig Amazon Redshift: 2 天到 1 小时 – 10B 加入到 7亿行中 – Oracle Amazon Redshift: 90 小时 to 8 小时
是否花太多时间管理集群和优化其性能？
EMR的好处
• 容易使用
– 几分钟 V.S. 几周
• 弹性
– 基于工作量弹性扩展集群 – 缓解规划存储和计算容量的痛苦
• Spot 实例
– 70-80% 成本优化
EMR的好处
• 可靠的
基于AWS的云架构设计最佳实践
基于 AWS 的云架构设计最佳实践目录摘要 (6)1.介绍 (6)2.传统环境和云计算环境之间的差异 (7)2.1IT 资产作为可配置资源 (7)2.2全球，可用和可扩展的容量 (8)2.3更高级的托管服务 (8)2.4内置安全性 (8)2.5成本架构 (9)2.6AWS 上的运维 (9)3.设计原则 (10)3.1可扩展性 (10)3.1.1纵向扩展 (11)3.1.2横向扩展 (11)3.2一次性资源而不是固有服务器 (17)3.2.1实例化计算资源 (17)3.2.2基础架构即代码 (21)3.3自动化 (21)3.3.1无服务器管理和部署 (22)3.3.2基础架构管理和部署 (22)3.3.3警报和事件 (23)3.4松耦合 (24)3.4.1定义明确的接口 (24)3.4.2服务发现 (25)3.4.3异步集成 (26)3.4.4分布式系统最佳实践 (28)3.4.5服务，而不是服务器 (29)3.5数据库 (31)3.5.1为每项业务负载选择正确的数据库技术 (31)3.5.2关系数据库 (32)3.5.3NoSQL 数据库 (34)3.5.4数据仓库 (36)4.5.5 搜索 (37)4.5.6图数据库 (38)4.5.7管理不断增加的数据量 (39)4.5.8消除单点故障 (40)4.6优化成本 (46)4.6.1正确的实例 (46)4.6.2充分利用弹性 (47)4.6.3充分利用各种采购方案 (48)4.7 缓存 (49)4.7.1应用程序数据缓存 (50)基于AWS 的云架构设计最佳实践4.7.2边缘缓存 (51)4.8 安全 (51)4.8.1使用AWS 功能进行深度防御 (52)4.8.2与AWS 共享安全责任 (52)4.8.3减少特权访问 (53)4.8.4安全代码 (54)4.8.5实时审计 (54)5. 结论 (55)译者整理的脑图1.摘要本白皮书适用于在Amazon Web Services（AWS）上的构建解决方案的架构师和开发人员。
亚马逊AWS 基于AWS云平台上的 实时数据分析最佳实践分享
基于AWS云平台上的实时数据分析最佳实践分享庄富任产品拓展, A WS 中國Business Development ManagerAWS 基于云的完整大数据服务GlacierS3EC2Redshi5 DynamoDBEMRData P ipeline实时数据流 |大规模存储|大集群并行计算 Kinesis采集处理AWS上的一些大数据客户大数据挑战存储 洞察收集 分析4TB每天S3长期 归档Glacier数据 挖掘H adoop实时 数据采集Kinesis数据 仓库Redshi5实时数据流处理使用案例§▪ 对于广告平台§▪ 用户在互联网上的行为能实时的影响其广告推送内容，在用户下一次刷新页面时，就提供给用户新的广告§▪ 对于电商§▪ 用户的每一次收藏、点击、购买行为，都能被快速的归入他的个人模型中，立刻修正商品推荐§▪ 对于社交网络§▪ 用户社交图谱的变更和发言等行为，也能快速被反映在他的好友推荐、热门话题提醒上。
大数据收集和存储收集 分析存储 洞察典型的实时动态数据流处理架构和工作流程Client/SensorAggregatorConDnuous P rocessingStorageAnalyDcs + R eporDng1）数据采集负责从各节点上实时采集数据例如选用flume(cloudera) 来实现例如使用 Apache 开源工具架构2）数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲 例如选用apache的kafka (LinkedIn) 3）流式计算对采集到的数据进行实时分析例如选用apache 的storm (twitter)§ Amazon EC2 服务器上搭建收集器 (Kafka, Fluentd, Scribe 和 Flume等)从多个来源 汇集数据区域可用区 AEC2§▪ 客户端无法发送数据到端点 (数据收集器可靠性?) §▪ 无法立即消化大量併发事件 (数据收集器吞吐量?)从多个来源 汇集数据区域可用区 AEC2数据采集高度 伸缩可靠从多个来源汇集数据 区域可用区 A EC2 可用区 BEC2载入数据 S3 存储在本地磁盘容量?持久性?存储 并行数据加载到S3 S3Simple S torage S ervice (S3)高度可扩展无限制容量的对象存储每个对象存储达 1 b yte 至 5TB 容量99.999999999% 持久性 从多个来源汇集数据 区域 可用区 AEC2可用区 BEC2Amazon K inesis 实时数据流处理 §▪ 实时数据采集, 摄入, 传输 §▪ 处理实时动态数据流 §▪ 并行写入写出 §▪ 支持数据输出到不同存储目的地S3 Amazon KinesisHadoop EMR数据仓库Redshi> DynamoDBD ataS ourcesApp.4 [Machine L earning]A W S E n d p o i n t App.1 [Aggregate & D e -‐Duplicate]D ata S ources Data S ourcesD ata S ources App.2 [MetricE xtracDon]S3DynamoDBRedshift App.3 [Sliding W indow A nalysis]D ata S ources AvailabilityZone Shard 1 Shard 2 Shard N Availability Zone AvailabilityZone Amazon K inesis 实时数据流处理数据流Shard 分片§▪ 分片是 Amazon K inesis 数据流的基本吞吐量单位 §▪ 一个分片提供§▪ 1MB/秒数据输入(write)容量 = 1, 000 T PS§▪ 2MB/秒数据输出(read)容量 = 5 T PS实时数据流摄入实时玩家动作Amazon KinesisHay D ay 《卡通农场》Shard 1 Shard 1Shard 1Shard N§▪ 简单的调用 PUT 命令动态摄入数据 §▪ 每个分片 (Shard) 可摄入每秒1MB 数据(高达1000 T PS) §▪ 不停机状态下动态扩展 Shard 数量Producer Shard 1Shard 2Shard 3Shard n Shard 4Producer ProducerProducer Producer Producer Producer ProducerProducerKinesis " PutRecord A PI 用于添加数据到 Amazon K inesis 数据流" 指定数据流的名称和分区键 (ParOOon K ey) " 分区键用于分配数据记录到不同的数据流分片将数据输入 Amazon K inesis 数据流实时数据流处理In-game activity实时 数据流Amazon KinesisKinesis 应用程序WorkersKinesis 应用程序简化实时数据流的并行处理 §▪ 分布式处理多 Shards §▪ 容错§▪ 实时动态扩展 Workers专注数据处理逻辑Shard 1Shard 2Shard 3Shard nShard 4KCL Worker 1KCL Worker 2EC2 InstanceKCL Worker 3KCL Worker 4EC2 InstanceKCL Worker nEC2 Instance Kinesis 处理来自 Amazon K inesis 数据流的数据• Amazon K inesis 应用程序 (Workers)• 读取和处理来自数据流Stream数据的使用者 • 使用Amazon K inesis 客户端库 (KCL) 构建应用程序执行分布式流处理的繁重任务 • 自动扩展组 (Auto Scaling) 实时Amazon K inesis v.s S torm实时动态数据流处理典型的架构和工作流程使用 Apache 开源工具1）数据采集负责从各节点上实时采集数据例如选用flume (cloudera) 来实现2）数据接入由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲例如选用apache的kafka (LinkedIn)3）流式计算对采集到的数据进行实时分析例如选用apache的storm (twitter)使用 AWS 服务 Kinesis不用担心配置，部署软件和硬件维护 不用担心服务中断接入 Amazon S3, R edshi>, & D ynamoDB实时数据流处理& 海量数据存储In-game activity实时 数据流Amazon KinesisKinesis 应用程序S3Workers实时 趋势分析表 仪表盘聚合数据 预处理数据游戏玩家的数量 虚拟货币的使用量 热门道具 …Glacier长期归档In-gameactivityAmazonKinesisKinesis 应用程序S3归档聚合数据预处理数据实时趋势分析表仪表盘Workers低成本归档存储服务低至1美分/GB/月可以设定归档策略实时数据流GlacierHadoop数据挖掘In-game activityAmazon KinesisKinesis 应用程序S3聚合数据 预处理数据Glacier归档Hadoop数据 挖掘实时 趋势分析表 仪表盘Workers实时 数据流预测 分类 回归分析 关联规则 …Redshi5商务智能 BIAmazon KinesisKinesis 应用程序S3聚合数据 预处理数据Glacier归档Hadoop数据 挖掘实时 趋势分析表 仪表盘Workers实时 数据流Redshift商务 智能 BIClickstream A nalyDcs w ith A mazon K inesisClickstream P rocessing A ppAggregate C lickstream S taDsDcsClickstream A rchiveClickstream T rend A nalysisSimple M etering & B illing w ith A mazon K inesisBilling A uditorsIncremental B ill C omputaDonMetering R ecord A rchiveBilling M anagement S ervice总结§▪ 实时收集并处理数据§▪ 易于使用§▪ 通过 Java, Python KCL 轻松构建应用程序§▪ 并与Amazon S3、Amazon R edshi>、Amazon D ynamoDB 其他服务和工具集成§▪ 并行处理§▪ 聚合数据发送到Amazon S3 等存储对象中§▪ 实时分析日志并在发生例外情况时触发警报§▪ 实时分析网站点击流§▪ 灵活应变§▪ 动态调节 Amazon K inesis 数据流的吞吐量§▪ 可靠§▪ 三个设施间同步复制数据，并将数据保留 24 小时，以防数据在应用程序故障时丢失谢谢！马上开启您的云旅程中文网站：新浪微博：@亚⻢马逊AWS中文博客：/awschina 微信 AWS 中国。
亚马逊AWS 大数据背后的一些技术(机器学习)
内容• 机器学习和数据生态系统• 智能应用举例 (包括一个反例)• Amazon Machine Learning (Amazon ML) 功能与优势• 使用Amazon ML进行开发• Q&A数据是应用基本结构的一部分前端展现和UX 移动设备后端应用和操作数据分析回溯性的分析和报告Amazon RedshiftAmazon RDSAmazon S3 Amazon EMR回溯性的分析和报告实时处理和仪表盘展示Amazon Kinesis Amazon EC2 AWS LambdaAmazon Redshift, Amazon RDSAmazon S3 Amazon EMR回溯性的分析和报告实时处理和仪表盘展示用于预测的智能应用Amazon KinesisAmazon EC2AWS LambdaAmazon Redshift, Amazon RDSAmazon S3 Amazon EMR机器学习是一种技术，可以自动发现现有数据中的模式，进而对新出现的数据进行预测。
机器学习是一种技术，可以自动发现现有数据中的模式，进而对新出现的数据进行预测。
你的数据+ 机器学习 = 智能应用基于你对一个用户的了解：这个用户会使用你的产品吗？基于你对一个用户的了解：这个用户会使用你的产品吗？基于你对一个交易订单的了解：这个订单会是一单欺诈交易吗？智能应用举例基于你对一个用户的了解：这个用户会使用你的产品吗？基于你对一个交易订单的了解：这个订单会是一单欺诈交易吗？基于你对一条新闻报道的了解：有那些相关的报道会令人感兴趣？还有一些其他例子…欺诈检测检测欺诈交易，过滤垃圾邮件，标记可疑的评论，…定制化内容推荐，预判性的内容加载，提升用户体验, …市场定位潜在客户和报价的匹配, 市场活动的选择, 交叉销售和销售提升, …内容分类文档分类, 招聘经理和应聘简历的匹配, …波动分析找出可能停止使用服务的用户, 找出可能从免费服务中升级的用户, …客户支持对用户邮件的路由进行预判, 侦听社交网络上的媒体, …亲，这个迷你四轴飞行器只要49.99美元喔!SELECT c.IDFROM customers cLEFT JOIN orders oON c.ID = o.customer GROUP BY c.IDHAVING o.date > GETDATE() – 30首先，我们可以将促销信息发给最近30 天有下过单的客户SELECT c.IDFROM customers cLEFT JOIN orders oON c.ID = o.customer GROUP BY c.IDHAVINGAND o.date > GETDATE() – 30…接着可以缩小范围，只选取买过玩具的客户SELECT c.IDFROM customers cLEFT JOIN orders oON c.ID = o.customerGROUP BY c.IDHAVING o.category = ‘toys’ AND(COUNT(*) > 2AND SUM(o.price) > 200AND o.date > GETDATE() – 30) )… 进一步定位到最近买过其他玩具直升飞机的客户SELECT c.IDFROM customers cLEFT JOIN orders oON c.ID = o.customerLEFT JOIN products pON p.ID = o.product GROUP BY c.IDHAVING o.category = ‘toys’AND ((p.description LIKE ‘%%’ AND o.date > GETDATE() - 60) OR (COUNT(*) > 2AND SUM(o.price) > 200AND o.date > GETDATE() – 30) )…不过我们还要考虑购买了四轴飞行器的客户（四轴飞行器英文quadcopter）SELECT c.IDFROM customers cLEFT JOIN orders oON c.ID = o.customerLEFT JOIN products pON p.ID = o.product GROUP BY c.IDHAVING o.category = ‘toys’AND ((p.description LIKE ‘%copter%’ OR (COUNT(*) > 2AND SUM(o.price) > 200AND o.date > GETDATE() – 30) )…又或者我们需要将时间拉长一些SELECT c.IDFROM customers cLEFT JOIN orders oON c.ID = o.customerLEFT JOIN products pON p.ID = o.product GROUP BY c.IDHAVING o.category = ‘toys’AND ((p.description LIKE ‘%copter%’ AND o.date > GETDATE() - 120) OR (COUNT(*) > 2AND SUM(o.price) > 200…再修改一下查询条件SELECT c.ID…再修改一下FROM customers cLEFT JOIN orders oON c.ID = o.customerLEFT JOIN products pON p.ID = o.productGROUP BY c.IDHAVING o.category = ‘toys’AND ((p.description LIKE ‘%copter%’AND o.date > GETDATE() - 120)OR (COUNT(*) > 2AND o.date > GETDATE() – 40))SELECT c.ID…再修改一下FROM customers cLEFT JOIN orders oON c.ID = o.customerLEFT JOIN products pON p.ID = o.productGROUP BY c.IDHAVING o.category = ‘toys’AND ((p.description LIKE ‘%copter%’OR (COUNT(*) > 2AND SUM(o.price) > 150AND o.date > GETDATE() – 40)SELECT c.IDFROM customers cLEFT JOIN orders oON c.ID = o.customerLEFT JOIN products pON p.ID = o.product GROUP BY c.IDHAVING o.category = ‘toys’AND ((p.description LIKE ‘%copter%’OR (COUNT(*) > 2AND SUM(o.price) > 150AND o.date > GETDATE() – 40)使用机器学习技术从你的数据中学习你的商业规则!为什么我们没有看到大量的智能应用?1. 机器学习专家非常稀缺2. 掌握机器学习技术非常困难3. 将数学模型转换为实际应用需要消耗大量的时间和资金目前我们面临的情况专家技术实际操作数据分析方面的科学家非常少选择很多，没有形成主流技术复杂的隐藏着错误的数据流雇用和外包的成本都很高很难使用和扩展面对客户不同的平台和API每一个选定的解决方案都需要集成众多不同方面重新发明轮子：模型生命周期管理Amazon ML介绍为开发人员打造的，简单易用的，托管机器学习服务基于Amazon内部系统的，健壮的，强大的机器学习技术基于你存储在云端的数据简历学习模型快速将学习模型部署到生产环境中易于使用，对开发者非常友好通过直观而强大的服务控制台来发现和建构学习模型– 数据获取– 模型训练, 质量校验, 调优– 部署和管理通过全功能的API和SDK来完成模型生命周期的自动化管理– Java, Python, .NET, JavaScript, Ruby, Javascript通过AWS Mobile SDK快速建构iOS ，Android智能应用强大的机器学习技术基于Amazon内部众多经过实战考验的系统不仅仅是算法:– 智能数据转换– 输入数据的质量警告以及模型的质量警告– 内置的业界最佳实践随着你的数据而增长– 可以训练高达 100 GB 的数据– 可以生成数十亿的预测结果– 可以通过批量预测或者实时预测的方式获得预测结果和AWS的数据生态系统完美集成可以访问S3, Amazon Redshift或者是RDS MySQL 数据库中的数据预测输出保存在S3上，便于和你的数据流进行集成使用AWS Identity and AccessManagement (IAM)强化访问控制策略完全托管的模型和预测服务端到端的服务，不需要对底层服务器进行管理预测模型一键部署可以通过程序获得模型的元数据，使数据获取流程自动化成为可能可以通过Amazon CloudWatch监控预测使用模式按使用量付费，非常便宜数据分析，模型训练和校验: $0.42/实例小时批量预测: $0.10/1000条实时预测: $0.10/1000条+ 每小时的容量预留费用1 2 3训练模型校验和优化进⾏行预测1 2 3训练模型校验和优化进⾏行预测- 创建Datasource对象指向你的数据- 查看并理解你的数据- 转换数据，训练模型创建Datasource对象>>> import boto>>> ml = boto.connect_machinelearning()>>> ds = ml.create_data_source_from_s3(data_source_id = ’my_datasource',data_spec= {'DataLocationS3':'s3://bucket/input/','DataSchemaLocationS3':'s3://bucket/input/.schema'},compute_statistics = True)查看，理解数据训练模型>>> import boto>>> ml = boto.connect_machinelearning()>>> model = ml.create_ml_model(ml_model_id=’my_model',ml_model_type='REGRESSION',training_data_source_id='my_datasource')使用Amazon ML建构智能应用1 2 3训练模型校验和优化进⾏行预测- 理解模型的质量- 调整模型解读方式查看模型质量使用Amazon ML建构智能应用1 2 3训练模型校验和优化进⾏行预测- 批量预测- 实时预测异步的, 大批量的预测生成通过服务控制台或者使API进行调用适用于批量数据处理的应用>>> import boto>>> ml = boto.connect_machinelearning()>>> model = ml.create_batch_prediction(batch_prediction_id = 'my_batch_prediction’batch_prediction_data_source_id = ’my_datasource’ ml_model_id = ’my_model',output_uri = 's3://examplebucket/output/’)同步的, 低时延的, 高吞吐量的预测生成通过API或者是SDK进行调用适用于处理单个记录的交互应用>>> import boto>>> ml = boto.connect_machinelearning()>>> ml.predict(ml_model_id=’my_model',predict_endpoint=’example_endpoint’,record={’key1':’value1’, ’key2':’value2’}) {'Prediction': {'predictedValue': 13.284348,'details': {'Algorithm': 'SGD','PredictiveModelType': 'REGRESSION’ }}}结合EMR进⾏行批量预测使⽤用EMR处理数据S3上的原始数据S3你的应⽤用结合Amazon Redshift进⾏行批量预测Amazon Redshift⾥里的结构化数据将预测结构加载到 AmazonRedshift中-或者-直接从S3上读取预测结果S3上的预测结果调⽤用 Amazon ML 批量预测API进⾏行预测你的应⽤用交互性应⽤用的实时预测你的应⽤用调⽤用 Amazon ML 的实时预测 API 进⾏行预测你的应⽤用AmazonDynamoDB+触发Lambda事件+调⽤用Amazon ML实时预测API进⾏行预测谢谢！。
AWS全球数据库解决方案三剑客
AWS Neptune：快速、可扩展的图形数据库服务
AWS RDS：关系型数据库服务，支持多种数据库引擎
AWS S3：简单、可扩展的对象存储服务，用于存储和管理各种类型的数据
云计算技术
云计算技术是一种基于互联网的计算模式，通过将计算资源、存储资源和网络资源集中管理和调度，实现按需分配和弹性扩展。
01
AWS全球数据库解决方案三剑客
演讲人
01
概述
02
核心技术
03
应用场景与功能
04
部署与实施
05
应急处理措施
06
实践与展望
目录
概述
1
解决方案简介
AWS全球数据库解决方案三剑客：Amazon RDS、Amazon DynamoDB和Amazon Redshift
Amazon RDS：关系型数据库服务，支持多种数据库引擎，如MySQL、PostgreSQL等
监控与维护：监控数据库性能，定期进行备份和维护
优化与升级：根据业务需求，对数据库进行优化和升级
运维管理
01
监控与报警：实时监控数据库性能，及时发现并解决潜在问题
02
备份与恢复：定期备份数据，确保数询效率
04
安全防护：实施严格的安全策略，防止数据泄露和攻击
3
案例四：某政府机构使用AWS全球数据库解决方案，实现全球政务数据管理和公共服务，提高政府效率和公众满意度。
4
未来趋势
B
D
A
C
云计算技术不断发展，数据库服务将更加智能化、自动化
跨地域、跨平台的数据库服务将成为趋势
数据库服务将更加注重安全性、可靠性和性能
数据库服务将更加注重与AI、大数据等新兴技术的融合
AWS云平台架构设计最佳实践
AWS 云平台架构设计最佳实践目录译者序 (4)译者整理的脑图 (5)1.摘要 (6)2.介绍 (6)3.传统环境和云计算环境之间的差异 (7)3.1 IT资产作为可配置资源 (7)3.2 全球，可用和可扩展的容量 (8)3.3 更高级的托管服务 (8)3.4 内置安全性 (8)3.5 成本架构 (9)3.6 AWS上的运维 (9)4.设计原则 (10)4.1 可扩展性 (10)4.1.1 纵向扩展 (11)4.1.2 横向扩展 (11)4.2 一次性资源而不是固有服务器 (17)4.2.1 实例化计算资源 (17)4.2.2 基础架构即代码 (21)4.3 自动化 (21)4.3.1 无服务器管理和部署 (22)4.3.2 基础架构管理和部署 (22)4.3.3 警报和事件 (23)4.4 松耦合 (24)4.4.1 定义明确的接口 (24)4.4.2 服务发现 (25)4.4.3 异步集成 (26)4.4.4 分布式系统最佳实践 (28)4.4.5 服务，而不是服务器 (29)4.5 数据库 (31)4.5.1 为每项业务负载选择正确的数据库技术 (31)4.5.2 关系数据库 (32)4.5.3 NoSQL数据库 (34)4.5.4 数据仓库 (36)4.5.5 搜索 (37)4.5.6 图数据库 (38)4.5.7 管理不断增加的数据量 (39)4.5.8 消除单点故障 (40)4.6 优化成本 (46)4.6.1 正确的实例 (46)4.6.2 充分利用弹性 (47)4.6.3 充分利用各种采购方案 (48)4.7 缓存 (49)4.7.1 应用程序数据缓存 (50)4.7.2 边缘缓存 (51)4.8 安全 (51)4.8.1 使用AWS功能进行深度防御 (52)4.8.2 与AWS共享安全责任 (52)4.8.3 减少特权访问 (53)4.8.4 安全代码 (54)4.8.5 实时审计 (54)5.结论 (55)译者整理的脑图1. 摘要本白皮书适用于在Amazon Web Services（AWS）上的构建解决方案的架构师和开发人员。
(2024年)亚马逊云计算AWS培训认证课程(全)
AWS全球基础设施
2024/3/26
AWS全球区域和可用区
01
介绍AWS的全球基础设施布局，包括各个区域和可用区的特点、
功能和优势。
AWS网络架构
02
详细介绍AWS的网络架构，包括如何构建高效、安全的网络环
境，以及如何优化网络性能。
AWS存储和计算基础设施
03
深入介绍AWS的存储和计算基础设施，包括不同类型的存储服
掌握如何使用Lambda构建事件 驱动的应用程序，如响应S3事 件、处理Kinesis数据流等。
学习如何监控Lambda函数的性 能，以及如何进行故障排除和 优化。
2024/3/26
18
API网关与微服务架构
API网关基本概念
了解API网关的定义、功能及其 在微服务架构中的作用。
2024/3/26
记录用户活动和API 调用，以便进行安全 分析和审计。
2024/3/26
13
VPC网络安全
虚拟私有云（VPC）
在AWS中创建逻辑隔离的网络环境。
子网和路由表
定义网络地址范围和路由规则。
网络访问控制列表（NACL）
控制进出子网的数据流。 2024/3/26
安全组
为EC2实例提供防火墙功能，控制入站和出 站流量。
2024/3/26
10
网络服务：VPC、Route
VPC虚拟私有云
提供隔离的虚拟网络环境，支持自定义IP地址范围、子网、路由表和网络安全 组等配置。
Route53域名解析
提供可靠的域名解析服务，支持多种记录类型和健康检查功能，可实现高可用 性和容错能力。
2024/3/26
11
03
AWS安全与服务集成
企业数字化转型的实践与经验总结
企业数字化转型的实践与经验总结随着信息技术的发展，现代企业正面临着数字化转型的浪潮。
数字化转型意味着企业需要利用现代技术，将传统业务模式转变为更现代化、智能化的形态，以适应不断变化的市场需求，提高竞争力和效率。
那么，企业数字化转型的实践和经验到底有哪些呢？本文将结合部分企业的案例，谈一谈数字化转型的实践和经验总结。
一、突破流程瓶颈，实现数字化升级有一家规模较大的生产企业，在产品质量上一直处于行业领先水平，但是由于传统的生产流程和管理模式，企业的效率一直不高。
于是企业开始了数字化转型的探索之路，首先把重点放在了生产流程的数字化改造上。
通过引入MES（Manufacturing Execution System）系统，企业实现了对生产流程的全面数字化管理。
该MES系统实现了班组长、工单管理、工艺数据管理、生产计划等功能，有效地提高了生产信息化水平和生产效率。
通过数字化管理，企业能够实时监控生产过程，并及时发现生产问题，从而避免因误判或耽误而导致的生产滞留，达到了提高生产效率的目的。
二、利用云计算提高企业运营效率另外一家企业，面对高速增长的业务，机器性能亟待提升，数据量也越来越大。
想要升级硬件，投入和时间都不允许，此时，企业选择了利用云计算技术，利用云储存和云计算服务来解决这一问题。
该企业采用了以AWS作为基础，构建了自己的上下文存储威云。
通过云服务和存储的技术，企业不仅实现了数据的稳定存储，同时也进一步规范了数据收集，提高了数据的安全性，还实现了大数据分析。
这样的架构和模式不仅极大提高了企业的IT运营效率，也降低了成本，为业务突破提供了强大的保障。
三、利用AI技术改善客户服务数字化转型需要更快响应客户需求，改善客服体验。
某家金融企业设计了一套基于自然语言处理和机器学习的智能客服系统，使客户能够更方便、更快捷地查询、获取相关信息。
通过强大的算法和模型，能够根据查询内容准确匹配所需信息，极大改善了客户服务的质量和效率。
AWS项目架构方案2
Connext China
300W用户 AWS使用资源量 Instance RAM(Gi Optimiz Instance vCPU s B) e by 14 c3.xlarge 4 7.5 RAM db.m4.xl 4 4 16 RAM arge 2000W用户 AWS使用资源量 Instance RAM(Gi Optimiz Instance vCPU s B) e by m4.2xlar 14 8 32 RAM ge db.m4.1 4 40 160 RAM 0xlarge Instance Type on demand on demand Instance Type on demand
1
20 4 1 1 1 1
套
T 台 台 套 套 台
5436
16200 72576 2073.6 2592 935.28 4043.52
Kinesis Streams
AWS support
722.49
131 合计
$/m
$/m
1
1
套
人
26009.64
4716 203726.232
Connext China
用 户
费 用 评 估
300W AWS
Touted 53
CloudFront RDS DynamoDB EMR SES ElastiCache rge db.m4.2xlarge
151
22.5 504 57.6 72 25.98 112.32
$/m
$/m $/m $/m $/m $/m $/m
6. 存储资源使用：EBS高IOPS disk storage 服务高IO并发业务系统，S3 content storage服
基于AWS的云架构设计最佳实践
基于AWS的云架构设计最佳实践基于 AWS 的云架构设计最佳实践目录摘要 (6)1.介绍 (6)2.传统环境和云计算环境之间的差异 (7)2.1IT 资产作为可配置资源 (7)2.2全球，可用和可扩展的容量 (8)2.3更高级的托管服务 (8)2.4内置安全性 (8)2.5成本架构 (9)2.6AWS 上的运维 (9)3.设计原则 (10)3.1可扩展性 (10)3.1.1纵向扩展 (11)3.1.2横向扩展 (11)3.2一次性资源而不是固有服务器 (17)3.2.1实例化计算资源 (17)3.2.2基础架构即代码 (21)3.3自动化 (21)3.3.1无服务器管理和部署 (22)3.3.2基础架构管理和部署 (22)3.3.3警报和事件 (23)3.4松耦合 (24)3.4.1定义明确的接口 (24)3.4.2服务发现 (25)3.4.3异步集成 (26)3.4.4分布式系统最佳实践 (28)3.4.5服务，而不是服务器 (29)3.5数据库 (31)3.5.1为每项业务负载选择正确的数据库技术 (31)3.5.2关系数据库 (32)3.5.3NoSQL 数据库 (34)3.5.4数据仓库 (36)4.5.5 搜索 (37)4.5.6图数据库 (38)4.5.7管理不断增加的数据量 (39)4.5.8消除单点故障 (40)4.6优化成本 (46)4.6.1正确的实例 (46)4.6.2充分利用弹性 (47)4.6.3充分利用各种采购方案 (48)4.7 缓存 (49)4.7.1应用程序数据缓存 (50)基于AWS 的云架构设计最佳实践4.7.2边缘缓存 (51)4.8 安全 (51)4.8.1使用AWS 功能进行深度防御 (52)4.8.2与AWS 共享安全责任 (52)4.8.3减少特权访问 (53)4.8.4安全代码 (54)4.8.5实时审计 (54)5. 结论 (55)译者整理的脑图1.摘要本白皮书适用于在Amazon Web Services（AWS）上的构建解决方案的架构师和开发人员。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
– MapReduce, Hive, Pig, Spark
• 流处理
– 微-批量: Spark Streaming, KCL, Hive, Pig – 实时: Storm, AWS Lambda, KCL
流处理
批量分析
交互式分析 机器学习
分析
Amazon Machine Learning
Amazon Redshift
Impala
Pig
Streaming
Amazon Kinesis AWS Lambda
Amazon Elastic MapReduce
我应该使用什么流处理技术?
Spark Streaming Apache Storm Amazon Kinesis Client Library
44332211
Shard 1 / Partition 1
44332211
Shard 2 / Partition 2
消费者1
Count of Red = 4
Count of Violet = 4
消费者2
Count of Blue = 4
Count of Green = 4
我应该使用哪个流存储?
Amazon Kinesis
Amazon Kinesis
Amazon DynamoDB
流存储选项
• AWS 托管服务
• Amazon Kinesis → 流 • DynamoDB Streams → 表+流 • Amazon SQS → 队列 • Amazon SNS → 发布/订阅
• 非托管的
• Apache Kafka → 流
Amazon Kinesis
Amazon DynamoDB
文件 存储
为什么Amazon S3善于处理大数据?
• 支持大数据框架(Spark, Hive, Presto, etc.) • 不需要为存储运行计算集群(不像HDFS) • 能瞬间运行Hadoop集群 & Amazon EC2 Spot 实例 • 多个不同的(Spark, Hive, Presto)集群能使用相同的数据源 • 不限数量的对象存储 • 非常高的带宽 – 没有总吞吐量的限制 • 高可用性 – 可以容忍AZ失败 • 为99.999999999% 持久性设计 • 分级存储 (Standard, IA, Amazon Glacier) 通过 Life-cycle 的策略 • 安全 – SSL, 客户端/服务端数据加密 • 低成本
KB
MB-GB
(1 MB max)
KB-GB
GB
(5 TB max) (40 TB max)
高
低 – 非常高 低 – 非常 非常低
高(没有限
制)
¢¢
¢
¢
¢/10
高
高
非常高
非常高
热数据
温数据
冷数据
成本意识的设计
举例: 我应该使用Amazon S3 还是 Amazon DynamoDB?
• “我们目前正在做一个项目，将大大增加我的团队使用 Amazon S3的用量。希望你能回答一些问题。当前迭代的 设计将访问很多小文件,峰值也许到十亿。总大小接近1.5 TB每月…”
Search
• 成本 → 适合的成本
数据结构 Fixed schema
使用什么? SQL, NoSQL
Schema-free (JSON)
NoSQL, Search
(Key, Value)
Cache, NoSQL
你的数据 / 访问的温度是怎样的？
数据 / 访问特征：热，温，冷
容量 数据项大小 等待时间 持久性
选用
Amazon DynamoDB
方案 1 方案 2
请求速率 (写/秒) 300
300
选用
对象大小 (Bytes)
2,048
总大小
每月的对象
(GB/month)
1,483
777,600,000
32,768 23,730
777,600,000
Amazon S3
IoT
日志
应用
物联网
日志记录
应用程序
使用什么? Cache, NoSQL
• 访问模式 → 按照你将访问的格 式存储数据
Simple relationships → 1:N, M:N NoSQL Cross table joins, transaction, SQL SQL
• 数据 / 访问特征→ 热数据、温数 据、冷数据
Faceting, Search
HDFS & Amazon Glacier
• 使用HDFS用于高频繁 访问 (热) 数据
• 使用Amazon S3标准用 于频繁访问数据
• 使用Amazon S3标准 – IA 用于非频繁访问数据
• 使用Amazon Glacier 归 档冷数据
物联网
日志记录
应用程序
File Storage Search SQL NoSQL Cache
Apache Kafka Amazon Kinesis
Amazon DynamoDB
热
温 热 冷 热
流处理
批量分析
交互式分析 机器学习
分析
Amazon ML Amazon Redshift
Impala
Pig
Streaming
Amazon Kinesis AWS Lambda
Amazon Elastic MapReduce
KB (64 KB)
高 – 非常 非常高(没有 高
高
限制)
存储成本 GB/month 持久性
$$
¢¢
低 – 中等 非常高
¢¢ 非常高
ms,sec GB–TB
sec,min,hrs ms,sec,min hrs (~ size)
GB–PB (~nodes)
MB–PB (no limit)
GB–PB (no limit)
采集
Web应用
移动
iOS
应用 Android
事务性数据
Logstash
搜索数据
A
文件数据
流数据
流存储
文件存储
搜索 SQL NoSQL Cache
存储
Amazon ElastiCache Amazon DynamoDB
Amazon RDS Amazon
ES
Amazon S3
Amazon Glacier
Amazon Aurora
Amazon Elasticsearch
Amazon EMR (HDFS)
Amazon S3
冷数据
Amazon Glacier
平均等待时间 ms
ms
ms, sec
数据容量 数据项大小 请求率
GB
GB–TBs GB–TB
(no limit) (64 TB
Max)
B-KB
KB (400 KB max)
Amazon DynamoDB
数据库 + 搜 索层
最佳实践 — 用正确的工具做正确的事情
Cache Redis Memcached
数据库 + 搜索层
Data Tier
NoSQL
SQL
Cassandra
Amazon Aurora
Amazon
MySQL
DynamoDB
PostgreSQL
HBase
Oracle
MongoDB
SQL Server
MariaDB
Search Amazon
Elasticsearch Service Amazon CloudSearch
实例化视图
我应该使用什么数据存储?
数据结构和访问模式
• 数据结构 → 固定的模式、 JSON 访问模式
格式、键-值对格式
Put/Get (Key, Value)
流存储
为什么使用流存储?
• 解耦生产者和消费者 • 持久的缓存 • 收集多个流
• 保留客户端顺序 • 流式MapReduce • 并行消费
生产者1 生产者2 生产者3 生产者N
4321
4321
4321
Key = Violet
4321
DynamoDB Stream Kinesis Stream Kafka Topic
请求率(Writes/sec) 对象大小(Bytes)
总大小
(GB/month)
每月的对象
300
2048
1483
777,600,000
Amazon S3 还 请求速率
(写/秒)
是Amazon
DynamoDB? 300
对象大小 总大小 (Bytes) (GB/月)
2,048
1,483
每月的对象 777,600,000
事务性数据
Logstash
搜索数据
A
文件数据
存储
数据库
搜索
文件 存储
流
流数据
存储
数据类型
• 事务处理
– 数据库读写 (OLTP) – 缓存
• 搜索
• 日志 •流
• 文件
– 日志文件(/var/log) – 日志收集和框架
•流
– 日志记录 – 传感器和IoT数据
物联网
日志记录
应用程序
File Storage Search SQL NoSQL Cache
• 近乎实时的小批量数据流事件处理 • 样例: 1分钟指标
• 批量分析
– 需要大量的数据（温数据/冷数据） – 分钟级或者是小时级得到结果反馈 – 样例: 生成每天，每周。或者是每月