大数据导论：大数据技术栈的架构

合集下载

大数据技术栈的架构

大数据导论

注定将带来变革

大数据的挑战

•巨量的数据使系统变慢

•缺乏健壮的架构以处理海量、动态的数据

学习目标

•大数据架构的思考•大数据技术栈及其组件

功能的、基础设施的需求

设计准则

为大数据创造强大的环境

•捕获数据

•整理数据

•集成数据

•分析数据

•基于分析结果的行动

•高强度、高速度的计算

•海量数据存储

•合适的冗余

•基础设施软件

•操作软件

•管理软件

•良好定义的应用程序接口（APIs）

•软件开发工具

技术栈：应对大数据项目需求的大数据技术框架

大数据技术栈

大数据应用

报告和可视化

分析方法（传统的、高级的）

分析型数据仓库、数据集市

组织数据的数据库和工具

操作数据库（结构化、非结构化、半结构化）

基础安全设施

冗余的基础物理设施与内部应用的交互界面

与互联网的交互界面

大数据使用的基础技术架构