大数据主要技术分类

数据处理技术
对多样化的大数据进行加工、处理、分析、挖 掘，产生新的业务价值，发现业务发展方向， 提供业务决策依据。
是关于数据之视觉表现形式的研究，主要旨在 数据可视化技术 借助于图形化手段，清晰有效地传达与沟通信 息 数据安全技术 解决从大数据环境下的数据采集、存储、分析 、应用等过程中产生的诸如身份验证、授权过 程和输入验证等大量安全问题。由于在数据分
主要技术
百度文库
说明
数据采集技术
通过ETL抽取、文件适配器、网络抓取、实时数 据采集等多种技术从外部数据源导入结构化数 据（关系库记录）、半结构化数据（日志、邮 件等）、非结构化数据（文件、视频、音频、 网络数据流等）及实时数据。
数据存储技术
负责进行大数据的存储，针对全数据类型和多 样计算需求，以海量规模存储、快速查询读取 为特征，存储来自外部数据源的各类数据，支 撑数据处理层的高级应用。
系统运维技术
全面监测大数据处理全过程中各参与方的整体 状态，支持大数据应用功能的配置化定义，可 快速扩展应用功能。
技术细分
数据库数据采集技术 文件数据采集技术 实时数据采集技术 全量数据复制、增量数据捕获（CDC）方案 ETL 工具应用实践 基于不同数据类型的多种技术的全量与增量数据采集 的作业调度、运行、管理等自动化功能的实现 分布式文件存储技术 分布式数据库技术（列式数据库） 关系型数据库技术（集群） 内存数据库技术(NOSQL) 面向多种存储的元数据、数据资产管理功能 面向多种应用的数据服务接口（低延时或实时要求） 批量计算技术 流式计算技术 内存计算技术 数据挖掘，主要基于人工智能、机器学习、统计学技 术 大数据作业调度管理 基于不同数据处理作业调度、运行、管理等自动化功 能的实现 html5展现技术 Flex 展现技术 GIS展现技术 大数据权限控制技术 大数据安全方案 硬件资源监控及预警 软件进程状态监控及预警 基于日志的软硬件指标阈值预警功能 基于日志数据分析作业、数据采集作业的任务监控 集群管理，包括集群配置项维护、扩容/缩容、状态更 改、HA管理、集群升级