完善的大数据平台架构图
平台架构图
台
业务支撑平台
仓储管理 客服管理
运输管理 多式联运 智能调度 智能改单 智能配载
物流贸易 会员管理
运力调度 结算管理
订单管理 支付管理
合同管理 运营管理
平台层
基
础 平 台
大 数 据
可 视 化 交 互
商 业 智 能
物 联 网 管 理
计算 人工智能
容器 虚拟机
公有云
混合云
网络 通信集成引擎
负载均衡
VPC
运输API
资源服务中心
订单管理中心
业务服务中心
准入管理 运输交易 作业管理
信息搜索 交易撮合 订单生成 回单管理
需求发布 运输方案推荐
订单追踪
运输管理 任务指派 仓储管理 对账管理
仓储API
订单API
运力管理 运输追踪 运营管理 结算管理
综合运营管控中心
流程管理 支付管理 报表管理 监控管理
…
第三方系统API
…
能力支撑
监控
数据
设备 状态
数据 …
物联网
数据
行为 数据
数据 …
大数据
信息
等候 数据
数据 …
GIS
安 全
智 慧 城
云（公有云/私有云/混合云） 智能计算
智能存储
智能数据中心
数据中心网络
市
运输调度系统 火灾报警系统
票务系统 门禁系统
动车存车场
办公自动化系统
隧道设备监控
电源及环境监控
业务支撑中心
商业管理系统
安全 加固
网络 安全
应用 安全
业务引擎层 技术中台
运输管理业务模型－规则－算法
大数据平台简介
大数据平台简介
大数据平台简介
目录
Hadoop生态系统 Hadoop主流厂商 HDFS MapReduce Hive Spark
Hadoop生态系统
Hadoop 1.0 V 2.0
Hadoop生态系统
Ambari （安装部署工具）
Zookeeper （分布式协调服务）
HDFS的基本结构之 NameNode
Namenode是一个中心服务器负责管理文件系统的命名空间 协调客户端对文件的访问 Namenode执行文件系统的命名空间操作例如打开、关闭、重命名文件和目录 记录每个文件数据块在各个Datanode上的位置和副本信息
HDFS元数据持久化
NameNode存有HDFS的元数据：主要由FSImage和EditLog组成 FSImage是元数据镜像文件 保存整个文件系统的目录树 数据块映射关系：文件与数据块映射关系DataNode与数据块映射关系 EditLog是元数据操作日志记录每次保存fsimage之后到下次保存之间的所有hdfs操作
HBase （分布式协数据库）
Oozie （作业流调度系统）
HDFS （分布式存储系统）
YARN （分布式计算框架）
MapReduce （离线计算）
Tez （DAG计算）
Spark （内存计算）
Hive
Pig
Mahout
Sqoop （数据库TEL工具）
Flume （日志收集）
……
……
HDFS－Hadoop Distributed
无法高效存储大量小文件
HDFS现在遇到的主要问题
分布后的文件系统有个无法回避的问题因为文件不在一个磁盘导致读取访问操作的延时这个是HDFS现在遇到的主要问题
大数据平台方案
大数据平台方案在当今信息化时代，大数据平台已成为企业获取竞争优势的关键工具。
一个完善的大数据平台方案应包括数据采集、存储、处理、分析和可视化等多个环节。
以下是一份详细的大数据平台方案：1. 数据采集数据是大数据平台的基础。
首先需要确定数据来源，包括内部数据（如交易记录、日志文件等）和外部数据（如社交媒体、公开数据集等）。
数据采集工具应能够支持多种数据格式和协议，如HTTP、FTP、API等，以确保数据的高效、准确采集。
2. 数据存储采集到的数据需要存储在适合的系统中。
根据数据类型和使用场景，可以选择关系型数据库、NoSQL数据库或分布式文件系统。
存储系统应具备高可靠性、可扩展性和高效的数据检索能力。
3. 数据处理原始数据往往需要经过清洗、转换和整合才能用于分析。
数据处理工具应支持数据的ETL（提取、转换、加载）操作，以及数据的实时处理。
此外，还需要考虑数据的安全性和隐私保护。
4. 数据分析数据分析是大数据平台的核心。
分析工具应支持复杂的数据处理和统计分析，如机器学习、预测分析等。
同时，应提供友好的用户界面，使非技术用户也能轻松进行数据分析。
5. 数据可视化数据可视化是将数据分析结果以图形或图表的形式展示出来，帮助用户直观理解数据。
可视化工具应支持多种图表类型，如柱状图、折线图、地图等，并允许用户自定义图表样式和布局。
6. 平台架构大数据平台的架构设计应考虑系统的可扩展性、容错性和性能。
通常采用分布式架构，以支持大规模数据处理和高并发访问。
同时，应采用微服务架构，以提高系统的灵活性和可维护性。
7. 安全与合规在设计大数据平台时，必须考虑数据安全和合规性问题。
应实施数据加密、访问控制和审计日志等安全措施，以保护数据不被未授权访问或泄露。
同时，应遵守相关法律法规，如GDPR等。
8. 成本控制大数据平台的建设和维护成本较高。
在设计平台时，应考虑成本效益，选择合适的硬件和软件，以及优化资源使用，以降低整体成本。
湖仓一体大数据平台解决方案相关两份资料
结果的合并，增加了运维成本
批处理 视图
增量处理 视图
即席查询
API服务 自助取数
实时计算数据流
增量处理结果
流处理
Lambda架构-数仓分层结构
ADS
Kafka
ES
DWS
S Q L
Kafka
DWD
S Q L
Kafka
S Q L
ODS
Kafka
Source
S
C
Q
D
L
C
Messae Queue
HBase
结论：实时计算支持主流数据库1500万/小时的数据处理能力，且资源占用较低
湖仓一体大数据平台产品未来支持功能-①增强SQL能力
更多语法与特性支持
更多数据源支持
任务自动调优
湖仓一体大数据平台产品未来支持功能-②精细化资源管理
Flink on K8s
自动扩容缩容
细粒度资源调度
4、Hudi数据湖典型应用场景
全链血缘
元数据检索 元数据分析
2. 湖仓一体数仓建设思路
传统数仓的问题
开发效率
实时指标烟囱式开发 效率低门槛高
技术架构
实时离线架构不统一 依赖离线T+1导出报表
平台管理
缺少实时元数据管理 未打通实时离线数据的联系
湖仓一体数仓建设思路
批流统一
统一数仓标准与元数据 基于SQL统一开发流程
宽表建设
引入Hudi加速宽表产出 基于Flink SQL 构建实时数仓
数据集成
DataX （批量同步）
Flink-CDC （流式写入）
API接口 （Restful）
文件直传
大数据平台湖仓一体平台 计算/分析引擎
[大数据运维]第29讲：大数据平台的硬件规划、网络调优、架构设计、节点规划
![[大数据运维]第29讲：大数据平台的硬件规划、网络调优、架构设计、节点规划](https://img.taocdn.com/s3/m/0857cfd34128915f804d2b160b4e767f5acf802e.png)
[⼤数据运维]第29讲：⼤数据平台的硬件规划、⽹络调优、架构设计、节点规划第29讲：⼤数据平台的硬件规划、⽹络调优、架构设计、节点规划⾼俊峰（南⾮蚂蚁）这⼀课时，我将向你介绍 Hadoop ⼤数据平台的硬件选型、⽹络⽅⾯的架构设计和存储规划等内容。
⼤数据平台硬件选型要对 Hadoop ⼤数据平台进⾏硬件选型，⾸先需要了解 Hadoop 的运⾏架构以及每个⾓⾊的功能。
在⼀个典型的 Hadoop 架构中，通常有 5个⾓⾊，分别是 NameNode 、Standby NameNode 、ResourceManager 、NodeManager 、DataNode 以及外围机。
其中 NameNode 负责协调集群上的数据存储，Standby NameNode 属于 NameNode 的热备份，ResourceManager 负责协调计算分析，这三者属于管理⾓⾊，⼀般部署在独⽴的服务器上。
⽽ NodeManager 和 DataNode ⾓⾊主要⽤于计算和存储，为了获得更好的性能，通常将 NodeManager 和 DataNode 部署在⼀起。
1.对 NameNode 、ResourceManager 及其 Standby NameNode 节点硬件配置由于⾓⾊的不同，以及部署位置的差别，对硬件的需求也不相同，推荐对 NameNode 、ResourceManager 及其 Standby NameNode 节点选择统⼀的硬件配置，基础配置推荐如下表所⽰：对于 CPU ，可根据资⾦预算，选择 8 核、10 核或者 12 核。
对于内存，常⽤的计算公式是集群中 100 万个块（HDFS blocks ）对应 NameNode 需要 1GB 内存，如果你的集群规模在 100 台以内，NameNode 服务器的内存配置⼀般选择 128GB 即可。
由于 NameNode 以及 Standby NameNode 两个节点需要存储 HDFS 的元数据，所以需要配置数据盘，数据盘建议⾄少配置 4 块，每两块做 raid1，做两组 raid1；然后将元数据分别镜像存储到这两个 raid1 磁盘组中。
南京航空航天大学疫情大数据平台的设计
2021.4中国教育网络692020年初新冠肺炎（COVID-19）疫情在全国大规模爆发，严重影响了各大高校的正常管理和教学秩序。
这既是高校管理上面临的一次重大考验，也是引入高科技手段、推动信息化建设、提升数据治理水平的重要机会。
南京航空航天大学信息化处根据学校关于做好疫情控制有关工作的系列通知要求，快速响应，长远谋划，主动出击，依托移动校园App、网上办事大厅、主数据中心等平台，从2020年1月底开始在不到两个月的时间内开发并上线了“每日健康打卡”、“每日健康数据上报”、“教职工返校”、“学生预约返校”、“校外人员入校”、“食堂就餐码”等10余个疫情防控相关的应用和流程，建设并启用了3校区的校门道闸及人脸识别系统，并在此基础上设计和实现了集师生健康数据、学生返校数据、人员入校实况等为一体的疫情大数据平台。
系统设计南京航空航天大学疫情大数据平台（下文简称“平台”）采用层次设计模型，总体架构如图1所示，自底向上分为数据源、数据接入、数据服务和数据应用4层。
数据源层数据源层位于平台底部，汇集了平台所涉及的各类数据，采用数据库存储组织，从逻辑上划分为基础数据和疫情专题数据两部分。
基础数据主要来自学校主数据中心，包括师生个人基本信息、组织机构基本信息、人员机构隶属关系等；疫情专题数据，主要来自疫情相关的应用系统，包括：1.源自每日健康打卡和每日健康数据上报系统的疫情上报数据、地理位置（手机定位）数据；2.源自学生预约返校流程和管理系统的预约返校数据；3.源自道闸系统的人员进出（道闸系统的实时流水）数据等。
数据接入层数据接入层位于数据源层与数据服务层之间，起到承上启下作用。
对于数据服务层，它是数据的访问接口，为业务逻辑提供数据处理与分析的支撑服务；对于数据源层，它是数据清洗、处理、汇集的中心，提供数据的封装和转发服务。
数据接入层通过数据抽取工具和数据转换服务，定时从数据源抽取数据进行分析处理，并将结果存入“疫情数据库”中。
网易猛犸大数据平台
网易猛犸大数据平台目录1.猛犸大数据平台 (2)2. 产品核心功能 (4)2.1 猛犸大数据开发套件 (4)2.2 调度系统 (7)2.3 数据安全 (11)2.4 平台运维与监控 (12)2.5 数据可靠性 (13)3. 基于猛犸的大数据应用建设方案 (14)4. 技术规格 (16)5. 组件版本 (19)网易猛犸大数据平台1.猛犸大数据平台猛犸大数据平台，网易大数据实践经验积累，一站式大数据应用开发和数据管理平台。
猛犸大数据平台主要分为大数据开发套件和Hadoop发行版两部分。
猛犸大数据总体架构图大数据开发套件主要包含数据开发、任务运维、自助分析、数据管理、项目管理及多租户管理等。
大数据开发套件将数据开发、数据分析、数据ETL等数据科学工作通过工作流的方式有效地串联起来，提高了数据开发工程师和数据分析工程师的工作效率。
网易猛犸大数据平台Hadoop发行版涵盖了网易大数据所有底层平台组件，包括自研组件、基于开源改造的组件。
丰富而全面的组件，提供完善的平台能力，使其能轻易地构建不同领域的解决方案，满足不同类型的业务需求。
敏捷易用基于业务场景设计的用户操作界面提高了系统的易用性，结束了平台命令行运维的繁琐状态。
数据开发工程师和数据分析师通过简单拖拽和表单填写即可完成数据科学相关工作。
成熟稳定持续内部需求驱动帮助打磨平台，网易互联网各业务验证。
同时，网易杭研院成熟的QA体系为猛犸大数据平台保驾护航。
安全可靠猛犸平台提供多租户支持，不同租户之间相互隔离。
底层使用Kerberos认证，实现了数据的安全性和隔离性。
除了认证系统，利用Ranger实现了细粒度权限控制，保证了各个租户只能查看授权访问的库、表或字段。
此外，平台提供审计功能，通过对用户平台行为的记录、分析和汇报，用来帮助事后生成合规报告、事故追根溯源，提高平台安全性。
网易猛犸大数据平台2. 产品核心功能2.1 猛犸大数据开发套件猛犸大数据开发套件提供可视化界面，用户可以进行数据开发、任务运维、自助分析、数据管理及项目管理。
公安大数据综合服务平台架构规划探讨
公安大数据综合服务平台架构规划探讨摘要：遵循公安部、省厅大数据智能化建设要求，按照“六统一”框架和“四化”落地原则，结合公安大数据工程的规划设计，打造省市一体化的公安大数据智能化体系，省厅与市局之间实现“物理分散、逻辑统一、互联互通”。
通过构建统一的基础支撑环境，包括新一代公安信息网、警务云平台扩容、安全保障体系、统一运维体系、公安大数据综合服务平台、新一代移动警务，为安保维稳、疫情防控、警务实战工作提供有力支撑。
关键词：大数据，智慧公安，智能化，公安信息网，云计算1.引言公安大数据信息化建设为公安数据资源对外开放服务提供了海量的数据资源。
通过构建统一的基础支撑环境，包括新一代公安信息网、警务云平台扩容、安全保障体系、统一运维体系、公安大数据综合服务平台、新一代移动警务，为安保维稳、疫情防控、警务实战工作提供有力支撑。
通过公安大数据信息化建设将进一步提升公安机关办案能力、业务能力、预警和防控能力、服务社会能力。
2.总体结构以公安部《公安大数据规范性文件汇编第二部分：公安大数据处理》为指导，以业务标准化、场景化、模块化为设计原则进行建设。
图1 公安大数据平台总体架构图新一代公安信息网设计，应综合考虑现有资源整合，按照公安部规划，融合各警种专网，建设“新一代公安信息网”。
数据中心以及警种的业务应用，通过数据汇聚节点进行互联并对用户提供数据和应用服务。
公安网用户、各类终端设备通过用户汇集节点进行互联，并通过安全访问平台访问数据和应用。
公安大数据智能化建设需要构建全面的标准体系，公安部已经在基础数据资源、网络、边界接入、云计算平台、智能化应用、安全管理、运维保障等方面制定了标准目录。
3.逻辑结构按照全国公安大数据建设总体布局，公安部大数据平台要汇集全国核心关键数据，链接省市两级公安大数据平台，实现全国数据资源总关联、总索引、总导航。
图2 部省市三级联动设计省级大数据平台汇聚厅直警种、地市公安大数据平台的数据，建立全省数据资源的索引、关联、导航，并按部要求上报汇聚数据。