可视化商业智能大数据分析平台技术白皮书

可视化商业智能大数据分析平台技术白皮书

XXX技术有限公司

2018年7月

目录

1.背景概述 (5)

2.现状分析 (6)

2.1.主流BI模式 (6)

2.1.1.传统BI模式 (6)

2.1.2.敏捷BI模式 (7)

2.2.平台推荐模式 (8)

3.整体需求 (10)

3.1.数据源支持 (10)

3.2.自助式查询 (10)

3.3.OLAP联机分析 (11)

3.4.UI编排功能 (12)

3.5.丰富的组件 (13)

3.6.多种展示方式 (13)

1

3.7.外部数据服务 (14)

4.总体设计 (15)

4.1.数据分析 (16)

4.2.设计运行 (16)

4.3.系统管理 (16)

4.4.可视化展示 (16)

5.功能设计 (17)

5.1.数据分析 (17)

5.1.1.多数据源 (17)

5.1.2.数据建模 (18)

5.1.3.多维BI分析 (18)

5.2.设计运行 (20)

5.2.1.UI编排 (20)

5.2.2.丰富组件 (21)

5.2.3.事件引擎 (24)

5.2.4.运行引擎 (24)

2

5.3.系统管理 (26)

5.3.1.我的报表 (26)

5.3.2.工程化管理 (27)

5.3.3.主题管理 (27)

5.3.4.布局管理 (27)

5.3.5.数据源管理 (27)

5.3.6.基础管理 (28)

5.4.可视化展示 (29)

5.4.1.决策仪表盘 (29)

5.4.2.大屏综合显示 (30)

5.4.3.交互式WEB界面 (30)

5.4.4.基于GIS的数据可视 (33)

5.5.其他功能 (38)

5.5.1.数据探索 (38)

5.5.2.事件定义 (38)

5.5.3.项目管理 (39)

3

5.5.4.基础管理 (39)

5.5.5.安全管理 (39)

5.5.6.部署与集成 (40)

4

1.背景概述

当前，我们的世界已经迈入大数据（Big Data）时代，随着互联网、物联网、云计算等信息技术的迅猛发展，信息技术与人类世界、经济、军事、科研、生活等方面不断交叉融合，催生了超越以往任何年代的巨量数据。数据正在变得无处不在、触手可及，数据的背后隐藏着信息，而信息之中蕴含着知识和智慧。

而数据创造的真正价值，在于我们能否提供进一步的稀缺的附加服务，就是数据分析。数据的分析过程往往离不开机器和人的相互协作与优势互补。从这一立足点出发，大数据分析的理论和方法研究可以从两个维度展开：一是从机器或计算机的角度出发，强调机器的计算能力和人工智能,以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容，例如基于Hadoop和MapReduce/Spark框架的大数据处理方法以及各类面向大数据的机器学习和数据挖掘方法等，这也是目前大数据分析领域的研究主流；另一个维度从人作为分析主体和需求主体的角度出发,强调基于人机交互的、符合人的认知规律的分析方法，意图将人所具备的、机器并不擅长的认知能力融入分析过程中，这就是大数据可视化分析。

商业智能（Business Intelligence，简称BI）是进行数据可视化分析的

5

一种重要手段。

2.现状分析

2.1.主流BI模式

Gartner的2016 BI和分析平台魔力象限报告指出：当今数据分析向可视化设计UE、自助式探索分析、分析和展现一体化平台发展已经成为大势所趋。2016年，传统的BI厂商已经集体沦陷，全部被驱出了领导象限。

2.1.1.传统BI模式

在对数据进行分析的过程中，传统BI的做法是，IT人员事先根据分析需求来进行建模（以及做二次表或打Cube），提前汇总好数据，业务人员在前端查看分析结果报表。分析过程如下所示。

6

这种做法很成熟，持续了很多年，但是也存在着一些问题：

1、业务人员查看的报表相对静态，分析的维度和度量的计算方式已在建模时预先设定好，不能更改，比如定好了是求和或求平均数，想改成求方差必须回去修改模型。

2、分析需求变更时，业务人员不能直接调整报表，需要IT人员重新建模或修改已有分析模型，耗时较长，响应速度较久。

2.1.2.敏捷BI模式

随着技术的发展和演进，BI领域已经迎来了新一代敏捷BI的革新。基于大数据的处理技术，其对TB-PB级的数据可实现秒级响应。敏捷BI的数据展现是起点，而不是终点。看到了数据，能交互式分析，能深入向下挖掘，能发现问题找到答案。

敏捷BI的分析报告能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门，这样会严重增加IT部门的工作负担。敏捷BI的实施和操作相比传统BI都要来得更为简单，可以说是以业务人员为使用对象的BI，支持自助探索式分析。

分析报告需求经常需要数据层的改动，需要IT部门去改进数据层和业务层，传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模，可在分析过程中

7

灵活调整分析维度和报表展现，需求变更可以在一天之内响应，提升企业的洞察力决策力。

与传统BI的重量建模、统一视图不同，敏捷BI采取轻量建模、N个视图的方法，数据连进来直接可以进行分析，并且业务人员可以实时调整分析的维度和度量的计算方式，极大增加灵活性，真正做到和数据对话。

2.2.平台推荐模式

从前文可以看出，敏捷BI以“快而有效”的方式解决了业务与技术长期的矛盾，为数据市场带来了新的活力，也引领了商业智能可视化分析的走向。但我们也要冷静思考：

■敏捷BI和过去二十五年一样，无法替代Excel，这是为什么？

■大众化的敏捷BI产品和过去二十五年一样，只能通过Ctrl+C/V才能进入Word/PPT当中，而这“交付的最后一步”却是每个领导真正才会看到的数据分析！

■大众化的敏捷BI产品还是基于表格和图表化的分析，似乎没有改变数据的堆砌，用户很难为其增加辅助性的说明文字，加入自己的观点！

■如果分析出报表之后，想要将这些BI图表有机地结合起来，并形成一套完整的数据展示系统，难道还需要专门让IT技术人员编写一套WEB系统，将这些

8