大数据分析与应用_数据可视化基础

信息记录

摄像：月亮周期
数据推理：4个数据集

X均值 = 9.0 Y均值 = 7.5 最小二乘法回归线方程 y = 3 + 0.5x 误差的平方和 = 110.0 X值的方差的回归和 = 27.5 均方误差的误差和 (相对于回归线) = 13.75 相关系数 = 0.82
上下文中数据理解: 霍乱流行

1854 John Snow [Tufte 1983]
扩充记忆和内存空间: 乘法计算
34 x 72 68 2380 2448
图示化计算: 水的蒸发

Johannes Lambert 采用图来研究水蒸发与 温度的关系 [Tufte 1983]
图示化计算: 视觉证据
可视化研究的挑战


越来越多不可见数据 2002年5 exabytes新信息 [Lyman 03] 2006年161 exabytes [Gantz 07] 需要新的更好的工具和算法以传播信息
注意力
“What information consumes is rather obvious: it consumes the attention of its recipients. Hence a wealth of information creates a poverty of attention, and a need to allocate that attention efficiently among the overabundance of information sources that might consume it.” ~Herb Simon as quoted by Hal Varian Scientific American September 1995
可视化研究的目标

理解可视化是如何传递给人们的

人们感知和理解什么？ 可视化是如何对应于数据的智能模型的？

开发能有效创造可视化的原理与技术������

增强认知与感知 增强可视化与数据的智能模型之间的联系
1. 数据与成像模型

[Bertin, Graphics and Graphic Information Processing 1981]
2. 好的和坏的可视化
谬误的可视化与其修正效果
3. 感知

感应功能的心理物理学 [Stevens 61]
4. 交互

FilmFinder [Ahlberg 94]
5. 空间布局

London 地铁 [Beck 33]
6. 树与图

兴趣度树[Heer & Card, 2004]
7. 颜色
[Cynthia Brewer http://www.personal.psu.edu/faculty/c/a/cab38 /]
NASA X38数据的模拟物理摄像实验的可视化效果。
(a) 二维平切Schlieren效果； (b)60度刀角情况下的Schlieren效果； © 圆形Schlieren效果；(d)Shadowgraphy效果
13. 过程与动作可视化
穿着纱丽 [Mijksenaar 99]
舞蹈步骤的可视化 [Tufte 90]
5
为什么我们需要可视化
• • •
•
• • • •
揭示想法和关系 形成论点或意见 观察事物演化的趋势 总结或积聚数据 存档、汇整 信赖、信任、求真 传播知识 探索性数据分析
为什么我们需要可视化
• • • • • •
•
• •
回答问题 做出决定 在上下文里看数据 扩充记忆和内存空间 支持图形化计算 寻找模式 展示论据 讲故事 激发智力和洞察力
11. 结构的表意性绘制
Principal Organs & Vascular System [Leonardo da Vinci ca. 1490]
上：世界上第一副流场可视化效果-达芬奇 下：表意性可视化NASA X38数据
12. 摄像
Shadowgraph of a .22-caliber bullet in flight Taken by an MIT freshman in 1962, in Edgerton‘s lab.
12
4 8.0, 6.58 8.0, 5.76 8.0, 7.71 8.0, 8.84 8.0, 8.47 8.0, 7.04 8.0, 5.25 19.0,12.50 8.0, 5.56 8.0, 7.91 8.0, 6.89
13
回答问题

Gallop, Bay Horse “Daisy” [Muybridge 188486]
数据可视化基础
内容提纲

可视化介绍 数据科学 高维数据可视化
什么是可视化？

定义 [www.oed.com]


使某物、某事可见的动作或事实；对某个原本 眼睛不可见的事物形成一副可感知的心理图片 或视觉的过程或能力；一副因此而形成的图片. 绘制出可见图片的动作或过程.
可视化
•
•
通过使用电脑，对数据进行交互的可视表达 以增强认知 [Card, Mackinlay Shneiderman ’98] 通常被认为是一个生成图形图像的过程，实 为认知过程 – 形成某个物体的感知图像 – 强化认知理解 可视化的目的是洞悉，而非图像 – 洞察：发现，决策，解释，分析，探索， 学习
8. 协同可视化

Sense.us [Heer 07]
9. 设计原理

测试三种组装仪器的有效性[Heiser 04]
10. 形状的表意性绘制
Lumbosacral and Sacro-iliac fusion Russell Drake, medical illustrator, Mayo Foundation, 1932.
可视化研究的挑战

越来越多不可见数据

模拟数据
数字城市规划
流体模拟
可视化研究的挑战

越来越多不可见数据

实测数据
Sloan digital sky survey www.sdss.org
传感器网络[Hill 02] www.xbow.com
数字摄像仪
可视化研究的挑战

越来越多不可见数据

信息快速传播
可视化的三个功能
•
记录信息
–
成像、蓝图设计、…
•
支持对信息的推理和分析
– – –
过程与计算 数据推理 反馈与交互
•
信息传递
– – –
共享与说服 协作与修正 突出数据的重要部分
信息记录

Байду номын сангаас
绘图：月亮周期 伽利略于1616年关于月亮 周期的绘图
http://galileo.rice.edu/sci/observatio ns/moon.html
4
•
可视化的应用范围
•
数据分析技术
–
数据挖掘，数据库查询，机器学习
•
可视化尤擅于探索性数据的分析
– – – – –
–
不知道里面有什么 没有一个预先的探索假设 想知道存在那些疑问 I see what you’re saying 我明白你的意思 Seeing is believing 眼见为实 A picture is worth a thousand words 一图胜千言
其他记录设备

Marey’s sphygmograph脉波计, 脉搏记录仪 [from Braun 83]
支持推理分析: 挑战者号案例
1986年1月28日，美国“挑战者”号航天飞机在升空以后不久 爆炸，全世界的人们在电视机前目睹了这一悲壮的情景。这一 事件不仅再次向世人表明人类科学技术进步的艰巨与困难，也 揭示了复杂组织内部正式的传播系统是何等脆弱。这一灾难的 直接起因是两个O形橡胶圈的故障，它们是由犹他州的莫顿· 塞奥 科公司（Morton Thiokol）生产的，用来密封发射器上固体燃料 箱上的接缝。“挑战者”号点火升空后，由于气温太低，发射 器上的橡胶圈无法按照设计要求迅速膨胀以弥合部件之间的缝 隙，导致大量燃气外泄，在主燃料箱上烧穿了一个洞，使这一 最先进的航天工具变成了一副燃烧的棺材。在这一显而易见的 技术问题背后，人们要追问的是组织决策问题：决策者是否知 晓相关技术信息？为何以及在何种情况之下做出了发射决定？ 也许我们不能将所有问题归咎于传播故障，但是正如“挑战者” 号事故调查总统委员会的报告所说:“信息沟通渠道的障碍导致做 出了发射的决定，这一决定建立在不完全甚至是使人容易误解 的信息基础之上”（转引自Conrad, 2001）。确实，决策失误 往往是组织的结构、传播习惯等多种问题积累的结果。
奇数的和： 1 + 3 + 5 + 7 + 9 = 52
Pythagorean 定理 中国古代的剖切证明
寻找模式: 纽约天气

New York Times 1981
展示论据:出口与进口

[Playfair 1786]
信息表达
生理卫生 [1918]
双螺旋模型 [Watson and Crick 53]
11
数值表示
1 2 10.0, 8.04 10.0,9.14 8.0, 6.95 8.0,8.14 13.0, 7.58 13.0,8.74 9.0, 8.81 9.0,8.77 11.0, 8.33 11.0,9.26 14.0, 9.96 14.0,8.10 6.0, 7.24 6.0,6.13 4.0, 4.26 4.0,3.10 12.0,10.84 12.0,9.13 7.0, 4.82 7.0,7.26 5.0, 5.68 5.0,4.74 3 10.0, 7.46 8.0, 6.77 13.0,12.74 9.0, 7.11 11.0, 7.81 14.0, 8.84 6.0, 6.08 4.0, 5.39 12.0, 8.15 7.0, 6.42 5.0, 5.73
支持推理分析

决策：Challenger; 由Morton Thiokol传真到 NASA的13页纸中的2页 [Tufte 1997]
支持推理分析

Tufte教授绘制的演示低温如何摧毁O形密封 圈 [Tufte 97]
支持推理分析

Tufte教授绘制的演示低温如何摧毁O形密封 圈 [Tufte 97]
14. 动画

Outside-In, 几何计算中心
Textbooks




Edward Tufte: Four books http://www.edwardtufte.com/tufte/ William Cleverland: The Elements of Graphing Data http://www.stat.purdue.edu/~wsc/ Leland Wilkinson: The grammar of graphics http://www.spss.com/research/wilkinson/ Pat Hanrahan: CTO of Tableau http://www.tableausoftware.com/