第八讲检索可视化和检索评价
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
信息可视化研究的一般概念
参考模型
数据
信息
可视化形式
原始数据
原始数据
可视化结构
视图
数据交换
可视化映射
任务
视图变换
人机交互
5
信息可视化研究的一般概念
信息可视化的三大支柱
The power of Perception
感知的功能
The power of Graphics
图形的功力
The power of Associations
38
国内外检索评价历史
1959-1980，以Saracevic发表的关于相关性研究的阶段性综述为标志， 出现了大型实证研究和系列理论研究 实证研究：1957和1962年开始的美国科学基金会(NSF)资助的Aslib Cranfield I和Cranfield II项目。
Cranfield I基于系统观，检索提问根据来源文献题目拟出，相关性 判断由查询者将检索提问与文献号比对完成，不阅读文献
提供一般用户和专家用户的界面选择
采用“脚手架”（scaffolding）技术：向初学者提供 简易界面，向有经验的用户提供高级界面
20
可视化检索
可视化检索技术
格式刷和连接，颜色联动
两个和更多窗口的连接
摇镜头
变换聚焦，变换景深
魔幻镜头
通过点击代表不同的检索对象，实现覆盖对象和未覆 盖对象之间的切换
27
KEPT – Knowledge-Enabled Personalization Tools
RDF-ISO Standards
Web Browser
Knowledge-Enabled Personalization Tool (KEPT)
Topic Map Editor
Drag and drop
信息检索系统还包括其他一些度量指标。
这是由于用户的查询请求本身具有模糊性，检 出的结果不一定是精确答案。需要依照与查询的 相关度，对结果集合的准确度进行评价。
35
信息检索评价的类型
检索性能评价
批处理模式
用户提交提问，并得到检索结果 产生检索结果集合的方法
交互模式
用户通过于系统一系列交互步骤提交信息需求 涉及的因素
焦点变量(focusing variables)用户判断相关性的标准 界限变量(delimiting variables)对试验者施以不同的指导导致的 结果 情景变量(situation variables)环境、时间、反馈等因素的影响 刺激材料变量(stimulus mat variables)文献的文体特征专业性等 个体差异变量(individual diff variables)用户知识水平和技能 量化尺度模式(available mode of quantitive expression)量化 尺度的粗细
33
信息检索评价的概念
在现代的大型数据库条件下，对一个检索 提问响应的相关文献量动辄远远超过用户的 实际需要 用户希望检索结果按照相关程度排序 系统设计人员和图书情报工作者也希望通 过评价不同检索方法的效果，以揭示其区别
34
信息检索评价的类型
系统评价主要包括
功能评价，即评价一个系统是否完成了它所侧 重的目标。 性能评价，主要指标是时间与空间的开销。 （如：对数据检索系统的评价）响应时间越短， 占用的空间越少，系统性能越好
第八讲 检索可视化和检索评价
陆铭
66134922 richard.lu@shu.edu.cn mingler.ccshu.org
内容提要
信息可视化研究
一般概念，在图书馆应用，可视化检索
http://infovis.cs.vt.edu/cs5764/readings.html
检索评价研究
信息检索评价的概念、研究历史、系统评价指 标、用户评价指标、信息检索相关性模型
17
可视化检索
可视化检索的必要性
让用户做到“过目不忘”
只要看过的，就记下 – Keep-It-Button 提供知识系统帮助组织，整理个人信息空间 提供个人空间与其他信息空间的连接
强调“人机合作”
既要“自动化”，又要“个性化”
18
可视化检索
两个有影响的国际研讨会
1995年起，每年10月美国IEEE信息可视化国际 研讨会 1997年起，每年7月英国信息可视化国际研讨会
但问题是
单单检索已经不够！(Search is not Enough!)
16
可视化检索
可视化检索的必要性
检索界面单一，当前的检索系统没有根据不同 的查询，提供有针对性的、相关性可以调整的机 制
界面死板
不能揭示相关文档之间的关系
固有的关系被掩盖
忽略了检索结果选取时的人机交互作用
无交互功能，或交互功能极弱
2
1 信息可视化研究——一般概念
看到什么了？
3
信息可视化研究的一般概念
什么是可视化?
现代可视化技术是指运用计算机图形学和图像 处理技术，将数据转换为图形或图像在屏幕上显 示出来，并进行交互处理的理论、方法和技术
Visualize:
Interactive -- 互动式的 Visual representation – 可视的 Amplify cognition – 提高认知功能的
http://iv.slis.indiana.edu/
8
信息可视化研究的一般概念
Touchgraph工具
9
信息可视化应用研究
信息可视化的应用
数据分析
Visual inspection of data properties Dimensional deduction
海量数据的图形化表示
将多次DIALOG检索结果一次性图形表示
用户从一个简单的检索开始 系统将检索结果做多层次的分析
收集出现频率最高的主题词 分析主题词之间的关系
系统将分析结果图形户化表现在介面上 用户interacts with 主题词图表以达到更好的 检索效果
26
Interactive Query Construction
View Citation Map
31
检索评价
信息检索评价的概念 研究历史 系统评价指标 用户评价指标 信息检索相关性模型
32
信息检索评价的概念
信息检索的基本问题是评价相关性 以二值表述的相关性不能反映文献相关的 程度 一些文献提供的相关信息多一些，而另 外一些提供的相关信息少一些，但不是无关 已经有一些研究按照相关性程度表述但是 仅仅只有几个试验实际利用了不同的相关因 素
Searching/ Browsing Interface
OAI protocol
Information Resources
Search engines
HTTP Server
28
Visual Thesaurus
29
Hyperbolic Tree
30
Highwire: http://www.highwire.org
国际上已经取得的成果
可视化理论模型研究 出现一批原型系统
19
可视化检索
可视化信息检索的设计原则
提供信息反馈
帮助用户掌握检索提问和信息检索之间的关系、命中 文献之间的关系、命中文献和描述该文献的元数据之间 的关系
减少工作记忆负担
允许用户返回临时放弃的检索策略，或者从一个检索 策略跳到另一个检索策略
在电子数字图书馆中的应用
揭示信息的分布 显示检索的结果 为大量的信息分类 帮助用户浏览 提供个性化信息服务
11
信息可视化应用研究
为大量的信息分类
将整个数据库的内容用一个图表示出来 图书情报专业群英图
12
信息可视化应用研究
帮助浏览
13
信息可视化应用研究
揭示信息的分布
Cranfield II将实际检索提问提交给系统，提问者通过阅读检出的文 摘判断相关性 Cranfield 的意义 找到了影响相关性判断的多种因素，为后续得到研究提供了测试数据 首次采用查全率和查准率进行检索系统评估，同时发现两者之间存在 的类反比关系(inverse relationship) 引发了相关性研究的论争，Cranfield的每个方面都收到批评和反驳， 从而导致试验从实验室环境到自然真实的用户环境的转移
Hierarchical Generator
Co-occurrence Mapping
Knowledge Repository
Relational Database Thesauri Ontologies
Topic maps …….
XML Schema XML XSLT
XML Application Server
用户因素 界面性能 系统的导引性能 过程的时间
36
检索评测基础
检索评测基础: 建立在测试参考集和一 定的评价测度基础之上。
测试集由一个文档集、一组信息查询实例、对 应于每个信息查询实例的一组相关文档（由专家 提供）所组成。
检索策略的评价
对一个给定检索策略S，对每个信息查询实例， 评测由S检出的结果集合与由专家提供的相关文 档集之间的相似性，量化这一指标。
14
信息可视化应用研究
显示检索的结果
数据库
用户界面
多媒体 检索
数字图书馆
图书馆
网络
15
可视化检索
可视化检索的必要性
每个人的个人“信息空间”都在飞快地膨胀 个人信息空间现在是“搜索引擎战”的前沿阵 地
Google, Yahoo!, Microsoft 都提供免费的Desktop Search Solutions
37
国内外检索评价历史
20世纪30年代，美国Bradford首先使用文献的主题相关概念 (documents relevant to a subject) 20世纪50年代，美国Taube,Mooers,Perry和Luhn等首先实现了基于 集合论和布尔代数的信息检索系统。当时对于相关性的假设是，检出 的结果就是相关的，没有检出的就是不相关的。 稍后的相关性研究集中于非相关(non-relevance)。Taube等认为相 关性主要受系统内在特征与操作影响，影响因素包括分类表、索引、 词汇的语义以及语法描述、文献组织以及检索提问的分析与检索策略 等。此时的问题是没有注意文献选择过程，即没有考虑人的因素。 (系统观) 1958年科学信息国际会议(ICSI)开始相关性研究中考虑了人的因素。 Vickery在会议上提出将相关性分为主题相关和用户相关两类。主题 相关性定义为描述检索问题的主题词和描述文献的主题词之间的匹配 关系(系统观)，用户相关性定义为用户检索相关信息的愿意程度(用 户观)
39
国内外检索评价历史
1967年Cuadra和Katter的研究 将相关性分为两类：一是用户兴趣主题与文献之间的关 系，另一是系统输出和用户信息需求之间的关系 研究设计阶段列出五类38种可能影响相关判断的因素： 文献类型(含主题和难易程度)、信息需求的陈述、判断者 的经验背景和态度、判断条件(时间压力输出顺序文献量 等)、表达方式 研究结论认为，影响相关判断有6个因素(变量)：
Clustering and grouping Discovery of hidden internal structures
实现与数据的可视化交互
interactive online searching browse large amount of information
10
信息可视化应用研究
21
可视化检索
检索可视化模型
信息晶体(infoscrystal) 超级图书(superbook) 信息可视化引擎(NIRVE)
22
可视化检索——信息晶体(infocrystal)
23百度文库
可视化检索——超级图书(superbook)
24
可视化检索——可视化引擎(NIRVE)
25
可视化DIALOG检索
联想的潜力
6
信息可视化研究的一般概念
信息可视化本质
寻求人机合作一种新的途径
计算机将大量抽象的信息映射到图像上； 人们通过图像的结构,特征等来理解认识从而获得知识。
让计算机与人各显神通
电脑的高速信息处理能力远远超过人脑； 人脑的识辨，理解能力是电脑所不可及的。
7
信息可视化研究——可视化工具
40
国内外检索评价历史
1967年Cuadra和Katter的研究
结论认为相关性判断应随着材料特征的不同而 有所变化，也应随着用户状态(包括需求、态度、 偏见、以及知识储备等)的不妥容而异。 但是它们认为用户的真实需求不可及，用户的 信息需求与文献之间无法建立起直接的方法学上 的联系。
信息可视化研究的一般概念
参考模型
数据
信息
可视化形式
原始数据
原始数据
可视化结构
视图
数据交换
可视化映射
任务
视图变换
人机交互
5
信息可视化研究的一般概念
信息可视化的三大支柱
The power of Perception
感知的功能
The power of Graphics
图形的功力
The power of Associations
38
国内外检索评价历史
1959-1980，以Saracevic发表的关于相关性研究的阶段性综述为标志， 出现了大型实证研究和系列理论研究 实证研究：1957和1962年开始的美国科学基金会(NSF)资助的Aslib Cranfield I和Cranfield II项目。
Cranfield I基于系统观，检索提问根据来源文献题目拟出，相关性 判断由查询者将检索提问与文献号比对完成，不阅读文献
提供一般用户和专家用户的界面选择
采用“脚手架”（scaffolding）技术：向初学者提供 简易界面，向有经验的用户提供高级界面
20
可视化检索
可视化检索技术
格式刷和连接，颜色联动
两个和更多窗口的连接
摇镜头
变换聚焦，变换景深
魔幻镜头
通过点击代表不同的检索对象，实现覆盖对象和未覆 盖对象之间的切换
27
KEPT – Knowledge-Enabled Personalization Tools
RDF-ISO Standards
Web Browser
Knowledge-Enabled Personalization Tool (KEPT)
Topic Map Editor
Drag and drop
信息检索系统还包括其他一些度量指标。
这是由于用户的查询请求本身具有模糊性，检 出的结果不一定是精确答案。需要依照与查询的 相关度，对结果集合的准确度进行评价。
35
信息检索评价的类型
检索性能评价
批处理模式
用户提交提问，并得到检索结果 产生检索结果集合的方法
交互模式
用户通过于系统一系列交互步骤提交信息需求 涉及的因素
焦点变量(focusing variables)用户判断相关性的标准 界限变量(delimiting variables)对试验者施以不同的指导导致的 结果 情景变量(situation variables)环境、时间、反馈等因素的影响 刺激材料变量(stimulus mat variables)文献的文体特征专业性等 个体差异变量(individual diff variables)用户知识水平和技能 量化尺度模式(available mode of quantitive expression)量化 尺度的粗细
33
信息检索评价的概念
在现代的大型数据库条件下，对一个检索 提问响应的相关文献量动辄远远超过用户的 实际需要 用户希望检索结果按照相关程度排序 系统设计人员和图书情报工作者也希望通 过评价不同检索方法的效果，以揭示其区别
34
信息检索评价的类型
系统评价主要包括
功能评价，即评价一个系统是否完成了它所侧 重的目标。 性能评价，主要指标是时间与空间的开销。 （如：对数据检索系统的评价）响应时间越短， 占用的空间越少，系统性能越好
第八讲 检索可视化和检索评价
陆铭
66134922 richard.lu@shu.edu.cn mingler.ccshu.org
内容提要
信息可视化研究
一般概念，在图书馆应用，可视化检索
http://infovis.cs.vt.edu/cs5764/readings.html
检索评价研究
信息检索评价的概念、研究历史、系统评价指 标、用户评价指标、信息检索相关性模型
17
可视化检索
可视化检索的必要性
让用户做到“过目不忘”
只要看过的，就记下 – Keep-It-Button 提供知识系统帮助组织，整理个人信息空间 提供个人空间与其他信息空间的连接
强调“人机合作”
既要“自动化”，又要“个性化”
18
可视化检索
两个有影响的国际研讨会
1995年起，每年10月美国IEEE信息可视化国际 研讨会 1997年起，每年7月英国信息可视化国际研讨会
但问题是
单单检索已经不够！(Search is not Enough!)
16
可视化检索
可视化检索的必要性
检索界面单一，当前的检索系统没有根据不同 的查询，提供有针对性的、相关性可以调整的机 制
界面死板
不能揭示相关文档之间的关系
固有的关系被掩盖
忽略了检索结果选取时的人机交互作用
无交互功能，或交互功能极弱
2
1 信息可视化研究——一般概念
看到什么了？
3
信息可视化研究的一般概念
什么是可视化?
现代可视化技术是指运用计算机图形学和图像 处理技术，将数据转换为图形或图像在屏幕上显 示出来，并进行交互处理的理论、方法和技术
Visualize:
Interactive -- 互动式的 Visual representation – 可视的 Amplify cognition – 提高认知功能的
http://iv.slis.indiana.edu/
8
信息可视化研究的一般概念
Touchgraph工具
9
信息可视化应用研究
信息可视化的应用
数据分析
Visual inspection of data properties Dimensional deduction
海量数据的图形化表示
将多次DIALOG检索结果一次性图形表示
用户从一个简单的检索开始 系统将检索结果做多层次的分析
收集出现频率最高的主题词 分析主题词之间的关系
系统将分析结果图形户化表现在介面上 用户interacts with 主题词图表以达到更好的 检索效果
26
Interactive Query Construction
View Citation Map
31
检索评价
信息检索评价的概念 研究历史 系统评价指标 用户评价指标 信息检索相关性模型
32
信息检索评价的概念
信息检索的基本问题是评价相关性 以二值表述的相关性不能反映文献相关的 程度 一些文献提供的相关信息多一些，而另 外一些提供的相关信息少一些，但不是无关 已经有一些研究按照相关性程度表述但是 仅仅只有几个试验实际利用了不同的相关因 素
Searching/ Browsing Interface
OAI protocol
Information Resources
Search engines
HTTP Server
28
Visual Thesaurus
29
Hyperbolic Tree
30
Highwire: http://www.highwire.org
国际上已经取得的成果
可视化理论模型研究 出现一批原型系统
19
可视化检索
可视化信息检索的设计原则
提供信息反馈
帮助用户掌握检索提问和信息检索之间的关系、命中 文献之间的关系、命中文献和描述该文献的元数据之间 的关系
减少工作记忆负担
允许用户返回临时放弃的检索策略，或者从一个检索 策略跳到另一个检索策略
在电子数字图书馆中的应用
揭示信息的分布 显示检索的结果 为大量的信息分类 帮助用户浏览 提供个性化信息服务
11
信息可视化应用研究
为大量的信息分类
将整个数据库的内容用一个图表示出来 图书情报专业群英图
12
信息可视化应用研究
帮助浏览
13
信息可视化应用研究
揭示信息的分布
Cranfield II将实际检索提问提交给系统，提问者通过阅读检出的文 摘判断相关性 Cranfield 的意义 找到了影响相关性判断的多种因素，为后续得到研究提供了测试数据 首次采用查全率和查准率进行检索系统评估，同时发现两者之间存在 的类反比关系(inverse relationship) 引发了相关性研究的论争，Cranfield的每个方面都收到批评和反驳， 从而导致试验从实验室环境到自然真实的用户环境的转移
Hierarchical Generator
Co-occurrence Mapping
Knowledge Repository
Relational Database Thesauri Ontologies
Topic maps …….
XML Schema XML XSLT
XML Application Server
用户因素 界面性能 系统的导引性能 过程的时间
36
检索评测基础
检索评测基础: 建立在测试参考集和一 定的评价测度基础之上。
测试集由一个文档集、一组信息查询实例、对 应于每个信息查询实例的一组相关文档（由专家 提供）所组成。
检索策略的评价
对一个给定检索策略S，对每个信息查询实例， 评测由S检出的结果集合与由专家提供的相关文 档集之间的相似性，量化这一指标。
14
信息可视化应用研究
显示检索的结果
数据库
用户界面
多媒体 检索
数字图书馆
图书馆
网络
15
可视化检索
可视化检索的必要性
每个人的个人“信息空间”都在飞快地膨胀 个人信息空间现在是“搜索引擎战”的前沿阵 地
Google, Yahoo!, Microsoft 都提供免费的Desktop Search Solutions
37
国内外检索评价历史
20世纪30年代，美国Bradford首先使用文献的主题相关概念 (documents relevant to a subject) 20世纪50年代，美国Taube,Mooers,Perry和Luhn等首先实现了基于 集合论和布尔代数的信息检索系统。当时对于相关性的假设是，检出 的结果就是相关的，没有检出的就是不相关的。 稍后的相关性研究集中于非相关(non-relevance)。Taube等认为相 关性主要受系统内在特征与操作影响，影响因素包括分类表、索引、 词汇的语义以及语法描述、文献组织以及检索提问的分析与检索策略 等。此时的问题是没有注意文献选择过程，即没有考虑人的因素。 (系统观) 1958年科学信息国际会议(ICSI)开始相关性研究中考虑了人的因素。 Vickery在会议上提出将相关性分为主题相关和用户相关两类。主题 相关性定义为描述检索问题的主题词和描述文献的主题词之间的匹配 关系(系统观)，用户相关性定义为用户检索相关信息的愿意程度(用 户观)
39
国内外检索评价历史
1967年Cuadra和Katter的研究 将相关性分为两类：一是用户兴趣主题与文献之间的关 系，另一是系统输出和用户信息需求之间的关系 研究设计阶段列出五类38种可能影响相关判断的因素： 文献类型(含主题和难易程度)、信息需求的陈述、判断者 的经验背景和态度、判断条件(时间压力输出顺序文献量 等)、表达方式 研究结论认为，影响相关判断有6个因素(变量)：
Clustering and grouping Discovery of hidden internal structures
实现与数据的可视化交互
interactive online searching browse large amount of information
10
信息可视化应用研究
21
可视化检索
检索可视化模型
信息晶体(infoscrystal) 超级图书(superbook) 信息可视化引擎(NIRVE)
22
可视化检索——信息晶体(infocrystal)
23百度文库
可视化检索——超级图书(superbook)
24
可视化检索——可视化引擎(NIRVE)
25
可视化DIALOG检索
联想的潜力
6
信息可视化研究的一般概念
信息可视化本质
寻求人机合作一种新的途径
计算机将大量抽象的信息映射到图像上； 人们通过图像的结构,特征等来理解认识从而获得知识。
让计算机与人各显神通
电脑的高速信息处理能力远远超过人脑； 人脑的识辨，理解能力是电脑所不可及的。
7
信息可视化研究——可视化工具
40
国内外检索评价历史
1967年Cuadra和Katter的研究
结论认为相关性判断应随着材料特征的不同而 有所变化，也应随着用户状态(包括需求、态度、 偏见、以及知识储备等)的不妥容而异。 但是它们认为用户的真实需求不可及，用户的 信息需求与文献之间无法建立起直接的方法学上 的联系。