数字资源访问管理系统

系统功能与应用实践 违规检查模块
▲ 检查给定时间段内用户所使用的IP地址与所 检测的资源站点之间的通讯，统计某用户对某 数据库资源的访问情况并实时判断是否违规
▲ 针对不同电子资源站点所包含的不同文件类 型，设置不同的违规规则 ▲ 每种规则定义3种违规程度，对应设置由轻 到重的控制措施。
系统功能与应用实践 违规检查模块
用户使用行为统计
用户帐号、操作类型（检索、浏览、下载）、开始时间、结 束时间、用户IP、数据库名称（查看原始访问记录）
需求分析与技术思路
电子资源平台、数据库、 学科分类、电子期刊、电子图书 统计报告—基于国际上的Counter标准 按用户类型、用户使用行为统计
需求分析与技术思路
数据采集 数据分析服 务器 数据分析服 务器 管理服务器 数据采集 数据采集 校园网出口 网关 校园网 校园网出口 网关 校园网出口 网关
系统功能与应用实践
《图书情报工作》2010年54卷第1期发表文章 【电子资源访问管理与控制系统的设计应用】 作者：邹荣、张成昱、姜爱蓉、陈武、安长青
系统功能与应用实践
▲下一步有待升级完善
URL特征字符串解析统计方式→统计不够 全面 人工方式配置资源，不能及时监测数据库 更改 对学校授权用户使用资源和访问行为的全 面统计和分析
图书名称、电子资源平台、数据库名称 、图书种类（中文/英文）
学科分类、ISBN、开始日期、结束日期
、检索次数、浏览次数、下载次数
需求分析与技术思路
用户分组统计与使用行为分析
分组用户使用数据库统计
按用户学号、工作证号院系、年级、类型（本科，硕士，博士，教师…）划分，对 用户分组； 用户分组（一组或多组）、开始日期、结束日期、数据库名称、检索次数、浏览次 数、下载次数
---------------------------------------------------------------------------------------------------------------------------------------
● 电子资源利用
人工从提供商获取数据 每年从120多个平台按文献类型进行使用统计（不完全）
年份 2005 2006 2007 2008 2009 2010 2011 2012 预警次数 490 6236 12500 10478 4030 1209 5076 9509
系统功能与应用实践
系统主要功能模块包括：
资源配置
增加、删除、修改电子资源数 据库；通过资源站点的IP或IP 段精确定位
违规检查
---------------------------------------------------------------------------------------------------------------------------------------
● 图书馆纸本图书利用
基于图书馆集成管理系统 图书借还总量、各分馆借还书数量，各院系、各类 型读者借还书统计和分析。
如何实时预警和阻断违规使用行为？
获得校园网出口交换机授权，通过交换机发送预警信息包。
系统功能与应用实践
清华图书馆2005年开始建立“电子资源访问管理 与控制系统”，主要解决读者在电子资源过程中违 规使用问题，实现对电子资源过量下载的即时自动 检测和预警。 运行8年以来，有效保障了广大读者正常使用电子 资源的权益，避免了因个别人违规使用殃及整体。 着重对较为敏感的国外数据库进行检测，逐年增加 至2013年为40多个。历年累计发送警告次数如下：
需求分析与技术思路
资源使用统计
期刊名称、电子资源平台、数据库名 称、期刊种类（中文/英文） 学科分类、ISSN、开始日期、结束日 期、检索次数、浏览次数、下载次数 例如检索和下载排
名为前100名文献列
表或用户列表
数据库 使用 统计
电子期 刊使用 统计
电子图 书使用 统计
文献 使用 统计
数据库名称、电子资源平台、数据 库种类（中文/英文、全文/文摘） 学科分类、开始日期、结束日期、 检索次数、浏览次数、下载次数
① 记录并查询用户的每次请求
系统功能与应用实践 日志分析模块
②记录某个时间某个IP用户的违规行为和对应的
处理手段
系统功能与应用实践 日志分析模块
③按照时间、资源站点、用户IP、用户名或用户 证件号等条件查询违规与处理记录，并且根据 违规与处理记录追踪到具体用户。 ④根据系统日志，可统计：
访问某个数据库的违规情况 某个用户IP违规情况 某个数据库下载情况
数字资源访问管理系统 需求分析与应用实践
姜爱蓉 清华大学图书馆
2013年11月19日
大纲

现代图书馆环境与利用分析


需求分析与技术思路
系统功能与应用实践 结语
2
现代图书馆环境与利用分析
● 图书馆空间利用
基于通道机系统 进出图书馆总量、进出各馆舍数量、各院系、各类 型读者进出图书馆统计和分析。
电子资源日益成为图书馆提供资源和服务的主体，统计方法和途径不匹配
现代图书馆环境与利用分析
在大规模电子资源使用环境中迫切需要实现：
● 使用量统计
__ 完整、及时、准确、一致 **
● 读者行为规范
__ 违规判定、自动预警、规范使用**
● 读者行为分析
__ 身份、院系、来源、规律、趋势 **
全面了解读者利用图书馆的行为和效果，更好地满 足读者的资源需求，更有针对性地提供服务。
检测给定时间段内用户的IP 地址与所定位的资源站点之 间的通讯并进行违规 判断
控制手段
推送用户违规及处罚信息
日志分析
记录并查询用户的每次请求； 记录检测到的用户违规行为
冻结用户网络访问权限
系统功能与应用实践 资源配置模块
▲ 增加、删除、修改电子资源数据库
系统功能与应用实践 资源配置模块
▲ 通过资源站点的IP或IP段精确定位
▲判定违规的5个规则：
●发包品率限制 ●收包频率限制 ●出流量限制 ●入流量限制 ●下载频率限制（全文）
每种规则定义3种违规程度
系统功能与应用实践 违规检查模块
▲ 各个规则的控制参数依据用户使用统计确定 例如：
▲下载频率控制参数确定—— 从URL上提取资源站点全文独有特征
系统功能与应用实践 控制手段模块
千兆交换机 万兆交换机Βιβλιοθήκη Baidu
万兆交换机 千兆交换机 万兆交换机 千兆交换机
教育网
图书馆资源
系统结构图
需求分析与技术思路
关键技术分析： 如何高效采集用于资源使用统计和分析数据流量？
单向/双向流量旁路采集—分拣流量中有效数据用于解析
如何实时准确地解析出用户检索和下载的行为？
单向数据镜像—针对URL特征字符串进行统计 双向流量还原技术—还原用户访问资源库行为，包括检索、 浏览A&I，全文下载等
▲启动二期建设（方案测试、评估中）
结语
数据采集：数据库IP界定的即时性 **
数据解析：页面分析的精确度
可持续发展：自主开发 or 商业采购
THANKS... 谢谢！请指正.
jiangar@lib.tsinghua.edu.cn
需求分析与技术思路
主要功能需求： 与学校身份认证系统对接，获取授权用户信息； 实时检测资源使用情况，对违规行为预警和规范； 资源层面的使用统计和用户层面的使用行为分析； 电子资源多层级的灵活配置与规范管理；
根据用户分级实现不同权限的分组查询与管理
界面友好、配置方便；支持HA架构、高可用
▲ 对应违规情节轻重的3种控制措施：
① 冻结用户对某个数据库的访问权限 ② 冻结用户对校外网络的访问权限 ③ 冻结用户的网络帐号
▲ 对于偶然违规和多次违规给予不同处理。
系统功能与应用实践 控制手段模块
▲ 通过“提醒页面”告知用户所采取的控制措施，
以便用户了解并规范自己的访问行为
系统功能与应用实践 日志分析模块