话题检测与跟踪技术的发展与研究.
话题检测与跟踪的评测及研究综述
１ ９ 年 前 瞻 性 的 探 索 以 来 ， 领 域 进 行 的 多 次 大 规 模 评 测 为 信 息识 别 、 集 和 组 织 等 相 关 技 术 提 供 了新 的 测 试 平 ９６ 该 采 台 。 由 于话 题 检 测 与 跟 踪 相 对 于信 息检 索 、 息挖 掘 和 信 息 抽 取 等 自然 语 言 处理 技 术 具 备 很 多共 性 ， 面 向 具 备 信 并
关 键 词 ：计 算 机 应 用 ； 中文 信 息 处理 ； 述 ；话 题 检 测 与 跟 踪 ； 综 自然语 言 处 理 ； 事件 ； 闻报 道 新
中 圈 分 类 号 ：ＴＰ３ ｌ ９ 文 献 标 识 码 ：Ａ
Ｔｏ ｃ Ｄ ｅ ｅ ｔｏ ｎ ａ ｋｉ ｇ Ｒｅ ｉ ｗ ｐｉ ｔ ｃ ｉ ｎ ａ ｄ Ｔｒ ｃ ｎ ｖ ｅ
Ｈａ ｂｎＩ ｓｉｕ ｅｏ ｃ ｎ ｌｇ ，Ｈ ａｂｎ， ｉ ｎ ｊ ｎ ５ ０ １，Ｃｈｎ ） ｒ ｉ ｎ ｔｔ ｔ ｆＴｅ ｈ ｏｏ ｙ ｒ ｉ Ｈｅｌ ｇｉ ｇ １ ０ ０ ｏ ａ ｉａ
Ａｂ ｔａ ｔ ｓ ｒ ｃ ：Ｔ ｏ ｃ ｄｅ ｅ ｔｏ ａ ｒ ｋｉ ｐｉ ｔ ｃ ｉｎ ｎｄ ｔａｃ ｎｇ， ａ ｏ ｏ ｎ ｕ ａ ｌ ｇｕ ｅ ｓ ｎｅ ｆ ａｔ ｒ ｌ ａｎ ａｇ ｐｒ ｃ ｓ ｉ ｅ ｈｎｏ ｏ ｅ ｏ ｅ ｓｎｇ ｔ ｃ ｌ ｇｉｓ， ｉ ｔ ｄｅ ｅ ｔｕｎｋｎ ｓ ｏ ｔ ｃ ｏｗｎ ｔ ｐｉ ｎｄ ｔａ ｋ ｋｎ ｏ ｃ ａ ｒ ｃ ｏｗｎ ｔ ｃ ｆｏｍ ｈｅ ｎｆ ｍ ａ ｉ ｆ ｎ ｗ ｓ ｍ ｅ ｕｍ ． Ｓｉ ｅ ｉｓ ｉｏｔｒ ｓ ａｒ ｈ ｉ ９９ ｏｐｉ ｒ ｔ ｉ ｏｒ ｔｏｎ ｏ ｅ ｄｉ ｎｃ ｔ ｐ ｌ ｅ ｅ ｃ ｎ １ ６， ｓ ｖｅ ａ ａ ｇｅ ｅ ｒ ｌｌ ｒ － ｓ ａｌ ｖ ｌ ａｔｏ ｏ ｅ ｅ ｅ ｖｅ ｐｒ ｖｉ ｄ ａ ｇｏ ｖｉｏｎｍ ｅ ｔ ｆ ｒ ｅ ａ ｕ ｉｇ ｅ ｈｎｏ ｏ ｅ ｆ ｒ ｃ ｇｎｉｉ ｃ ｅ ｅ ａ ｕ ｉｎ ｃ ｎｆ ｒ ｎｃ ｓｈａ ｏ ｄｅ ｏｄ ｅｎ ｒ ｎ ｏ ｖ ｌ ａｔｎ ｔ ｃ ｌ ｇｉｓ ｏ ｅ ｏ ｔｏｎ，ｃ ｌｅｃｉ ｎ ｏ ｌ ｔｏ
互联网跟踪与发现探析
类型 通 信 网络服务名称 即时通信 电子邮件 搜 索引擎 网络新 闻
兴
，＇ 、 、
新闻网站也可 以成为侦查 员获取情报信 息的来源 。像一些
比较大型 的门户网站都提供 了新 闻评论 的功能 ，例如搜狐
新 闻中心 、网易新闻 、新 浪新 闻板 等。在这 些新 闻网站 中，实名用户可 以对新闻热点进行评论 ，而侦察人员则可 以通过评 论跟 踪到该评论 者的注册信 息 ，发 表的其 它评 论、文章 以及个人信息 ，从 中可 以了解到其 关注倾向和兴
有所 映射 ，可 以通过 实体 信息挖掘 技术 与社 会 网络分 析
了解犯 罪嫌疑人 的 网络 行为 ，挖掘 嫌疑人 的虚拟社 团结
１ 由于跟踪 工作的特殊需 要使 程序具有 隐蔽 性 ，需 ． 采 用Ｒ ｏ ｉ ｏ ｋｔ 技术 以及远程线程注射技术。 ２ 服务器端程序 具有恶意代码特 征 ，容易被安全 软 ． 件识 别 、查 杀 ，因此需要 采用加壳技术 、特征码修 改技
个 圈子 中的人 会 是一 个 团伙 。在打 击 网络 犯 罪 的过 程
本 ，是信息搜索引擎 的重要组成部分。通过网络爬 虫可 以 遍历Ｗｅ 获取页面中的信息。通过使用网络爬虫 ，我们可 ｂ
以使用计算机从互联 网中自动搜索 、筛选主题 ，从而实现
网页信息 自动发现 的 目的。在主题搜索中的主要资源获取
部分可以叫做主题爬虫程序 ，负责获取 与主题相关的网页
信息与特征向量 ，例如页面 中的＜ｉ ＞ ｈ ｔｌ 、＜ ＞、＜ ＞ ｔ ｅ ｐ 等标
１话 题报道建模 ：要报 道某个话题与话题 之间的关 系 ，可 以建立 语言 模 型 、向量 空 间模 型 、中心 向量 模
面向微博网络舆情的热门话题检测系统框架研究
163数据库技术Database Technology电子技术与软件工程Electronic Technology & Software Engineering通过微博平台，用户可以公开性地发表原创内容，并实现转发、点赞、评论、搜索等功能，使得公众可以在微博平台自由反映自身观点，提高信息传播速度同时，也容易出现诸如不良信息、谣言等不当言论等现象，如果不及时管理会形成负面网络舆情[1]。
微博的发展十分迅速，逐渐成为在网络舆情监控的主要平台，针对微博网络舆情开展热门话题的发现、演化和跟踪的相关技术的研究，对互联网舆情监管具有十分重要的意义[2]。
1 研究现状网络舆情热点话题是指公众在一定时期，一定范围内最关注的热点问题[3]。
通过数据采集、数据处理和热点话题识别三步实现热点话题检测，其中数据采集阶段主要是利用网络爬虫技术来采集微博数据，数据处理阶段利用各种信息处理技术对所采集到的各种信息进行加工和操作，在热门话题识别阶段通过增量文本聚类将输入信息分类到不同的主题中[3]。
路荣发利用K-means 聚类方法聚类速度快的优点实现第一层聚类，然后再针对第一层聚类的结果设定阈值参数，使用层次聚类结果满足阈值[4]。
李劲等学者提出基于特定领域的中文微博热点话题挖掘系统 BTopicMiner [5]。
张静基于微博网络热点相似度和测度方法以及基于传播路径和用户行为的中心化方法，构建了面向微博内容的网络热点发现平台[6]。
邓一贵、马雯雯等基于隐含语义分析构建了两阶段聚类话题发现方法[7]。
基于Single-Pass 聚类算法王宏勇设计了热点舆情自动发现系统的方案[8]。
陈兴蜀等利用潜在狄利克雷分配(LDA)模型将文本由词汇空间降维到主题空间，然后采用聚类算法在主题空间对文本集进行聚类，并利用文中提出的热点话题检测方法得出热点话题[2]。
王琳炜通过爬取微博数据，利用Word2vec 向量模型和 TF-IDF 权值算法得到热点网民微博词云图中的词类、词性占比和词汇相似比等指标，然后对各种指标进行汇总分析[10]。
基于PDCA循环和文本挖掘的网络舆情监管方法
基于PDCA循环和文本挖掘的网络舆情监管方法【摘要】为了完善网络舆情信息的监管机制，使网络舆情能够被有效的梳理和监管，提出了基于PDCA循环和文本挖掘相结合的网络舆情信息监管方法。
该方法采用PDCA的计划、执行、检查、改进四个步骤来梳理网络舆情信息监管流程，而在执行阶段则融入文本挖掘方法实现智能决策分析。
本文首先分析了目前网络舆情管理的现状，其次给出了基于PDCA循环和文本挖掘的监管方法的实施方案，其中重点阐述了信息获取、热点网络舆情发现、情感倾向性分析等文本挖掘方法在其中的应用。
【关键词】网络舆情;PDCA循环;文本挖掘1.引言互联网已经渗透到我们日常生活的方方面面，据统计截至2013年6月底，我国网民规模达5.91亿。
同时，Web2.0技术（如微博、博客、论坛等）的发展为民众参与政治讨论搭建了全新环境，扩展了民众参与政治的方式方法，目前越来越多的民众选择选择通过网络来发表自己关于某个事件的观点、看法、意见、情绪等，形成网络舆情信息。
它是民众对某个特定事件的集体反映，如果不能很好地梳理和引导，有可能导致更为严重的后果。
所以，目前关于网络舆情信息疏导和监管的研究越来越受到科研工作者、政府部门工作人员的重视。
对网络舆情的监管能力已经成为当前政府部门执政能力强弱的考核指标。
目前对网络舆情信息监管的研究主要有以下两种思路：社会科学领域的研究者们比较关心网络舆情信息的定义及范畴、引导机制、预防措施等理论的研究;而工程技术领域的研究者们主要关心如何挖掘网络舆情信息中的有用信息，比如利用话题检测与跟踪技术及时地发现相关于某个特定事件的网络舆情信息、通过情感分析技术挖掘网络舆情信息中包含的民众情感、通过可视化技术对各种分析结果可视化等等。
但是，无论从社会科学领域还是工程技术领域来看，国内目前对网络舆情信息的研究都还处于起步阶段，从近年来政府部门应对突发事件网络舆情的情况来看，我国的舆情监管还不够规范，存在着一些问题和不足。
面向自动驾驶的车辆目标检测与跟踪研究
面向自动驾驶的车辆目标检测与跟踪研究随着互联网和人工智能技术的迅猛发展，自动驾驶技术正逐渐成为汽车行业的热门话题。
在实现安全高效的自动驾驶系统中，车辆目标检测与跟踪是至关重要的一项研究内容。
本文将探讨面向自动驾驶的车辆目标检测与跟踪的研究方法和技术发展。
车辆目标检测是指通过使用传感器和图像处理技术，识别和定位出图像或视频中的车辆目标。
在自动驾驶领域中，准确地检测出车辆的位置、大小和形状对于车辆感知和规划模块非常关键。
目前，常用的车辆目标检测方法主要包括基于传统特征的方法和基于深度学习的方法。
基于传统特征的方法主要利用一些预定义的特征和机器学习算法来检测车辆目标。
例如，Haar特征、HOG特征和SIFT特征等都是经典的图像特征。
这些特征被用于训练分类器，如支持向量机（SVM）和随机森林等，来实现目标检测。
然而，这些方法在复杂场景下容易受到光照变化、视角变化和遮挡等问题的影响，检测准确率有限。
相比之下，基于深度学习的方法则引入了卷积神经网络（CNN），它通过学习图像的特征表示来实现目标检测。
在自动驾驶领域，深度学习方法已经取得了巨大的突破。
典型的深度学习模型如Faster R-CNN、YOLO和SSD等已经成为了常用的车辆目标检测算法。
这些模型能够实现实时检测和较高的准确率，但也存在一定的计算复杂度，需要更高的硬件配置。
除了目标检测，车辆目标跟踪也是自动驾驶领域的重要研究内容。
车辆目标跟踪旨在实时追踪车辆目标的位置和运动轨迹，以便更好地感知周围环境和进行行驶决策。
常见的车辆目标跟踪方法包括基于卡尔曼滤波器、粒子滤波器和多目标追踪等算法。
在自动驾驶系统中，车辆目标检测与跟踪的准确性和实时性是关键指标。
为了达到更好的检测和跟踪效果，研究者们将目光投向了多传感器融合和强化学习等前沿技术。
多传感器融合可以将多个传感器（如摄像头、激光雷达和雷达）提供的信息综合起来，提高目标检测和跟踪的准确性和鲁棒性。
强化学习则可以通过不断的试错和优化，使自动驾驶系统获得更高的操控能力和智能性。
话题识别与跟踪方法的研究
话题识别与跟踪方法的研究【摘要】话题识别与跟踪旨在实现对新闻媒体信息流中新话题的自动检测以及对已知话题的动态跟踪。
本文首先介绍话题识别与跟踪的基本概念、研究任务和相似度计算方法，然后对话题跟踪的方法进行详细论述。
【关键词】话题检测；话题跟踪；文本分类0.引言随着信息技术的飞速发展，互联网变得越来越普及，这就造成了网络信息的急剧膨胀，如何在浩瀚的信息海洋中获取自己所需信息成为困扰人类的新问题。
话题识别与跟踪（Topic Detection an Tracking,TDT）技术就是在这种情况下产生的。
TDT是一种新的信息处理技术，它将新闻信息流以主题为单位进行组织，实现对新闻流中新话题或新事件的自动检测以及对已知话题的后续报道的追踪。
从1996年TDT概念的提出，1997年自马萨诸塞大学、卡内基一梅隆大学和Dragon System公司的学者和研究人员对这项技术进行了初步研究[1]，到2007年TDT共举行过七次公开的TDT任务评测，取得了很好的效果，渐渐使得TDT 成为研究的热点。
1.TDT的相关技术1.1基本概念话题（Topic）是指由某些原因、条件引起，发生在特定时间、地点，并可能伴随某些必然结果的一个事件[2]。
主题（Subject）是与话题相应的一个概念，它的含义更广些。
话题与某个具体事件相关，而主题可以涵盖多个类似的具体事件或者根本不涉及任何具体事件。
报道（Story）是指一个与话题紧密相关的、包含两个或多个独立陈述某个事件的子句的新闻片段。
1.2研究任务美国国家标准技术研究院（NIST）为TDT研究设立了五项基础性研究任务：报道切分任务（SST）：将原始数据流切分成具有完整结构和统一主题的报道。
话题跟踪任务（TT）：跟踪已知话题的后续报道。
话题检测任务（TD）：检测和组织系统预先未知的话题，TD的特点在于系统欠缺话题的先验知识。
首次报道检测任务（FSD）：从具有时间顺序的报道流中自动锁定未知话题出现的第一篇相关报道。
跨媒体-国内外研究现状
国内外研究现状一、互联网发展趋势互联网网络核心技术产生于上世纪60年代末，而互联网大规模应用始自上世纪90年代中期，经过十多年的快速发展和普及，互联网已经成为技术发展的重要推动力、经济发展的重要引擎、社会运行与管理的重要基础设施和国际竞争的重要领域，深刻影响着世界政治、经济、文化和社会的发展。
对于互联网，在规模、技术、内容、安全和应用等方面呈现出新的发展趋势，更大的发展和影响在于未来【01】。
首先在规模上，互联网的网络规模已经覆盖几乎所有国家和地区，今后将进一步向陆地、海洋和太空延伸；其次，用户规模巨大，目前全球互联网用户总量已经达到17亿左右，据美国国家科学基金会(National Science Foundation)预测，2020年前全球互联网用户将增加到50亿，达到全球的总人口数67亿的75%；设备终端数目以百亿计，移动与便携设备将是未来的主流；互联网上的数据是海量的，其规模达到将达到EB甚至ZB级【01】。
其次在技术上，特别是在未来50年，将催生新一代的互联网技术【02】【03】；在数据传输与网络技术方面，新出现新的互联网络体系结构【03】，超高速有限和无线通信技术【05】，物联网技术等【04】；在数据处理方面，在现有网格计算【06】、云计算【06】的基础上，将诞生新一代的海量数据与分布式处理技术【07】；在信息处理方面，在现有搜索引擎的基础上，将产生语义[08]和智能搜索引擎【09】。
在内容上，除了内容的海量特征外，内容的呈现格式多种多样，有文本、语音、图像和视频等多种异于传统的非结构数据存在；在内容的表示上，目前主要是基于文字的原始信息表示，缺乏统一的信息表示模型，缺乏以知识模型为基础的语义表示。
在安全上，首先是用户行为无法有效全面监控；其次，内容的真实可信无法保障，有害垃圾信息缺乏有效监控和过滤，个人隐私信息无法进行有效保护。
在应用方面，目前互联网络有影响的应用主要体现在以下几方面，一是信息的发布与传播上，如网站、论坛、博客、微博、社区等；二是电子商务应用上，三是电子政务应用上，四是一些基于互联网络的专有应用。
基于本体的话题检测与跟踪技术
下位关系和部分关系等 。从 Ｗｏ Ｎ ｔ ｒ ｅ的这些特点 ｄ
可 以看 出 ， ｒＮ ｔ Ｗｏｄ ｅ 与本 体 非 常 相 似 。Ｔ Ｔ是 针 对 Ｄ 自然 语 言报 道 而进行 的研 究 ， 文 本 的相 似 性 检 测 在
有提高对报道相似性判断的准确性 ， 才能有效地检
测 和跟 综后续 的话 题 。本 文研究 的重 点 即是通过 引
结 构 中不 同的 、 重要 的概 念赋 以不 同的权 重 ， 改进 了
Ｔ Ｉ Ｆ技术 中 出现 次数 相 同的词有 相 同 的权重 的 Ｆ— Ｄ
判。大部分针对关联性检测的研究都将问题的重心 集 中于 文本 描述 以及特 征选 择 。Ｊｍ ｓＡｌｎ】是最 ａ ｅ ｌ ａ
早 使用 自然 语 言处 理 技 术 （ Ｌ ） 决 ห้องสมุดไป่ตู้ Ｔ问题 的 ＮＰ 解 Ｄ
第２ ７卷
第２ ２期
甘肃 ａ ｃ Ｇａ ｓ ｃｅ ｃ ｎ技 ｈ ｏ ｎ ｕ Ｓ ｉ ｎ ｅ 科ｄ Ｔｅ ｎ １
． ７ ，０ ２ ２ ｖ． ２
Ｎｏ ． ２ １ ｖ ０ｌ
２ １ 年 １ 月 ０１ １
基 于本 体 的话题 检 测 与跟 踪 技术
刘 炜 ， 明 ， 李 杨合立
入本体 ， 提高对报道文本特征的概念相似度 的计算，
准 确判 断话题 的相关性 。
方面， 对于地理名词的相似性， 可以通过地理本体来
扩 展其语 义 特 征 。对 于 报 道 中 的名 实 体 和行 为 概
关联性检测的主要任务是检测随机选择的两篇 报道是否论述 同一话题。传统基于概率统计 的 Ｔ Ｔ Ｄ
相似 性 的方 法 ， 以解决 Ｔ Ｔ中的关 联性检 测 问题 。 Ｄ Ｗｏｄ ｅ是 Ｐｉ ｅ ｎ大学 的一组 心理 词汇 学 家 ｒＮ ｔ ｒ ｃｔ ｎ ｏ
ChatGPT技术中的主题检测与话题追踪
ChatGPT技术中的主题检测与话题追踪ChatGPT是一种基于人工智能技术的语言模型，它可以生成自然语言的文本回复，用于模拟人类对话。
然而，在实际应用中，如何确保ChatGPT的回复与用户的主题保持一致，成为了一个重要的问题。
为了解决这个问题，研究人员提出了主题检测与话题追踪的方法。
主题检测是指在对话中判断当前的主题是什么。
在ChatGPT中，主题检测可以通过分析用户的问题或者对话的上下文来实现。
例如，在一个医疗咨询的对话中，如果用户提问关于感冒的症状和治疗方法，ChatGPT可以通过识别关键词“感冒”、“症状”和“治疗方法”来判断当前的主题是关于感冒的。
这样，ChatGPT就可以根据主题提供相关的回答，增加对话的连贯性和准确性。
话题追踪是指在对话中跟踪主题的变化。
在实际对话中，主题往往是多变的，用户可能会在不同的回合中提及不同的主题。
为了确保ChatGPT能够准确理解和回应用户的问题，话题追踪变得至关重要。
一种常见的话题追踪方法是使用上下文信息来判断当前的主题是否与之前的主题相关。
如果当前的主题与之前的主题有关联，ChatGPT可以利用之前的回答和上下文信息来生成更加准确的回复。
如果当前的主题与之前的主题无关，ChatGPT可以通过重新分析用户的问题和上下文来判断当前的主题，并生成相应的回答。
为了实现主题检测和话题追踪，研究人员提出了不同的方法和技术。
其中一种常用的方法是使用机器学习算法来训练一个主题分类器。
这个分类器可以通过对已有对话数据进行训练，学习到不同主题的特征和模式。
然后，当ChatGPT接收到用户的问题时，可以使用主题分类器来判断当前的主题，并根据主题提供相应的回答。
另外，还可以使用一些基于规则的方法来进行主题检测和话题追踪。
这些规则可以根据不同的应用场景和对话特点来设计，例如通过关键词匹配、句法分析等方式来判断主题。
除了主题检测和话题追踪，还有一些其他的技术可以用于提升ChatGPT的性能和效果。
北京理工大学计算机系研究生导师简介及课题
樊秀梅
副教授 电话13021961698
宋晔 主要研究网络信息处理与信息安全技术、 分布式数据库技术、中间件技术。
1 国家外汇管理平台体系研究
1.研究方向：计算机应用技 术 2.专业特长：网络信息处理 与信息安全、分布式数据库 、数据挖掘、中间件技术。 3.联系方式： 手机13021284280 小灵通83751305 邮箱songye6666@ 郭平,教授,博士生导 师.IEEE 高级会员(senior member)。国家自然科学基 金委员会第11,12届信息科 学部学科专家评审组成员、 《计算机辅助设计与图形学 学报》编委,江苏省智能卡 工程中心技术委员会委员、 中国计算机学会容错计算专 68940964
基于Affinity Propagation 算法的 软件复杂性度量分析
研究软件复杂性度量的特性，研究一种新的 聚类分析算法，并将该算法应用到复杂性度 量分析。 “计算机 科学”国 家重点实 验室开放 课题
郭平
4 软件可靠性模型研究
研究软件可靠性模型，利用模型对软件的可 靠性进行评估
课题 软件质量预测研究 对软件进行静态测试，获取软件的度量数 据，利用所获取的数据对软件质量预测。 办公地点：计算中心410
手机：13910614055 邮件： guoguisuo@
手机：133666296896 办公：68913292
贾云得，教授，博导。现任 校位委员会委员、学院常务 副院长；兼任中国计算机学 会理事、中国图像图形学会 常务理事、中国人工智能学 会理事；任《Int J of Humanoid Robot》、《计算 机辅助设计与图形学学报》 、《中国图象图形学报》、 《北京理工大学学报》编委 。近5年来，作为项目负责 联系方式：13601255999 副教授，研究二级学科：计 算机系统结构，目前主要研 究领域：嵌入式片上系统， 电话13520785629 邮箱bs.jiang@ 李冬妮，女，工学博士，副 教授。1996年8月年考入东 北大学实验班；2000年8月 联系方式：ldn@ 13522476168 1998年在华中科技大学电子 与信息工程系获学士学位。 1998-2001年在华中科技大 学电信系担任教师。2001年 7月获美国全额奖学金赴美 联系方式：fli@ 李侃,博士,副教授： 研究方向：人工智能、计算 机网络
话题跟踪方法的研究
互联 网的飞速发展和广泛应用 ， 使得信息采集 、 传播 的速度和规模达到很高 的水平 。这虽然实现 了 信 息 的 全 球 共 享 与交 互 ， 也 造 成 了 网 络信 息 的 急 但
新 闻数据 流 中话题的技术 口 ９７ ， ９ 年 马萨诸塞 大 。１ 学 、 内基一 卡 梅隆大学和 Ｄ ａｏ ｙｔ ｒ ｎ Ｓ ｓ ｍ公 司的学 者 ｇ ｅ 和研 究人 员对这 项技 术 进行 了初 步研 究 。从 １９ 年 ９８ 开始 ， Ａ Ｐ Ｄ Ｒ Ａ以及后来 的美国国家标准技术研究所 （ ＩＴ 资助并主持了 Ｔ Ｔ ＮＳ） Ｄ 系列测评会议 ， 并取得了 很好的效果 ， 渐渐使得 Ｔ Ｔ Ｄ 成为研究的热点。
１ ． 牡丹江师范学院 计算机科学与技术系 ， 黑龙江 牡丹江 １７ ０ ５ １ １ ２ ． 长春理工大学 计算机科学技术学院， 长春 １０２ ０２ ３ １ ｐ ｒ ｎ ｆ ｏ ｕｅ ｃｅ ｃ ｎ ｅｈ ｏｏ ｙ Ｍｕ ａｊ ｎ ｒ ｌ ｉｅｓ ｙ Ｍｕ ａｊ ｎ ， ｅｌｎ ｊａ ｇ ． ａｔ ｔ ｍｐ ｔｒＳ ｉｎ ｅａ ｄＴ ｃ ｎ ｌｇ ， ｄ ｎｉ ｇＮｏｍａ Ｕｎｖ ｒｉ ， ｄ ｎｉ ｇ Ｈ ｉ ｇｉｎ Ｄｅ ｍｅ ｏ Ｃ ａ ｔ ａ ｏ
Ｋｅ ｒ ｓ ｔｐｃｄｔｃｉ ；ｏ ｉ ｔ ｃ ｉｇ ｖ ｃ ｒ ｐ ｃ ｄ ｌＫ ＮｅｒｓＮｅ ｈ ｏ（ Ｎ ｙｗｏ ｄ ：ｏ ｉ ｅｅｔ ｎ ｔｐｃ ａｋｎ ； ｅｔ ａｅ ｏ ｒ ｏｓ ｍｏ ｅ； － ａｅｔ ｉ ｂ ｒＫ Ｎ） ｇ
高校网络舆情监测关键技术研究
高校网络舆情监测关键技术研究作者：吴晓倩陈诚来源：《电脑知识与技术》2013年第16期摘要：该文对高校BBS网络舆情的形成、传播特点和热点分析的方法进行探讨，以高校网络舆情监控机制的需求为出发点，从网络爬虫、文本挖掘、情感分析等技术入手，深入研究聚集爬虫、信息处理、文本聚类等方面的技术实现方案，用统计的方法来计算舆情主题被关注的程度。
关键词：高校BBS；网络舆情；监测；热点分析中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2013）16-3688-041 概述随着互联网的普及和高校信息化的建设，各大高校都拥有自己的BBS网络，学生在网络上进行交流，发表自己的观点和意见，表达思想等，舆情的影响和规律都不容忽视。
然而，对敏感和突发事件的不实言论和恶意煽动，会误导和欺骗学生，扩大学生的不满情绪，影响和破坏校园的和谐稳定。
因此，有必要对高校BBS网络涉及意识形态安全的议题和言论进行有效地监管。
采用数据挖掘技术，对互联网舆情进行分析、整理，才能建立起全面、有效、快速的舆情监测预警机制，使高校网络得以健康、快速的发展，成为当前研究和应用的热点。
在目前的校园网络舆情监测应用中，还没有比较成熟的网络舆情产品，因此，针对高校BBS网络的特点，结合高校网络舆情监控机制和引导策略，开发高校网络舆情监测平台有很大的现实意义和应用价值。
2 舆情热点分析方法2.1网络舆情的形成2.2主题关注度分析主题关注度是指过去某一时间段内，舆情主题被关注的程度，用该主题的相关帖子回复数或与该主题的相关网页数进行衡量[1]。
在进行舆情分析时，要统计某一主题或事件被关注的程度，首先要明确事件或话题本身所处的阶段；其次，应该在分析某一舆情热点之前对其进行科学的类型界定。
热点事件主要分为突发自然灾害事件、生产安全事故、群体性事件、公共卫生事件、公权力形象、司法事件、经济民生事件、社会思潮、境外涉华突发事件等。
2.3 主题热度分析主题热度分析即在某一时同段内相对更加被关注或集中关注的舆情主题，用该主题的关注度进行衡量。
网络舆情监测的关键技术有哪些
网络舆情监测的关键技术有哪些在当今信息爆炸的时代，网络舆情的影响力日益显著。
无论是政府部门、企业还是社会组织，都需要密切关注网络舆情的动态，以便及时做出应对和决策。
而要实现有效的网络舆情监测，离不开一系列关键技术的支持。
首先，数据采集技术是网络舆情监测的基础。
这一技术需要能够从众多的网络平台和数据源中获取相关信息。
常见的数据源包括新闻网站、社交媒体平台、论坛、博客等。
为了高效地采集数据，通常会使用网络爬虫技术。
网络爬虫就像是在网络世界中不知疲倦的“小蚂蚁”，按照一定的规则和算法，自动地浏览和抓取网页上的信息。
但这并非简单的工作，因为网络环境复杂多变，网站的结构和规则也各不相同。
有些网站可能会设置反爬虫机制，这就需要采集技术具备智能识别和应对的能力，比如合理调整抓取频率、模拟真实用户行为等，以避免被网站屏蔽。
数据清洗和预处理技术紧随其后。
采集到的原始数据往往是杂乱无章、包含大量噪声和无用信息的。
数据清洗的任务就是去除这些“杂质”，比如重复数据、无效链接、广告信息等。
预处理还包括对文本进行分词、词性标注等操作，将原始文本转化为便于后续分析的形式。
例如，把一段长长的文字分割成一个个有意义的词语，为进一步的分析打下基础。
自然语言处理技术在网络舆情监测中起着核心作用。
它使计算机能够理解和处理人类的自然语言。
情感分析就是其中的一个重要方面，通过对文本中词语、句子的分析，判断出作者的情感倾向是积极、消极还是中性。
这对于了解公众对某个事件或话题的态度至关重要。
话题检测与跟踪技术则能够从大量的文本数据中发现热门话题，并持续跟踪其发展变化。
比如，当某个话题在短时间内突然引起大量关注，系统能够及时察觉并将其标记出来。
文本分类和聚类技术也不可或缺。
分类技术可以将文本按照预先设定的类别进行划分，比如将关于政治、经济、文化等不同领域的舆情分别归类。
聚类则是根据文本的相似性将它们自动分组，帮助我们发现潜在的舆情模式和趋势。
例如，把众多关于同一产品的用户评价自动归为一类，以便快速了解用户的主要关注点和意见。
基于文本的聚类算法研究毕业论文
摘要聚类作为一种知识发现的重要方法，它广泛地与中文信息处理技术相结合，应用于网络信息处理中以满足用户快捷地从互联网获得自己需要的信息资源。
文本聚类是聚类问题在文本挖掘中的有效应用，它根据文本数据的不同特征，按照文本间的相似性，将其分为不同的文本簇。
其目的是要使同一类别的文本间的相似度尽可能大，而不同类别的文本间的相似度尽可能的小。
整个聚类过程无需指导，事先对数据结构未知，是一种典型的无监督分类。
本文首先介绍了文本聚类的相关的技术，包括文本聚类的过程，文本表示模型，相似度计算及常见聚类算法。
本文主要研究的聚类主要方法是k-均值和SOM 算法，介绍了两种算法的基本思想和实现步骤，并分析两种算法的聚类效果。
同时介绍了两种算法的改进算法。
关键词：文本聚类聚类方法K-MEAN SOMAbstractClustering as an important knowledge discovery method, which extensively with Chinese information processing technology, used in network information processing to meet the users to quickly access from the Internet, the information resources they need. Text clustering is a clustering problem in the effective application of text mining, which according to the different characteristics of text data, according to the similarity between the text, the text will be divided into different clusters. The aim is to make the same class as large as possible the similarity between the text, and different types of text as small as possible the similarity between. The clustering process without guidance, prior to the data structure is unknown, is a typical unsupervised classification.This paper studies the effect of influencing factors that text clustering, text representation of the model such as the Boolean model, vector space model, probabilistic retrieval model and language model. Also studied the analysis of such text clustering algorithm: hierarchical clustering, agglomerative hierarchical clustering algorithm, hierarchical clustering algorithm to split and so on. Also studied the text clustering algorithm analysis and methods of improvement.Key words：Text clustering clustering method k-mean som毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。
城市环境基于三维激光雷达的自动驾驶车辆多目标检测及跟踪算法研究共3篇
城市环境基于三维激光雷达的自动驾驶车辆多目标检测及跟踪算法研究共3篇城市环境基于三维激光雷达的自动驾驶车辆多目标检测及跟踪算法研究1在自动驾驶技术的浪潮下，越来越多的汽车制造公司正在投入巨额资金进行研发，以获得市场竞争的优势。
而城市环境下的自动驾驶车辆正是该领域中的一个关键问题。
基于三维激光雷达的自动驾驶车辆多目标检测及跟踪算法的研究得到了越来越多的关注。
本文将就这个话题进行详细的阐述。
首先，城市环境下的自动驾驶车辆需要具备多目标检测及跟踪的能力，以保证其行驶安全。
在城市繁忙的路段和复杂的地形条件下，自动驾驶车辆需要高精度地探测前方所有的车辆、行人和障碍物等，以便根据这些信息做出适当的行动。
同时，自动驾驶车辆还需要能够实现跟踪目标物体的功能，以确保车辆的路径规划和控制的准确性。
其次，基于三维激光雷达的技术是实现这种多目标检测及跟踪的一种有效方式。
三维激光雷达能够获取具有高精度的点云数据，可以实现对目标物体的三维位置、形状和运动状态的准确检测和跟踪。
此外，三维激光雷达还可以获取一系列的地面特征信息，如路况和道路重建等，在城市环境下自动驾驶车辆的行驶过程中起到至关重要的作用。
第三，基于三维激光雷达的多目标检测及跟踪算法是实现城市环境下自动驾驶车辆的一个关键环节。
对于一个自动驾驶车辆而言，如何在复杂的城市环境下，高效地检测和跟踪多个目标物体是一个具有挑战性的任务。
在这个任务中，有很多复杂的因素需要考虑，如多个目标物体之间的交叉轨迹、不同目标物体之间的尺度差异和位置变化等。
为了解决这些问题，研究人员提出了许多基于三维激光雷达的多目标检测及跟踪算法。
其中一些算法使用了深度学习技术，如卷积神经网络和目标检测网络，以实现更高精度的检测和跟踪。
同时，一些算法采用了模型预测方法，通过建立模型，来对目标物体的运动状态进行预测。
这些算法在提高自动驾驶车辆检测和跟踪精度的同时，也提高了车辆的控制效率和安全性。
最后，需要注意的是，基于三维激光雷达的多目标检测及跟踪算法仍然存在一些问题和挑战。
话题识别与跟踪技术的发展研究
１Ｔ Ｔ简 介 ．Ｄ
１１ 本 概 念 ．基
Ｔ Ｔ常用到的有以下几个相关的概念 ： Ｄ 事件 ： 在研究 的开始 阶段 ， 事件和话题 的含义是相 同的 ． 一起事件 是指发生在特定时 间和地点 的事情 话题 ： 一个话题指 由一个事件 以及与其相关 的事件组 成。可 以简 单地认为 ． 话题是 由多个事件组成 的集合 。 报道： 对某个事件 的相关报道 ， 这种报道 可以是一篇完 整的新 闻 稿． 也可 以是一个新 闻片段 。 话题 检测与跟踪是 指从待检 测的按时 间顺序 排列的新 闻文本流 中识别 出新的话题或是 已知某个话题 相关 的几篇 报道从后续 的报道 中识别 出此话题 的相关报道 １ ． ２研究任务 美 国国家标准技术研究院 （ ＩＴ 为 Ｔ Ｔ研究 设立 了五项基 础性 ＮＳ ） Ｄ 研究任务 。 报道切 分任务是将 原始数据 流切 分成具有完 整结构和统一 主题 的报道 。 首次报 道检测任务是 在新 闻报道 信息流 中识别 出对一个新话 题 基于统 计策略 的 Ａ ｒ Ｔ 研究 主要 借鉴于 自 适应信 息过滤 。Ｄａｏ ｒ ｎ ｇ 的首次报道 Ｍａ ｓ １ ｒ 关联检测任务是裁决两篇报道是否论述同一话题 ． 没有 明确话题 和 Ｕ ｓ 是最早尝试无指导 Ａ －研究 的单位 之一 其跟踪 系统 每次 都将它嵌入 话题模型并改进特 征的权重分布 。 后续 作为参 照 ． 自主地分析报道论 述的话题 ． 通过对 比报道对 的话题模 型 检测 到相关 报道 ． 报道 的相关性则以新生成的话题模 型为评估对象 ． 而实 现跟踪 系统 从 裁决其相关性 的 自 习功能 总体而言 ． 学 这两种方法并没有很大程度地 提高话 题跟 ２话 题 跟踪 （ ｒ ． １ ） ＿ 踪系统 的性能 其主要原因在于 自学习模块 对于跟踪反馈不施加任何 ２１ ． 传统话题跟踪 （ Ｉ１ ，Ｔ ＩＩ Ｔ ） 从而导致话题漂移 。 基于这一现象 ， 传统话题跟踪（ｒ ｉｏａ Ｔ ｐｃ ｒ ｋ ｇ 简写 为 １ ’ 主要包括基 鉴别地全部用于话题模型 的更新 ． Ｔａ ｔ ｎｌ ｏｉ Ｔａ ｉ ． ｄｉ ｃｎ １’ Ｉ １ ＬＭ Ｉ Ｉ Ｓ 在原有 自 习过程 中嵌人 二次阈值截取功能 ． 学 通过设置一个 比 于知识和基于统计 的两种研究趋势 。 前者的核心问题是分析报道 内容 截取伪反馈中相关度较 高的报道嵌 入话题更新 之间 的关联 与继承关 系 ．通过特定 的领域知识将 相关报道串联 成一 阈值更高 的过滤指标 ． 模块 ． 而削弱了话题漂移 ＬＭ Ｉ 从 Ｉ Ｓ 比较了基于静态和动态两种方 式 体。后者则根据特征 的概率分布 。 采用统计策略裁决报道 与话题模型 的权重更新策略 ：前者对权重的更新指标乘 以经 过训 练的固定参数 ； 的相关 陛。 后者将报道与话题 的相关度映射为线性 函数 ． 特征权 重根据 线性 函数 基于知识 的 Ｔ ’研 究 中． １１ Ｉ 比较有代表性 的方 法是 Ｗａ ｎ ｂｔ ｔ ａ ｅ 面向 ａ １ １ 特征权重基 于话题模 日本语新闻广播开发 的话题跟踪系统 Ｗａ ｎｂ 通过形如“ ｔ ａｅ ａ 正如我所 动态确定 该方法 的特点在于话 题每次更新后 ． 提到 的……” “ 、 正如我所报 道 的……” 正如 近期发 生 的……” 和“ 等领 型 的条件概率都相应得到改进
计算机视觉中的目标跟踪技术研究
计算机视觉中的目标跟踪技术研究随着计算机技术的不断发展，计算机视觉技术正逐渐成为现代科技领域中的一个热门话题，其中目标跟踪技术又是计算机视觉技术中的一个重要分支。
目标跟踪技术是指利用计算机算法实现对特定目标在视频序列或图像序列中的跟踪和预测。
在日常生活中，我们可以看到很多应用了目标跟踪技术的产品，比如指纹识别、人脸识别、智能家居等等。
本文将从计算机视觉技术的背景、目标跟踪技术的概述、目标跟踪存在的问题以及未来的发展方向等方面进行深入探讨。
一、计算机视觉技术的背景计算机视觉技术是指利用计算机实现对图像和视频的处理、分析和理解，以实现计算机对视觉信息的感知和理解。
计算机视觉技术的产生是和计算机技术的发展紧密相关的。
20世纪50年代至60年代初，数字计算机开始逐渐走向实用化，人们开始关注如何利用计算机来实现图像识别和处理。
随着计算机硬件和软件技术的不断发展，计算机视觉技术也得到了迅速的发展。
目前，计算机视觉技术已成为人工智能领域的重要组成部分。
二、目标跟踪技术的概述目标跟踪技术是计算机视觉技术中的一个重要分支，主要应用于视频监控、交通安全等领域。
目标跟踪技术主要包括两个方面：一是目标检测，即在视频中检测出目标物体的位置；二是目标跟踪，即在接下来的视频中跟踪目标物体的位置。
在目标跟踪中，主要是利用一些算法和模型来实现目标物体的跟踪和预测。
目前常见的目标跟踪算法主要包括基于模板匹配、基于学习的方法和基于粒子滤波的方法等。
三、目标跟踪存在的问题虽然目标跟踪技术已经得到了广泛的应用，但是在实际应用中，目前的目标跟踪技术还存在一些问题。
首先是鲁棒性的问题，即在面对复杂背景时，目标跟踪算法容易受到背景干扰而造成跟踪失败。
其次是运动鲁棒性的问题，即在目标物体快速运动时，目标跟踪算法出现的误差较大。
此外，对于目标物体形态的变化，目标跟踪算法也往往无法很好地适应。
四、未来的发展方向面对目前目标跟踪存在的问题，未来的发展方向主要是提高目标跟踪算法的鲁棒性、减少误差和提高跟踪的精度。
目标检测 发展综述
目标检测发展综述全文共四篇示例，供读者参考第一篇示例：目标检测是计算机视觉领域的一个重要研究方向，其在自动驾驶、视频监控、智能安防、人脸识别等应用中有着广泛的应用。
近年来，目标检测技术得到了迅速的发展，取得了显著的进展。
本文将从目标检测的起源、发展历程、技术演变及未来趋势等方面进行综述，希望能够为相关领域的研究人员和开发者提供一定的参考和启示。
一、目标检测的起源目标检测作为计算机视觉中的一个重要研究方向，起源于上世纪80年代。
最早的目标检测方法是基于传统图像处理技术和机器学习算法的，例如HOG特征+SVM分类器等。
这些方法主要是基于手工设计的特征和目标检测算法，在一定程度上能够满足简单场景下的目标检测需求，但在复杂场景下表现不佳，存在着定位准确度低、召回率不高等问题。
二、目标检测的发展历程随着深度学习算法的兴起，尤其是卷积神经网络（CNN）的广泛应用，目标检测技术得到了显著的提升。
在2012年AlexNet的诞生后，Faster R-CNN、YOLO、SSD等一系列基于深度学习的目标检测算法相继提出，性能大幅度提升，达到了实时检测、高精度定位等方面的要求。
这些算法通过网络的端到端训练，摒弃了传统方法中需要手工设计特征的过程，大大简化了目标检测的流程，并取得了令人瞩目的成果。
三、目标检测技术的演变尽管深度学习在目标检测领域取得了巨大成功，但目标检测技术仍在不断演进。
近年来，一些新型目标检测算法相继被提出，如Mask R-CNN、RetinaNet、CenterNet等。
这些算法在保持高精度检测的进一步提升了目标检测的效率和性能。
Mask R-CNN在实现目标检测的同时还能够实现实例分割，进一步提升了目标检测的多样化能力。
目标检测技术还在与其他领域相结合，不断探索新的应用场景。
在无人机、智能机器人等领域，目标检测技术的发展为智能设备提供了更广阔的应用前景。
跨领域的研究也为目标检测技术的提升提供了更多可能性和机遇。
自然语言处理在社交媒体分析中的应用是什么
自然语言处理在社交媒体分析中的应用是什么一、关键信息1、自然语言处理技术的定义和范围：＿___________________________2、社交媒体分析的目标和重要性：＿___________________________3、自然语言处理在社交媒体内容分类中的应用：＿___________________________4、自然语言处理在情感分析中的作用：＿___________________________5、自然语言处理在话题检测与跟踪方面的应用：＿___________________________6、自然语言处理对用户画像构建的贡献：＿___________________________7、自然语言处理在社交媒体监测与预警中的角色：＿___________________________8、自然语言处理在信息推荐与个性化服务中的应用：＿___________________________9、自然语言处理面临的挑战与解决方案在社交媒体分析中的体现：＿___________________________二、协议内容11 自然语言处理技术概述自然语言处理是使计算机能够理解和处理人类自然语言的一系列技术和方法。
它涵盖了词法分析、句法分析、语义理解、文本分类、情感分析等多个领域。
自然语言处理的目标是让计算机能够像人类一样理解和生成自然语言，从而实现更高效的人机交互和信息处理。
111 词法分析词法分析是自然语言处理的基础步骤，它包括对单词的识别、词性标注等。
在社交媒体分析中，准确的词法分析有助于更好地理解文本的基本结构和词汇特征。
112 句法分析句法分析旨在确定句子的语法结构，帮助理解句子中词语之间的关系。
这对于解析复杂的社交媒体文本结构非常重要。
12 社交媒体分析的意义社交媒体已经成为人们获取信息、交流思想和表达情感的重要平台。
社交媒体分析的目标在于从海量的社交媒体数据中提取有价值的信息，了解公众舆论、市场趋势、用户需求等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
话题检测与跟踪技术的发展与研究骆卫华刘群{luoweihua, liuqun}@中国科学院计算技术研究所摘要:本文介绍了话题检测与跟踪技术的由来和发展历程,并展望其应用前景,同时比较系统地介绍了现有的话题检测与跟踪系统主要采用的方法,并对其效果进行了比较。
关键词:话题检测与跟踪,向量空间模型,语言模型Development and Analysis of Technology of Topic Detection and TrackingLuo Weihua, Liu Qun{luoweihua, liuqun}@Institute of Computing Technology, Chinese Academy of SciencesAbstract: The paper introduces the origin and history of the development of technology of topic detection and tracking, and makes remarks on its prospect. It also describes systemically the methods adopted by the current systems of topic detection and tracking, and makes comparison among their performance.Keywords: Topic Detection and Tracking, Vector Space Model, Language Model1 应用背景随着信息传播手段的进步,尤其是互联网这一新媒体的出现,我们已经摆脱了信息贫乏的桎梏,进入一个信息极度丰富的社会。
在目前信息爆炸的情况下,信息的来源已不再是问题,而如何快捷准确的获取感兴趣的信息才是人们关注的主要问题。
目前的各种信息检索、过滤、提取技术都是围绕这个目的展开的。
由于网络信息数量太大,与一个话题相关的信息往往孤立地分散在很多不同的地方并且出现在不同的时间,仅仅通过这些孤立的信息,人们对某些事件难以做到全面的把握。
一般的检索工具都是基于关键词的,返回的信息冗余度过高,很多不相关的信息仅仅是因为含有指定的关键词就被作为结果返回了,因此人们迫切地希望拥有一种工具,能够自动把相关话题的信息汇总供人查阅。
话题检测与跟踪(Topic Detection and Tracking,以下简称TDT技术就是在这种情况下应运而生的。
通过话题发现与跟踪,人们可以将这些分散的信息有效地汇集并组织起来,从而帮助用户发现事件的各种因素之间的相互关系,从整体上了解一个事件的全部细节以及与该事件与其它事件之间的关系。
目前此方面的研究已经引起了人们的普遍兴趣。
TDT技术可以用来监控各种语言信息源,在新话题出现时发出警告,在信息安全、金融证券、行业调研等领域都有广阔的应用前景。
此外,它还可以用来跟踪某个话题的来龙去脉,进行历史性质的研究。
2发展历程话题检测与跟踪是一项旨在依据事件对语言文本信息流进行组织、利用的研究,也是为应对信息过载问题而提出的一项应用研究。
TDT的概念最早产生于1996年,当时美国国防高级研究计划署(DARPA根据自己的需求,提出要开发一种新技术,能在没有人工干预的情况下自动判断新闻数据流的主题。
1997年,研究者开始对这项技术进行初步研究,并做了一些基础工作(包括建立了一个针对TDT 研究的预研语料库。
当时的研究内容包括寻找内在主题一致的片断,即给出一段连续的数据流(文本或语音,让系统判断两个事件之间的分界,而且能自动判断新事件的出现以及旧事件的再现。
从1998年开始,在DARPA支持下,美国国家标准技术研究所(NIST每年都要举办话题检测与跟踪国际会议,并进行相应的系统评测。
2002秋季召开了TDT的第五次会议(即TDT 2002。
这个系列评测会议作为DARPA支持的TIDES(Translingual Information Detection, Extraction andSummarization,跨语言信息检测、抽取和总结项目下的两个系列会议(另一个是文本检索会议TREC之一,越来越受到人们的重视。
参加该评测的机构包括著名的大学、公司和研究所,如IBM Watson研究中心、BBN公司、卡耐基-梅隆大学、马萨诸塞大学、宾州大学、马里兰大学、龙系统公司等。
国内这方面的研究开展得要晚一些,1999年国立台湾大学参加了TDT话题检测任务的评测,香港中文大学参加了TDT 2000的某些子任务的评测。
最近北京大学和中科院计算所的研究人员也开始进行这方面的跟踪和研究。
TDT会议采用的语料是由会议组织者提供并由语言数据联盟(Linguistic Data Consortium,以下简称LDC对外发布的TDT系列语料,目前已公开的训练和测试语料包括TDT预研语料(TDT Pilot Corpus、TDT2和TDT3,这些语料都人工标注了若干话题作为标准答案。
TDT2和TDT3收录的报道总量多达11万6千篇,从而很大程度上避免数据稀疏问题的影响,同时也能很好地验证算法的有效性。
总的来看,TDT系列评测会议呈现两大趋势:一是努力提高信息来源的广泛性,不仅包括互联网上的文本数据,还包括来自广播、电视的语音数据;二是强调多语言的特性。
从1999年开始,TDT会议引入了对汉语话题的评测,2002年又计划增加阿拉伯语的测试集。
可以看到,话题检测与跟踪和信息抽取研究一样,其建立与发展是以评测驱动的方式进行的。
这种评测研究的方法具有以下一些特点:明确的形式化的研究任务、公开的训练与测试数据、公开的评测比较。
它将研究置于公共的研究平台上,使得研究之间的比较更加客观,从而让研究者认清各种技术的优劣,起到正确引导研究发展方向的目的。
3 研究内容与现状与一般的信息检索或者信息过滤不同,TDT所关心的话题不是一个大的领域(如美国的对华政策或者某一类事件(如恐怖活动,而是一个很具体的“事件(Event”,如美国911事件、江泽民访美等等。
为了区别于语言学上的概念,TDT评测会议对“话题”进行了定义:所谓话题(Topic,就是一个核心事件或活动以及与之直接相关的事件或活动。
而一个事件(Event通常由某些原因、条件引起,发生在特定时间、地点,涉及某些对象(人或物,并可能伴随某些必然结果。
通常情况下,可以简单地认为话题就是若干对某事件相关报道的集合1。
“话题检测与跟踪”则定义为“在新闻专线(Newswire 和广播新闻等来源的数据流中自动发现主题并把主题相关的内容联系在一起的技术”。
例如,“俄克拉荷马城爆炸案”这个主题包括1995年美国联邦大楼被炸、悼念仪式、州和美国联邦政府的一系列调查、对Timothy McVeigh 的指控等等。
这个定义和其它与话题有关的研究不同,那些研究主要处理信息分类问题,比如任何与爆炸有关的事件。
处理分类问题需要专门的分类体系,注解起来效率低而且主观色彩浓厚。
TDT 与其它研究不同之处还在于它强调新事件的发现,希望找出不在人们意料之中的或没有人知道如何去查询的事件。
TDT 是一项综合的技术,需要比较多的自然语言处理理论和技术作为支撑,因此这些测评对其进行了细化。
根据不同的应用需求,TDT 评测会议把话题检测和跟踪分成五个子任务。
表一 TDT 的技术任务TDT 会议对参评的TDT 系统定下的目标是“实现一个功能强大、用途广泛的全自动算法用以判断自然语言数据的主题结构,同时要做到与来源、媒介、领域和语言无关”。
目前的成果表明切分定界的性能已经和人工相差无几,话题跟踪技术也已基本实用,但话题检测技术还有待改进。
尤其值得一提的是,单一语言的测试性能并不随语种的变化而发生很大变化,对汉语话题的跟踪和检测性能与英语十分接近。
为了对不同的系统进行量化比较,TDT 会议制订了一套评测规范。
每一个参评系统的性能是由误报率和漏报率加权求和的结果进行衡量,称为检测错误开销C Det ,其计算公式是:target non FA FA target Miss Miss Det P P C P P C C -⋅⋅+⋅⋅= C Miss 和C FA 分别是漏查和误报的开销;P Miss 和P FA 分别是漏查和误报的条件概率;P target 是目标话题的先验概率,P non-target =1-P target 。
C Miss 、C FA 和P target 都是预设值,作为调节漏报率和误报率在评测结果中所占比重的系数。
检测开销通常被归一化为0和1之间的一个值: arg arg (min{,}Det Det Norm Miss t et FA non t et C C C P C P -=⋅⋅一般直接用(C Det Norm 作为评价系统性能的分数。
1 显然,对这种相关性必须做一个界定,不能任由集合无限扩大。
为此,TDT 会议组织者在构造TDT 语料时,对挑选出来的每个话题都定义了相关性判定规则。
2 在TDT 的评测中,“报道”定义为“论述某个话题的新闻片断,它包括两个以上独立表述该事件的说明语句”。
4 主要实现方法构造一个实用化的TDT系统是进行TDT研究的主要目的之一,也是检验现有方法优劣的基础。
从参评的数量来看,话题发现和话题跟踪两个子任务最受关注。
因此我们介绍的实现方法也以这两个任务为主。
总体而言,要实现话题发现与跟踪功能,需要解决以下主要问题:(1话题/报道的模型化(2话题-报道相似度的计算(3聚类策略(4分类策略(阈值选择策略整个系统的流程大致是(以话题跟踪为例:图1 话题跟踪系统流程针对以上问题,我们将逐一介绍一些已经被广泛采用并得到实际评测验证的方法。
4.1 话题/报道模型要判断某个报道是否和话题相关,首先就需要解决话题和报道如何表示便于计算和比较的问题,也就是话题/报道用什么模型来表示。
目前常用的模型主要有语言模型(Language Model,LM和向量空间模型(Vector Space Model,VSM。
(1语言模型语言模型是一种概率模型。
假设报道中出现的词δn各不相关,则某则报道S和话题C 相关的概率:P(C|S =(| ((|(((nn nP C P C P S CP CP S Pδδ⋅≈∏其中p(C是任何一则新报道和话题C相关的先验概率,p(δn|C是表示词δn在某话题C中的生成概率。
p(δn|C可以表示成一个两态的混合模型,如图2所示:图2 p(δn |C的两态模型其中一个状态是词在该话题中所有报道的分布,另一个状态是词在整个语料中的分布。
这样就构成了一个词的生成模型。