QRU-1 A Public Dataset for Promoting Query Representation and Understanding Research
随机过程在自然语言处理中的应用有哪些
随机过程在自然语言处理中的应用有哪些在当今数字化和信息化的时代，自然语言处理成为了计算机科学和人工智能领域的一个重要分支，旨在使计算机能够理解和处理人类的自然语言。
而随机过程作为数学领域中的一个重要概念，也在自然语言处理中发挥着不可或缺的作用。
随机过程是研究随机现象随时间演变的数学模型。
在自然语言处理中，语言本身就具有很大的随机性和不确定性，比如一个词在不同的语境中可能有不同的含义，句子的结构和长度也没有固定的模式。
因此，随机过程的理论和方法为处理这些不确定性提供了有力的工具。
其中，马尔可夫过程在自然语言处理中的应用较为广泛。
马尔可夫过程具有“无记忆性”，即未来的状态只取决于当前的状态，而与过去的历史无关。
在自然语言处理中，可以将文本看作是一个由单词组成的序列，而每个单词的出现概率只与其前一个或前几个单词有关。
例如，在语言模型中，通过统计大量的文本数据，可以计算出每个单词在给定前一个单词的情况下出现的概率，从而预测下一个可能出现的单词。
这种基于马尔可夫过程的语言模型虽然简单，但在一些简单的自然语言处理任务中仍然具有一定的效果。
隐马尔可夫模型（HMM）也是自然语言处理中常用的随机过程模型。
HMM 由隐藏状态和可观测状态组成，并且隐藏状态之间的转移以及隐藏状态到可观测状态的输出都具有一定的概率分布。
在语音识别中，语音信号是可观测的，但说话人的意图（即隐藏状态）是未知的。
通过建立 HMM 模型，可以对语音信号进行建模，并通过计算概率来推测最有可能的隐藏状态序列，从而实现语音的识别。
在自然语言处理的词性标注任务中，也可以使用 HMM 模型。
单词是可观测的，而词性则是隐藏状态。
通过统计大量的文本数据，可以估计出词性之间的转移概率以及单词与词性之间的输出概率，从而实现对单词词性的标注。
除了马尔可夫过程和隐马尔可夫模型，随机漫步也是一种常见的随机过程，在自然语言处理中也有其应用。
比如在文本分类中，可以将文本表示为一个图，其中单词作为节点，单词之间的关系作为边。
递归最小二乘循环神经网络
递归最小二乘循环神经网络赵 杰 1张春元 1刘 超 1周 辉 1欧宜贵 2宋 淇1摘 要 针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大, 提出一种新的迷你批递归最小二乘优化算法. 所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度, 逐层导出RNNs 参数的迷你批递归最小二乘解. 相较随机梯度下降算法, 所提算法只在RNNs 的隐藏层和输出层分别增加了一个协方差矩阵, 其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右. 此外, 本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法. 仿真结果表明, 无论是对序列数据的分类问题还是预测问题, 所提算法的收敛速度要优于现有主流一阶优化算法, 而且在超参数的设置上具有较好的鲁棒性.关键词 深度学习, 循环神经网络, 递归最小二乘, 迷你批学习, 优化算法引用格式 赵杰, 张春元, 刘超, 周辉, 欧宜贵, 宋淇. 递归最小二乘循环神经网络. 自动化学报, 2022, 48(8): 2050−2061DOI 10.16383/j.aas.c190847Recurrent Neural Networks With Recursive Least SquaresZHAO Jie 1 ZHANG Chun-Yuan 1 LIU Chao 1 ZHOU Hui 1 OU Yi-Gui 2 SONG Qi 1Abstract In recurrent neural networks (RNNs), the first-order optimization algorithms usually converge slowly,and the second-order optimization algorithms commonly have high time and space complexities. In order to solve these problems, a new minibatch recursive least squares (RLS) optimization algorithm is proposed. Using the inact-ive linear output error to replace the conventional activation output error for backpropagation, together with the equivalent gradients of the weighted linear least squares objective function with respect to linear outputs of the hid-den layer, the proposed algorithm derives the minibatch recursive least squares solutions of RNNs parameters layer by layer. Compared with the stochastic gradient descent algorithm, the proposed algorithm only adds one covari-ance matrix into each layer of RNNs, and its time and space complexities are almost three times as much. Further-more, in order to address the adaptive problem of the forgetting factor and the overfitting problem of the proposed algorithm, two approaches are also presented, respectively, in this paper. The simulation results, on the classifica-tion and prediction problems of sequential data, show that the proposed algorithm has faster convergence speed than popular first-order optimization algorithms. In addition, the proposed algorithm also has good robustness in the selection of hyperparameters.Key words Deep learning, recurrent neural network (RNN), recursive least squares (RLS), minibatch learning, op-timization algorithmCitation Zhao Jie, Zhang Chun-Yuan, Liu Chao, Zhou Hui, Ou Yi-Gui, Song Qi. Recurrent neural networks with recursive least squares. Acta Automatica Sinica , 2022, 48(8): 2050−2061循环神经网络(Recurrent neural networks,RNNs)作为一种有效的深度学习模型, 引入了数据在时序上的短期记忆依赖. 近年来, RNNs 在语言模型[1]、机器翻译[2]、语音识别[3]等序列任务中均有不俗的表现. 但是相比前馈神经网络而言, 也正因为其短期记忆依赖, RNNs 的参数训练更为困难[4−5].如何高效训练RNNs, 即RNNs 的优化, 是RNNs 能否得以有效利用的关键问题之一. 目前主流的RNNs 优化算法主要有一阶梯度下降算法、自适应学习率算法和二阶梯度下降算法等几种类型.最典型的一阶梯度下降算法是随机梯度下降(Stochastic gradient descent, SGD)[6], 广泛应用于优化RNNs. SGD 基于小批量数据的平均梯度对参数进行优化. 因为SGD 的梯度下降大小和方向完全依赖当前批次数据, 容易陷入局部极小点, 故而学习效率较低, 更新不稳定. 为此, 研究者在SGD收稿日期 2019-12-12 录用日期 2020-04-07Manuscript received December 12, 2019; accepted April 7, 2020国家自然科学基金(61762032, 61662019, 11961018)资助Supported by National Natural Science Foundation of China (61762032, 61662019, 11961018)本文责任编委 曹向辉Recommended by Associate Editor CAO Xiang-Hui1. 海南大学计算机科学与技术学院 海口 5702282. 海南大学理学院 海口 5702281. School of Computer Science and Technology, Hainan Uni-versity, Haikou 5702282. School of Science, Hainan University,Haikou 570228第 48 卷 第 8 期自 动 化 学 报Vol. 48, No. 82022 年 8 月ACTA AUTOMATICA SINICAAugust, 2022的基础上引入了速度的概念来加速学习过程, 这种算法称为基于动量的SGD算法[7], 简称为Momen-tum. 在此基础上, Sutskever等[8]提出了一种Nes-terov动量算法. 与Momentum的区别体现在梯度计算上. 一阶梯度下降算法的超参数通常是预先固定设置的, 一个不好的设置可能会导致模型训练速度低下, 甚至完全无法训练. 针对SGD的问题, 研究者提出了一系列学习率可自适应调整的一阶梯度下降算法, 简称自适应学习率算法. Duchi等[9]提出的AdaGrad算法采用累加平方梯度对学习率进行动态调整, 在凸优化问题中表现较好, 但在深度神经网络中会导致学习率减小过快. Tieleman等[10]提出的RMSProp算法与Zeiler[11]提出的AdaDelta 算法在思路上类似, 都是使用指数衰减平均来减少太久远梯度的影响, 解决了AdaGrad学习率减少过快的问题. Kingma等[12]提出的Adam算法则将RMSProp与动量思想相结合, 综合考虑梯度的一阶矩和二阶矩估计计算学习率, 在大部分实验中比AdaDelta等算法表现更为优异, 然而Keskar等[13]发现Adam最终收敛效果比SGD差, Reddi等[14]也指出Adam在某些情况下不收敛.基于二阶梯度下降的算法采用目标函数的二阶梯度信息对参数优化. 最广泛使用的是牛顿法, 其基于二阶泰勒级数展开来最小化目标函数, 收敛速度比一阶梯度算法快很多, 但是每次迭代都需要计算Hessian矩阵以及该矩阵的逆, 计算复杂度非常高. 近年来研究人员提出了一些近似算法以降低计算成本. Hessian-Free算法[15]通过直接计算Hessi-an矩阵和向量的乘积来降低其计算复杂度, 但是该算法每次更新参数需要进行上百次线性共轭梯度迭代. AdaQN[16]在每个迭代周期中要求一个两层循环递归, 因此计算量依然较大. K-FAC算法(Kro-necker-factored approximate curvature)[17]通过在线构造Fisher信息矩阵的可逆近似来计算二阶梯度. 此外, 还有BFGS算法[18]以及其衍生算法(例如L-BFGS算法[19−20]等), 它们都通过避免计算Hessian矩阵的逆来降低计算复杂度. 相对于一阶优化算法来说, 二阶优化算法计算量依然过大, 因此不适合处理规模过大的数据集, 并且所求得的高精度解对模型的泛化能力提升有限, 甚至有时会影响泛化, 因此二阶梯度优化算法目前还难以广泛用于训练RNNs.除了上面介绍的几种类型优化算法之外, 也有不少研究者尝试将递归最小二乘算法(Recursive least squares, RLS)应用于训练各种神经网络. RLS是一种自适应滤波算法, 具有非常快的收敛速度. Azimi-Sadjadi等[21]提出了一种RLS算法, 对多层感知机进行训练. 谭永红[22]将神经网络层分为线性输入层与非线性激活层, 对非线性激活层的反传误差进行近似, 并使用RLS算法对线性输入层的参数矩阵进行求解来加快模型收敛. Xu等[23]成功将RLS算法应用于多层RNNs. 上述算法需要为每个神经元存储一个协方差矩阵, 时空开销很大. Peter 等[24]提出了一种扩展卡尔曼滤波优化算法, 对RN-Ns进行训练. 该算法将RNNs表示为被噪声破坏的平稳过程, 然后对网络的状态矩阵进行求解. 该算法不足之处是需要计算雅可比矩阵来达到线性化的目的, 时空开销也很大. Jaeger[25]通过将非线性系统近似为线性系统, 实现了回声状态网络参数的RLS求解, 但该算法仅限于求解回声状态网络的输出层参数, 并不适用于一般的RNNs训练优化.针对以上问题, 本文提出了一种新的基于RLS 优化的RNN算法(简称RLS-RNN). 本文主要贡献如下: 1) 在RLS-RNN的输出层参数更新推导中, 借鉴SGD中平均梯度的计算思想, 提出了一种适于迷你批样本训练的RLS更新方法, 显著减少了RNNs的实际训练时间, 使得所提算法可处理较大规模数据集. 2) 在RLS-RNN的隐藏层参数更新推导中, 提出了一种等效梯度思想, 以获得该层参数的最小二乘解, 同时使得RNNs仅要求输出层激活函数存在反函数即可采用RLS进行训练, 对隐藏层的激活函数则无此要求. 3) 相较以前的RLS 优化算法, RLS-RNN只需在隐藏层和输出层而非为这两层的每一个神经元分别设置一个协方差矩阵, 使得其时间和空间复杂度仅约SGD算法的3倍.4) 对RLS-RNN的遗忘因子自适应和过拟合预防问题进行了简要讨论, 分别给出了一种解决办法.1 背景1.1 基于SGD优化的RNN算法X s,t∈R m×a H s,t∈R m×h O s,t∈R m×d s tm ah dU s−1∈R a×h W s−1∈R h×hV s−1∈R h×d sb H s−1∈R1×h b O s−1∈R1×dττRNNs处理时序数据的模型结构如图1所示.一个基本的RNN通常由一个输入层、一个隐藏层(也称为循环层)和一个输出层组成. 在图1中, , 和 分别为第批训练样本数据在第时刻的输入值、隐藏层和输出层的输出值, 其中, 为迷你批大小, 为一个训练样本数据的维度, 为隐藏层神经元数, 为输出层神经元数; , 和分别为第批数据训练时输入层到隐藏层、隐藏层内部、隐藏层到输出层的参数矩阵;和分别为隐藏层和输出层的偏置参数矩阵; 表示当前序列数据共有时间步. RNNs的核心思想是在模型的不同时间步对参8 期赵杰等: 递归最小二乘循环神经网络2051数进行共享, 将每一时间步的隐藏层输出值加权输入到其下一时间步的计算中, 从而令权重参数学习到序列数据不同时间步之间的关联特征并进行泛化. 输出层则根据实际问题选择将哪些时间步输出,比较常见的有序列数据的分类问题和预测问题. 对序列数据预测问题, 输出层每一时间步均有输出;对序列数据分类问题, 输出层没有图1虚线框中的时间步输出, 即仅在最后一个时间步才有输出.图 1 RNN 模型结构Fig. 1 RNN model structureRNNs 通过前向传播来获得实际输出, 其计算过程可描述为H s,t =φ(X s,t U s −1+H s,t −1W s −1+1×b H s −1)(1)O s,t =σ(H s,t V s −1+1×b O s −1)(2)1m φ(·)σ(·)其中, 为 行全1列向量; 和分别为隐藏层和输出层的激活函数, 常用的激活函数有sig-moid 函数与tanh 函数等. 为了便于后续推导和表达的简洁性, 以上两式可用增广矩阵进一步表示为R H s,t ∈R m ×(a +h +1)R O s,t ∈Rm ×(h +1)ΘH s −1∈R(a +h +1)×hΘO s −1∈R(h +1)×d其中, , 分别为隐藏层与输出层的输入增广矩阵; , 分别为隐藏层与输入层的权重参数增广矩阵, 即R H s,t =[X s,tH s,t −11](5)R Os,t =[H s,t1](6)RNNs 的参数更新方式和所采用的优化算法密切相关, 基于SGD 算法的RNNs 模型优化通常借助于最小化目标函数反向传播完成. 常用目标函数有交叉熵函数、均方误差函数、Logistic 函数等. 这里仅考虑均方误差目标函数Y ∗s,t ∈Rm ×dX s,t Θs −1t 0t 0=τt 0=1其中, 为 对应的期望输出; 为网络中的所有参数矩阵; 表示输出层的起始输出时间步, 如果是分类问题, , 如果是序列预测问题, 则 , 下文延续该设定, 不再赘述.ˆ∇O s=∂ˆJ (Θs −1)∂ΘOˆ∇O s 令 , 由式(9)和链导法则, 则 为ˆ∆O s,t=∂ˆJ(Θs −1)∂Z O其中, , 即◦Z Os,t 式中, 为Hadamard 积, 为输出层非激活线性输出, 即则该层参数更新规则可定义为α其中,为学习率.ˆ∇H s =∂J (Θs −1)∂ΘH s −1令 , 根据BPTT (Back propag-ation through time)算法[26], 由式(9)和链导法则可得ˆ∆H s,t=∂ˆJ(Θs −1)∂Z H s,t其中, 为目标函数对于隐藏层非激活线性输出的梯度, 即˜∆H s,t =[ˆ∆O s,t ,ˆ∆H s,t +1],˜ΘH s −1=[V s −1,W s −1],Z H s,t 其中, 为隐藏层非激活线性输出, 即则该层参数更新规则可定义为1.2 RLS 算法RLS 是一种最小二乘优化算法的递推化算法,2052自 动 化 学 报48 卷X t ={x 1,···,x t }Y ∗t ={y ∗1,···,y ∗t }不但收敛速度很快, 而且适用于在线学习. 设当前训练样本输入集 , 对应的期望输出集为 . 其目标函数通常定义为w λ∈(0,1]其中, 为权重向量; 为遗忘因子.∇w J (w )=0令 ,可得整理后可表示为其中,为了避免昂贵的矩阵求逆运算且适用于在线学习, 令将式(21)和式(22)改写为如下递推更新形式由Sherman-Morrison-Woodbury 公式[27]易得其中,g t 其中,为增益向量. 进一步将式(23)、(25)和(26)代入式(20), 可得当前权重向量的更新公式为其中,2 基于RLS 优化的RNNs 算法RLS 算法虽然具有很快的学习速度, 然而只适用于线性系统. 我们注意到在RNNs 中, 如果不考虑激活函数, 其隐藏层和输出层的输出计算依旧是σ(·)σ−1(·)线性的, 本节将基于这一特性来构建新的迷你批RLS 优化算法. 假定输出层激活函数 存在反函数 , 并仿照RLS 算法将输出层目标函数定义为s s Z O ∗n,t 其中,代表共有 批训练样本; 为输出层的非激活线性期望值, 即因此, RNNs 参数优化问题可以定义为H s,t O s,t Z Os,t 由于RNNs 前向传播并不涉及权重参数更新,因此本文所提算法应用于RNNs 训练时, 其前向传播计算与第1.1节介绍的SGD-RNN 算法基本相同, 同样采用式(3)计算, 唯一区别是此处并不需要计算 , 而是采用式(12)计算 . 本节将只考虑RLS-RNN 的输出层和隐藏层参数更新推导.2.1 RLS-RNN输出层参数更新推导∇ΘO =∂J (Θ)∂ΘO令 , 由式(31)和链导法则可得∆O n,t =∂J (Θ)∂Z O其中, , 即ΘO ∗∇ΘO =0为了求取最优参数 , 进一步令 , 即将式(35)代入式(36), 得ΘO s 整理可得 的最小二乘解其中,类似于RLS 算法推导, 以上两式可进一步写成8 期赵杰等: 递归最小二乘循环神经网络2053如下递推形式R O s,t,k ∈Rh +1(R O s,t )T k Z O ∗s,t,k ∈R d (Z O ∗s,t )Tk A O s 其中, 为 的第 列向量, 为 的第 列向量. 但是, 由于此处RN-Ns 基于迷你批训练, 式(41)并不能像式(24)那样直接利用Sherman-Morrison-Woodbury 公式求解 的逆.ΘO s −1A O s −1B Os −1考虑到同一批次中各样本 , 和 是相同的, 借鉴SGD 计算迷你批平均梯度思想, 接下来采用平均近似方法来处理这一问题. 因为式(41)和式(42)可以重写为如下形式其中,(A O s )−1ΘOs 因而可使用如下公式来近似求得和 为P O s =(A O s )−1令 , 根据式(47)和式(38)以及Sherman-Morrison-Woodbury 公式, 整理后得如下更新式为∆O s,t,k ∈R d(∆O s,t )T k 其中, 为 的第 列向量, 且ΛO s,t,k =P O s −1R Os,t,k(51)2.2 RLS-RNN 隐藏层参数更新推导∇ΘH =∂J (Θ)∂ΘH令 , 由式(31)和链导法则可得∆H n,t =∂J (Θ)∂Z H n,t其中, , 使用BPTT 算法计算其具体形式为´∆H n,t =∆O n,t ,∆H n,t +1∇ΘH =0其中, . 进一步令 , 可得φ′(Z Hs,t )ΘH 然而, 式(54)非常复杂, 且 一般为非线性, 我们并不能将式(54)代入式(55)求得隐藏层参数 的最小二乘解.∆H n,t ΘH J H (ΘH )接下来我们提出一种新的方法来导出 的等价形式, 藉此来获得 的最小二乘解. 临时定义一个新的隐藏层目标函数Z H ∗n,t J (Θ)→0J H (ΘH )→0其中, 为该层非激活线性输出期望值. 显然, 如果 , 那么 . 即∂J H(ΘH)∂ΘH=0令 , 得∆H n,t 对比式(55)和式(58), 可以得到 的另一种等价定义形式ηηZ H n,t =R H n,t ΘH其中, 为比例因子. 理论上讲,不同迷你批数据对应的 应该有一定的差别. 但考虑到各批迷你批数据均是从整个训练集中随机选取, 因此可忽略这一差别. 根据式(16)可知 , 且将式(59)代入式(55), 得ΘH s 进一步整理, 可得 的最小二乘解2054自 动 化 学 报48 卷其中,P H s =(A H s )−1式(61)的递归最小二乘解推导过程类似于输出层参数更新推导. 令 , 同样采用上文的近似平均求解方法, 易得∆H s,t,k ∈R h (∆H s,t )Tk 其中, 为 的第 列向量, 且ΛH s,t,k =P H s −1RHs,t,k(66)Z H ∗s,t ∆H s,t 需要说明的是, 因为我们并不知道隐藏层期望输出 , 所以实际上不能通过式(59)来求取. 幸运的是, 式(54)与(59)等价, 因此在算法具体实现中, 采用式(54)来替换式(59).综上, RLS-RNN 算法如算法 1所示.算法 1. 基于RLS 优化的RNN 算法{(X 1,Y ∗1),(X 2,Y ∗2),···,(X N ,Y ∗N )},τληαRequire: 迷你批样本 时间步 , 遗忘因子 , 比例因子 , 协方差矩阵初始参数 ;ΘH 0ΘO0P H 0=αI H ,P O 0=αI O ;Initialize: 初始化权重矩阵 和 , 初始化协方差矩阵 s =1,2,···,N for do H s,0=0 设置 ;t =1,2,···,τ for do H s,t 用式(3)计算 ;Z s,t 用式(12)计算 ; end fort =τ,τ−1,···,1 for do ∆O s,t 用式(35)计算 ;∆H s,t 用式(54)计算 ;k =1,···,m for doΛO s,t,k G O s,t,k 用式(51), (52)计算 , ;ΛH s,t,k G H s,t,k 用式(66), (67)计算 , ; end for end forP Os ΘO s 用式(49), (50)更新 , ;P Hs ΘH s 用式(64), (65)更新 , ; end for .3 分析与改进3.1 复杂度分析τm a h d a d h 在RNNs 当前所用优化算法中, SGD 是时间和空间复杂度最低的算法. 本节将以SGD-RNN 为参照, 来对比分析本文提出的RLS-RNN 算法的时间和空间复杂度. 两个算法采用一个迷你批样本数据集学习的时间和空间复杂度对比结果如表1所示. 从第1节介绍可知, 表示序列数据时间步长度, 表示批大小, 表示单个样本向量的维度, 表示隐藏层神经元数量, 表示输出层神经元数量.在实际应用中, 和 一般要小于 , 因而RLS-RNN 的时间复杂度和空间复杂度大约为SGD-RNN 的3倍. 在实际运行中, 我们发现RLS-RNN 所用时间和内存空间大约是SGD-RNN 的3倍, 与本节理论分析结果正好相吻合.所提算法只需在RNNs 的隐藏层和输出层各设置一个矩阵, 而以前的RLS 优化算法则需为RNNs 隐藏层和输出层的每一个神经元设置一个与所提算法相同规模的协方差矩阵, 因而所提算法在时间和空间复杂度上有着大幅降低. 此外, 所提算法采用了深度学习广为使用的迷你批训练方式, 使得其可用于处理较大规模的数据集.λ3.2 自适应调整λλλ众多研究表明, 遗忘因子 的取值对RLS 算法性能影响较大[28], 特别是在RLS 处理时变任务时影响更大. 由于本文所提算法建立在传统RLS 基础之上, 因而RLS-RNN 的收敛质量也易受 的取值影响. 在RLS 研究领域, 当前已有不少关于 自适应调整方面的成果[28−29], 因此可以直接利用这些成果对RLS-RNN 作进一步改进.λs 在文献[29]基础上, 本小节直接给出一种 自适应调整方法. 对第 迷你批样本, RLS-RNN 各层中的遗忘因子统一定义为λmax κ>1λs κλs ξλs q s σes其中, 接近于1, 用于控制 更新, 一般建议取2, 通常 取值越小, 更新越频繁; 是一个极小的常数, 防止在计算 时分母为0; , 8 期赵杰等: 递归最小二乘循环神经网络2055σv s 和 定义为µ07/8;µ1=1−1/(ς1m )ς1≥2;µ2=1−1/(ς2m )ς2>ς1其中, 建议取 , 通常 , 且 .λs λλ当然, 采用以上方式更新 将会引入新的超参数, 给RLS-RNN 的调试带来一定困难. 从使用RLS-RNN 的实际经验来看, 也可采用固定的 进行训练, 建议将 取值设置在0.99至1之间.3.3 过拟合预防传统RLS 算法虽然具有很快的收敛速度, 但也经常面临过拟合风险, RLS-RNN 同样面临这一风险. 类似于第3.2节, 同样可以利用RLS 领域关于这一问题的一些研究成果来改进RLS-RNN.L 1Ek șio ğlu [30]提出了一种 正则化RLS 方法,即在参数更新时附加一个正则化项. 对其稍加改进,则在式(50)和式(65)的基础上可分别重新定义为γG O s,t =G O s,t,1,···,G Os,t,m G H s,t =[G H s,t,1,···,G H s,t,m ]其中, 为正则化因子, ,.实际上, 除了这种方法外, 读者也可采用其他正则化方法对RLS-RNN 作进一步改进.4 仿真实验αη为了验证所提算法的有效性, 本节选用两个序列数据分类问题和两个序列数据预测问题进行仿真实验. 其中, 两个分类问题为MNIST 手写数字识别分类[31]和IMDB 影评正负情感分类, 两个预测问题为Google 股票价格预测[32]与北京市PM2.5污染预测[33]. 在实验中, 将着重验证所提算法的收敛性能、超参数 和 选取的鲁棒性. 在收敛性能验证中, 选用主流一阶梯度优化算法SGD 、Momentum 和Adam 进行对比, 所有问题的实验均迭代运行150Epochs; 在超参数鲁棒性验证中, 考虑到所提算法收敛速度非常快, 所有问题的实验均只迭代运行50Epochs. 为了减少实验结果的随机性, 所有实验均重复运行5次然后取平均值展示结果. 此外, 为了观察所提算法的实际效果, 所有优化算法在RN-Ns 参数更新过程均不进行Dropout 处理. 需要特别说明的是: 对前两个分类问题, 由于时变性不强,所提算法遗忘因子采用固定值方式而不采用第3.2表 1 SGD-RNN 与RLS-RNN 复杂度分析Table 1 Complexity analysis of SGD-RNN and RLS-RNNSGD-RNNRLS-RNN时间复杂度O s O (τmdh )—Z s —O (τmdh ) H s O (τmh (h +a ))O (τmh (h +a ))∆O sO (4τmd ) O (3τmd ) ∆H sO (τmh (h +d ))O (τmh (h +d )) P O s —O (2τmh 2) P H s—O (2τm (h +a )2)ΘO s O (τmdh ) O (τmdh ) ΘH s O (τmh (h +a )) O (τmh (h +a ))合计O (τm (3dh +3h 2+2ha ))O (τm (7h 2+2a 2+3dh +6ha ))空间复杂度ΘO s O (hd ) O (hd ) ΘH sO (h (h +a ))O (h (h +a )) P Hs —O ((h +a )2)P O s—O (h 2)合计O (h 2+hd +ha )O (hd +3ha +a 2+3h 2)2056自 动 化 学 报48 卷节所提方式; 对后两个预测问题, 所提算法遗忘因子将采用第3.2节所提方式; 所提算法对4个问题均将采用第3.3节所提方法防止过拟合.4.1 MNIST 手写数字识别分类28×28MNIST 分类问题的训练集与测试集分别由55 000和10 000幅 像素、共10类灰度手写数字图片组成, 学习目标是能对给定手写数字图片进行识别. 为了适应RNNs 学习, 将训练集和测试集中的每张图片转换成一个28时间步的序列, 每时间步包括28个像素输入, 图片类别采用One-hot 编码.tanh (·).tanh (·)tanh −1(1)tanh −1(−1)tanh −1(x )x ≥0.997tanh −1(x )=tanh −1(0.997)x ≤−0.997,tanh −1(x )=tanh −1(−0.997)该问题所用RNN 模型结构设置如下: 1) 输入层输入时间步为28, 输入向量维度为28. 2) 隐藏层时间步为28, 神经元数为100, 激活函数为 3) 输出层时间步为1, 神经元数为10, 激活函数为. 由于 和 分别为正、负无穷大, 在具体实现中, 对 , 我们约定: 若, 则 ; 若 则 . RNN 模型权重参数采用He 初始化[34].在收敛性能对比验证中, 各优化算法超参数设ληαγβ1β2ϵ10−8αηλ=0.9999γ=0.0001η=1α=0.01,0.1,0.2, (1)=0.9999,γ=0.0001α=0.4,η=0.1,1,2,···,10置如下: RLS 遗忘因子 为0.9999, 比例因子 为1, 协方差矩阵初始化参数 为0.4, 正则化因子 为0.0001; SGD 学习率为0.05; Momentum 学习率为0.05, 动量参数0.5; Adam 学习率0.001, 设为0.9, 为0.999, 设为 . 在超参数 和 选取的鲁棒性验证中, 采用控制变量法进行测试: 1)固定 , 和 , 依次选取 验证; 2) 固定 和 依次选取 验证.αηαα在上述设定下, 每一Epoch 均将训练集随机划分成550个迷你批, 批大小为100. 每训练完一个Epoch, 便从测试集中随机生成50个迷你批进行测试, 统计其平均分类准确率. 实验结果如图2(a)、表2和表3所示. 由图2(a)可知, RLS 在第1个Epoch 便可将分类准确率提高到95%以上, 其收敛速度远高于其他三种优化算法, 且RLS 的准确率曲线比较平滑, 说明参数收敛比较稳定. 表2和表3记录了该实验取不同的 和 时第50 Epoch 的平均分类准确率. 从表2中不难看出, 不同初始化因子 在第50 Epoch 的准确率都在97.10%到97.70%之间波动, 整体来说比较稳定, 说明 对算法性能图 2 收敛性比较实验结果Fig. 2 Experimental results on the convergence comparisons8 期赵杰等: 递归最小二乘循环神经网络2057ηηαη影响较小. 从表3中可知, 不同 取值的准确率均在97.04%到97.80%之间, 波动较小, 取值对算法性能的影响也不大. 综上, RLS 算法的 和 取值均具有较好的鲁棒性.4.2 IMDB 影评情感分类IMDB 分类问题的训练集和测试集分别由25 000和10 000条电影评论组成, 正负情感评论各占50%,学习目标是能对给定评论的感情倾向进行识别. 为了适应RNNs 学习, 首先从Keras 内置数据集加载训练集和测试集的各条评论, 选取每条评论前32个有效词构成一个时间步序列, 然后对该评论中的每个有效词以GloVe.6B 预训练模型[35]进行词嵌入, 使得每个时间步包括50个输入维度, 评论的正负情感类别采用One-hot 编码.tanh (·)tanh (·)tanh −1(x )该问题所用RNN 模型结构设置如下: 1) 输入层输入时间步为32, 输入向量维度为50. 2) 隐藏层时间步为32, 神经元数为100, 激活函数为 .3) 输出层时间步为1, 神经元数为2, 激活函数为. 问题和RNN 模型权重参数的初始化按第4.1节方式同样处理.ληαγβ1β2ϵ10−8αηλ=0.9999,γ=0.001η=1α=0.01,0.1,0.2,···,1λ=0.9999,γ=0.001α=0.4η=0.1,1,2,···,10在收敛性能对比验证中, 各优化算法超参数设置如下: RLS 遗忘因子 为0.9999, 比例因子 为1, 协方差矩阵初始化参数 为0.4, 正则化因子 为0.001; SGD 学习率为0.05; Momentum 学习率为0.05, 动量参数0.5; Adam 学习率0.0001, 设为0.9, 设为0.999, 设为 . 在超参数 和 选取的鲁棒性验证中, 同样采用控制变量法进行测试: 1) 固定 和 , 依次选取 验证; 2) 固定 和 , 依次选取 验证.αηααηηαη在上述设定下, 每一Epoch 均将训练集随机划分成250个迷你批, 批大小为100. 每训练完一个Epoch, 便从测试集中随机生成50个迷你批进行测试, 统计其平均分类准确率. 实验结果如图2(b)、表2和表3所示. 由图2(b)可知, SGD 与Mo-mentum 的收敛不太稳定, 波动比较大, 而Adam 的准确率曲线则比较平滑, 这三者在训练初期的准确率都比较低. 相比之下, RLS 在训练初期的准确率已经比较接近后期预测准确率, 前期收敛速度极快, 整体准确率也明显优于其余三种优化算法. 表2和表3记录了IMDB 实验取不同的 和 时第50Epoch 的平均分类准确率. 由表2易知不同 的情况下准确率浮动范围比较小, 因此不同 对算法的影响比较小. 由表3可知, 采用不同 时其准确率在72.86%到73.82%之间浮动, 可见 的取值对算法性能影响较小. 综上, RLS 算法的 和 取值在本实验中同样都具有较好的鲁棒性.4.3 Google 股票价格预测Google 股票价格预测问题的数据源自Google 公司从2010年1月4日到2016年12月30日的股价记录, 每日股价记录包括当日开盘价、当日最低价、当日最高价、交易笔数及当日调整后收盘价五种数值, 学习目标是能根据当日股价预测调整后次日收盘价. 为了适应RNNs 学习, 首先对这些数值进行归一化处理, 然后以连续50个交易日为单位进行采样, 每次采样生成一条5维输入序列数据,同时将该次采样后推一个交易日选取各日调整后收盘价生成对应的一维期望输出序列数据, 取前1 400条序列数据的训练集, 后续200条序列数据为测试α表 2 初始化因子 鲁棒性分析αTable 2 Robustness analysis of the initializing factor α0.010.10.20.30.40.50.60.70.80.9 1.0MNIST 分类准确率 (%)97.1097.3697.3897.3597.5797.7097.1997.2797.4297.2597.60IMDB 分类准确率 (%)72.2173.5073.2473.3274.0273.0173.6873.2573.2073.4273.12×10−4股价预测MSE ( ) 5.32 5.19 5.04 5.43 5.42 5.30 4.87 4.85 5.32 5.54 5.27×10−3PM2.5预测MSE ( )1.581.551.531.551.611.551.551.541.571.581.57η表 3 比例因子 鲁棒性分析ηTable 3 Robustness analysis of the scaling factor η0.1 1.0 2.0 3.0 4.0 5.0 6.07.08.09.010.0MNIST 分类准确率 (%)97.8097.5997.4897.6197.0497.6297.4497.3397.3897.3797.45IMDB 分类准确率 (%)73.5873.4673.6273.7673.4473.8273.7172.9772.8673.1273.69×10−4股价预测MSE ( ) 5.70 5.32 5.04 5.06 5.61 4.73 5.04 5.14 4.85 4.97 5.19×10−3PM2.5预测MSE ( )1.531.551.561.591.561.531.581.551.541.501.522058自 动 化 学 报48 卷。
基于QR分解的扩展监督局部保留映射
中田 分类号ｔＰ８ １ Ｔ
基 于 ＱＲ 分解 的扩展 监督局 部保 留映射
江艳霞 ，刘子龙
（ 上海理工大学光 电信息与计算机工程学院 ，上海 ２０９） ００３ 摘 要 ：针对 局部保 留映射（Ｐ ） Ｌ Ｐ算法不能提供数据集的差异信息 问题 ，提出一种基于 Ｑ 分解 的扩展有监督 Ｌ Ｐ算法。该方法对训练数 Ｒ Ｐ
Ｉ ｉ ｅ ｃｅｔ Ｏｓｌｅｔｅｕ ｄｒｓｍｐｅ ｒｂｅ Ｕｓ ｇｔｅｄｓｒ ｎ ｔ ｇｉｆｒ ａｉｎ ｔｅｏ ｔｉｅ Ｌ ＰＱ ｓｃ ｍｂｎｄｗｉ ｉ ｅ ｉｅｒ ｔｓ ｆ ｉ ｏｖ ｈ ｎ ｅ－ａ ｌｄｐｏ ｌ ｉ ｎ ｔ ｍ． ｉ ｈ ｉ ｉ ａｉ ｏ ｔ ， ｂａｎｄ Ｓ Ｐ ／ Ｒ ｉ ｏ ｉｅ ｔ Ｆｓ ｒ ｎａ ｎ ｃ ｍｉ ｎ ｎ ｍ ｏ ｈ ｈ ｈ ｌ
ｄｓｒ ｎ ｎ ｅｆ ｒ ｎ ｅｔａ ｒ ｃ ａ ｏ ｏ ｅ ｔ ａｙ ｉ Ｐ Ａ１ ｎ Ｐ ． ｉ ｉ ａ ｔ ｒｏｍａ ｃ ｎＰ ｎ ｉ ｌ ｍｐ ｎ ｎ ｌ ｓ （ Ｃ ｄＬ Ｐ ｃ ｍｉ ｐ ｈ ｉ ｐ Ｃ Ａｎ ｓ ａ
［ ｙｗｏｄ ］Ｐ ｎｉａＣ ｍｐ ｎ ｎ ａｙｉ Ｐ Ａ）Ｌ ｃｌｙＰｅｅ ｉｇＰｏｅｔ ｎＬ Ｐ ； ｅｏ ｏｉｏ ； ｉｈｒｉｅ ｉ ｒ ｎｎ Ｋｅ ｒ ｓ ｒ ｃ ｌ ｏ ｏ ｅ ｔ ｌｓ （Ｃ ； ｏ ａｉ ｒｓｒ ｎ ｒｊｃｏ （ Ｐ ）ＱＲｄ ｃｍｐ ｓ ｎ Ｆｓｅ ｎ ａ ｄｓ ｉ ａｔ ｉ ｐ Ａｎ ｓ ｔ ｖ ｉ ｉ ｔ ｌ ｒ ｃ ｍｉ
ｄｓｒ ｎｎ ｏｒｃｉｅｆ ａ ｐｏｅｔ ｎｍａ ｘａ ｄｉ ｒｖ ｉ ｒ ｎ ｎ ｅｆｒ ｎｃ ． ｘ ｅｉ ｎ ｌｒｓｌ ｈ ｗ ｔａ ｅａｇ ｒ ｍ ａ ｅｔ ｉｃｉ ａ ｔ ｅｅ ｎｌ ｒｊｃｉ ｔ ｍｐｏ ｅｄｓ ｉ ａｔｐｒ ｍａ ｅ Ｅ ｐｒ ｍｉ ｔ ｖ ｉ ｏ ｉ ｒ ｎ ｃ ｍｉ ｏ ｍｅ ｔ ｅｕｔ ｓｏ ｔｈ ｌｏ ｔ ｈ ｓｂ ｔｒ ａ ｓ ｈ ｔ ｉ ｈ ｅ
人工智能应用技术题库(附答案)
人工智能应用技术题库（附答案）1、下面有关序列模式挖掘算法的描述，错误的是？A、priorill算法和 GSP算法都属于 priori类算法，都要产生大量的候选序列B、FreeSpan算法和 PrefixSpan算法不生成大量的候选序列以及不需要反复扫描原数据库C、在时空的执行效率上，FreeSpan比 PrefixSpan更优D、和 AprioriAll相比，GSP的执行效率比较高答案：C2、激活函数对于神经网络模型学习、理解非常复杂的问题有着重要的作用，以下关于激活函数说法正确的是A、激活函数都是线性函数B、激活函数都是非线性函数C、激活函数部分是非线性函数，部分是线性函数D、激活函数大多数是非线性函数，少数是线性函数答案：B3、以下不属于对抗生成网络的应用是（）A、文字生成B、图像生成C、图像识别D、数据增强答案：C4、以下哪种方法不属于特征选择的标准方法：A、嵌入B、过滤C、包装D、抽样答案：D5、如果一个问题或者任务不可计算，那么对这个问题或任务的描述哪一句是正确的？A、无法将该问题或任务所需数据一次性装入内存进行计算B、该问题或任务所需计算时间是线性增加的C、图灵机不可停机D、该问题或任务所需计算时间是非线性增加的答案：C6、华为的 AI全场景包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等端、边、云的部署环境。
A、TRUEB、FALSE答案：A7、下列选项中，不是人工智能的算法中的学习方法的是？A、重复学习B、深度学习C、迁移学习D、对抗学习答案：A8、机器学习训练的模型对新的、未知数据的预测能力，称为（）。
A、过拟合B、欠拟合C、正则化D、泛化能力答案：D9、当前大数据技术的基础是由（）首先提出的。
A、微软B、百度C、谷歌D、阿里巴巴答案：C10、下列哪些网用到了残差连接A、FastTextB、BERTC、GoogLeNetD、ResNet答案：D11、训练图像分类模型时，对于图像的预处理，下列技术哪项经常要用？A、图像增强B、图像灰度化C、图片二值化D、图片 RGB通道转换答案：A12、知识图谱中的实体统一主要的目的是？A、从文本中提取实体B、从实体间提取关系C、不同写法的实体统一为一个实体D、明确代词指向哪个实体答案：C13、所谓几率，是指发生概率和不发生概率的比值。
《2024年基于相似日聚类和QR-CNN-BiLSTM模型的光伏功率短期区间概率预测》范文
《基于相似日聚类和QR-CNN-BiLSTM模型的光伏功率短期区间概率预测》篇一一、引言随着光伏发电技术的快速发展和广泛应用，准确预测光伏功率成为电力系统的关键问题之一。
由于光伏发电受到多种因素的影响，如天气、时间、季节等，因此对其功率进行准确预测具有一定的挑战性。
本文提出了一种基于相似日聚类和QR-CNN-BiLSTM模型的光伏功率短期区间概率预测方法，旨在提高光伏功率预测的准确性和可靠性。
二、相似日聚类相似日聚类是预测光伏功率的重要预处理步骤。
该方法通过分析历史光伏数据，将具有相似天气条件、时间特征的数据点归为一类。
通过聚类，我们可以提取出不同类型的光照条件、温度等关键因素，进而用于后续的预测模型构建。
在聚类过程中，我们采用基于距离度量的方法，通过计算历史数据之间的欧氏距离、余弦相似度等指标，实现数据的有效聚类。
三、QR-CNN-BiLSTM模型在得到了相似日聚类结果后，我们提出了一个基于卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）的混合模型（QR-CNN-BiLSTM）进行光伏功率预测。
该模型具有较好的特征提取和序列学习能力，可以有效地捕捉光伏发电的时空特性。
1. 卷积神经网络（CNN）部分：CNN能够从原始数据中提取出有用的局部特征，如光照强度、温度等。
在QR-CNN-BiLSTM 模型中，我们采用一维CNN对时间序列数据进行特征提取。
2. 双向长短期记忆网络（BiLSTM）部分：BiLSTM是一种强大的序列学习模型，可以捕捉时间序列数据的长期依赖关系。
在QR-CNN-BiLSTM模型中，BiLSTM用于进一步提取时间序列的上下文信息，并预测未来的光伏功率。
四、模型训练与优化在训练QR-CNN-BiLSTM模型时，我们采用均方误差（MSE）作为损失函数，通过梯度下降算法优化模型参数。
为了提高模型的泛化能力，我们还采用了dropout、正则化等技巧。
此外，我们还采用了早停法（early stopping）防止过拟合。
空时自适应处理的滑窗递推QR算法
Ｑ ｆｃｏｉ ｔ ｎ ｈ ｔｏ ａ ｏ ｎｙ ｓ ｐ ｒｓ ｏ ａｉ ｄ ｓａｉｎ ｒ ｌｔｅ ｆ ｃｉｅ ， ｕ ｌ ｘ ｉｉ Ｒ ａｔｒ ａｉ ．Ｔ ｅｍｅｈ ｄ ｃ ｎ ｎ ｔｏ ｌ ｕ ｐｅｓｌｃｌ ｅ ｔｔ ａｙ ｃｕｔｒｅｆ ｔ ｌ ｂ ｔａｓ ｅ ｈｂｔ ｚ ｏ ｚ ｏ ｅ ｖｙ ｏ
算法 来 求解 自适 应 权值 ，减少 求解 自适应 权值 时的计 算
ｗｉ ｄ ｗ ｔ ｏ ｎ ｏ ｍｅ ｈ ｄ
１ 引言
空 时 自适 应 处 理 广 泛 应 用 于 机 载 雷 达 的 杂 波 抑 制 处 理 ， 但 要 达 到 好 的 杂 波 抑 制 性 能 ， 必 须 准 确 地 估 计 杂 波 和
等原 因 引起 的误 差 就会 越 大 ，从而 导 致性 能 下 降 ＿ 。此 ６ Ｊ
ａ ｅ ｇ ｖ ｎ ｔ ｅ ｏ ｓ ｒ ｔ ｈ ｆｅ ｔｖ ｎ ｓ ｆ ｈ ｔ ｏ ． ｒ ｉ ｅ ｏ ｄ ｍ ｎ ｔ ａ ｅ ｔ ｅｅ ｆ ｃ ｉ ｅ ｅ ｓｏ ｅ ｍｅ ｈ ｄ ｔ
Ｋ ｙ ｗ ｒｓ Ｓ ａｅＴｍ ｄｐｉ ｒｃｓ ｎ （ Ａ ） Ｌ ｃｌｅ ｔｔ ｎｒ ｌ ｔ ； Ｒ ｆ ｔｒ ａｉ ； ｌ ｉ ｅ ｏｄ： ｐｃ ｉ ｅＡ ａｔ ｅＰ ｏｅｓ ｇＳ Ｐ ； ｏａｚｄ ｓ ｉ ａｙｃ ｔ ｒ Ｑ ａ ｏｉ ｔ ｎ Ｓ ｄ ｇ ｖ ｉ Ｔ ｉ ａｏ ｕｅ ｃ ｚ ｏ ｉｎ
Ｓ ｃ — ｍ ｅ Ａｄ ｐ ｉｅ Ｐｒ ｃ ｓ ｉ ｇ Ａｌｏ ｉｈ ｐａ ｅ Ｔｉ ａ ｔｖ ｏ ｅ ｓｎ ｇ ｒｔ ｍ
珏 Ｊａ － ｉ ｉｎ ｘ ｎ Ｗ ａ ｇＴ ｎ ｎ ｏ ｇ Ｓ ｏＺ ｉ ｏ ｇ ｕ ｈ— ｎ ｙ Ｂａ ｈ ｎ ｏＺ ｅ ｇ
（ ａ ｏａ Ｋ ｙ ａ．ｆ ａａ ｉ ａ Ｐ ｏ ｓ ｎ， ｉ ａ ｎ ． ｉ ｎ １０１ Ｃ ｉａ Ｎ ｔ ｎ ｌ ｅ ｂ ｏＲ ｄｒ ｇ ｌ ｒｃ ｓ ｇ Ｘｄ ｎＵ ｉ， ’ ０７ ， ｈｎ） ｉ Ｌ Ｓ ｎ ｅｉ ｉ ｖＸａ７
mmpose数据datasets代码
一、介绍mmpose数据集和代码mmpose是一个用于人体姿势估计的开源库，提供了丰富的数据集和代码，可用于姿势估计的实验和研究。
mmpose提供了多个数据集，包括COCO、MPII、本人C等，以及相关的训练和测试代码。
二、mmpose数据集1. COCO数据集COCO数据集是一个用于图像识别和分割的大规模数据集，其中包含了超过20万个标记了人体姿势的图像。
这个数据集是mmpose中常用的数据集之一，用于训练和测试姿势估计模型。
2. MPII数据集MPII数据集是一个用于姿势估计的数据集，其中包含了超过25,000个姿势标记的图像。
这个数据集也是mmpose中常用的数据集之一，用于训练和测试姿势估计模型。
3. 本人C数据集本人C数据集是一个用于人体姿势估计和分割的数据集，其中包含了超过23,000个标记了人体姿势的图像。
这个数据集也是mmpose中常用的数据集之一，用于训练和测试姿势估计模型。
三、mmpose代码mmpose提供了丰富的代码库，包括数据预处理、模型构建、模型训练和测试等功能。
以下是mmpose的代码结构：1. 数据预处理mmpose提供了用于加载COCO、MPII和本人C数据集的代码，可以方便地进行数据的读取和预处理。
通过这些代码，用户可以快速地准备训练和测试数据。
2. 模型构建mmpose提供了多种姿势估计模型的实现，包括Hourglass、SimpleBaseline、HRNet等。
用户可以根据自己的需求选择合适的模型，并进行相应的训练和测试。
3. 模型训练mmpose提供了完整的模型训练代码，包括数据加载、模型构建、损失函数定义、优化器设置等。
用户可以根据自己的需求进行模型训练，并通过可视化工具监控训练过程。
4. 模型测试mmpose还提供了模型测试代码，用户可以使用已训练好的模型进行姿势估计的测试，并对测试结果进行评估和分析。
四、结论mmpose是一个功能丰富的人体姿势估计开源库，提供了丰富的数据集和代码，方便用户进行姿势估计的实验和研究。
人工智能导论测试题库及答案精选全文
精选全文完整版（可编辑修改）人工智能导论测试题库及答案1、在关联规则分析过程中，对原始数据集进行事务型数据处理的主要原因是。
A、提高数据处理速度B、节省存储空间C、方便算法计算D、形成商品交易矩阵答案：C2、计算机视觉可应用于下列哪些领域()。
A、安防及监控领域B、金融领域的人脸识别身份验证C、医疗领域的智能影像诊断D、机器人/无人车上作为视觉输入系统E、以上全是答案：E3、1943年，神经网络的开山之作《A logical calculus of ideas immanent in nervous activity》,由()和沃尔特.皮茨完成。
A、沃伦.麦卡洛克B、明斯基C、唐纳德.赫布D、罗素答案：A4、对于自然语言处理问题，哪种神经网络模型结构更适合?()。
A、多层感知器B、卷积神经网络C、循环神经网络D、感知器答案：C5、图像的空间离散化叫做：A、灰度化B、二值化C、采样D、量化答案：C6、()越多，所得图像层次越丰富，灰度分辨率高，图像质量好。
A、分辨率B、像素数量C、量化等级D、存储的数据量答案：C7、一个完整的人脸识别系统主要包含人脸图像采集和检测、人脸图像特征提取和人脸识别四个部分。
A、人脸分类器B、人脸图像预处理C、人脸数据获取D、人脸模型训练答案：B8、下列不属于人工智能学派的是()。
A、符号主义B、连接主义C、行为主义D、机会主义答案：D9、关于正负样本的说法正确是。
A、样本数量多的那一类是正样本B、样本数量少的那一类是负样本C、正负样本没有明确的定义D、想要正确识别的那一类为正样本答案：D10、以下不属于完全信息博弈的游戏有()。
A、井字棋B、黑白棋C、围棋D、桥牌答案：D11、下列关于人工智能的说法中，哪一项是错误的。
A、人工智能是一门使机器做那些人需要通过智能来做的事情的学科B、人工智能主要研究知识的表示、知识的获取和知识的运用C、人工智能是研究机器如何像人一样合理思考、像人一样合理行动的学科D、人工智能是研究机器如何思维的一门学科答案：D12、认为智能不需要知识、不需要表示、不需要推理；人工智能可以像人类智能一样逐步进化；智能行为只能在现实世界中与周围环境交互作用而表现出来。
qrode 用法
以下是使用 QR Code 的基本用法：
1. 生成 QR Code：
你可以使用各种编程语言或在线工具生成 QR Code。
这里以 Python 的qrcode库为例：
这将生成一个包含指定数据的 QR Code 图像文件。
2. 解析 QR Code：
解析 QR Code 可以使用相应的库或工具。
以 Python 为例，你可以使用opencv和pyzbar库：
3. QR Code 的应用场景：
▪网址和链接：生成包含网址的QR Code，用户可以通过扫描直接访问网页。
▪联系信息：生成包含联系人信息的 QR Code，方便添加联系人到手机通讯录。
▪文本信息：生成包含文本的 QR Code，用于快速分享文本信息。
▪支付：移动支付应用通常使用 QR Code 进行付款。
▪身份验证： QR Code 可以用于扫描登录或身份验证信息。
▪活动和广告：在海报、传单等宣传材料中加入 QR Code，方便参与活动或获取更多信息。
QR Code 的应用非常广泛，几乎涵盖了许多领域的信息分享和交流。
学术报告的数据处理软件推荐
学术报告的数据处理软件推荐在学术研究中，数据处理是一个至关重要的环节，要保证数据分析的准确性和科学性，需要使用高效的数据处理软件。
而随着科技的进步和数据量的不断增加，如何选择一款合适的数据处理软件成为了很多研究人员关注的问题。
在这里，本文将介绍几款较为适用的学术报告数据处理软件。
首先，R语言是非常优秀的数据处理软件。
R语言是一款免费、开源、功能强大的数据计算和统计分析软件。
它具有广泛的功能和插件，使得用户可以更加方便高效地处理和分析数据。
同时，R 语言中的绘图以及数据可视化功能十分强大，可以通过绘制直观的图像，更加准确地表达数据分析的结果，同时方便人们理解和把握数据的内在关系。
在学术报告中的数据分析中，R语言可以帮助研究者从大量的数据中找到规律和结论，同时为后续的研究工作提供有力支持。
其次，SPSS软件是另外一款十分优秀的数据处理软件。
SPSS软件在学术领域中应用广泛，尤其是在心理学、教育学等方面的研究中。
该软件具有十分便捷的操作方式，同时具有非常直观的统计分析输出功能，帮助人们更加快速地得到数据分析结果。
此外，SPSS还提供了多种分析方法和图表，帮助用户生成各种分析报告，非常适合在学术报告中使用。
最后，MATLAB是一款专业的科学计算和数据可视化软件，其应用广泛，尤其是物理学、生物学、化学等领域的研究。
MATLAB具有很强的可编程性和灵活性，可以适应各种数据处理需要。
同时，MATLAB还提供了多种绘图和可视化工具，方便人们更加直观地展示数据分析结果。
在学术报告中，MATLAB可以帮助研究人员更加直观地表达数据，在大量数据的处理和分析中也有着很大的优势。
综上所述，R语言、SPSS以及MATLAB都可以作为学术报告数据处理软件的优秀选择。
当然，不同的研究领域和研究方法也需要选择不同的数据处理软件，这需要根据具体研究情况来进行选择。
因此，研究人员在选择数据处理软件的过程中，应该充分考虑自己的研究需要和实际情况，选择最适合自己的软件，进而更好地推进学术研究的发展。
人工智能 (马少平 朱小燕 著) 清华大学出版社 课后答案 - 完整版(习题部分+答案部分)
人工智能(马少平朱小燕著) 清华大学出版社课后答案习题部分第一章课后习题1、对N＝5、k≤3时，求解传教士和野人问题的产生式系统各组成部分进行描述（给出综合数据库、规则集合的形式化描述，给出初始状态和目标条件的描述），并画出状态空间图。
2、对量水问题给出产生式系统描述，并画出状态空间图。
有两个无刻度标志的水壶，分别可装5升和2升的水。
设另有一水缸，可用来向水壶灌水或倒出水，两个水壶之间，水也可以相互倾灌。
已知5升壶为满壶，2升壶为空壶，问如何通过倒水或灌水操作，使能在2升的壶中量出一升的水来。
3、对梵塔问题给出产生式系统描述，并讨论N为任意时状态空间的规模。
相传古代某处一庙宇中，有三根立柱，柱子上可套放直径不等的N个圆盘，开始时所有圆盘都放在第一根柱子上，且小盘处在大盘之上，即从下向上直径是递减的。
和尚们的任务是把所有圆盘一次一个地搬到另一个柱子上去（不许暂搁地上等），且小盘只许在大盘之上。
问和尚们如何搬法最后能完成将所有的盘子都移到第三根柱子上（其余两根柱子，有一根可作过渡盘子使用）。
求N＝2时，求解该问题的产生式系统描述，给出其状态空间图。
讨论N为任意时，状态空间的规模。
4、对猴子摘香蕉问题，给出产生式系统描述。
一个房间里，天花板上挂有一串香蕉，有一只猴子可在房间里任意活动（到处走动，推移箱子，攀登箱子等）。
设房间里还有一只可被猴子移动的箱子，且猴子登上箱子时才能摘到香蕉，问猴子在某一状态下（设猴子位置为a，箱子位置为b，香蕉位置为c），如何行动可摘取到香蕉。
5、对三枚钱币问题给出产生式系统描述及状态空间图。
设有三枚钱币，其排列处在"正、正、反"状态，现允许每次可翻动其中任意一个钱币，问只许操作三次的情况下，如何翻动钱币使其变成"正、正、正"或"反、反、反"状态。
6、说明怎样才能用一个产生式系统把十进制数转换为二进制数，并通过转换141.125这个数为二进制数，阐明其运行过程。
Fujitsu PaperStream Capture Pro 用户指南.pdf_170196408
Brochure© Fujitsu. All rights reservedKey Diff erentiators:PaperStream Capture Pro off ers manyenhancements over basic capture software. These enhancements include:1. Captures paper batches or imports from fi le2. Document separation using Zonal OCR3. PaperStream IP is applied to images during scanning, during import* and after scan4. Extracts and indexes using more advanced methods including OCR, Key From Image, Database Lookup and System Data5. A separate data QC / Index module is available**PaperStream Capture ProSimple and Powerful Front-End Capture SoftwareHigh-Quality CaptureUsing PaperStream Capture Pro, organizations can quickly scan paper batches or import digital documents*. The Import feature provides a way to bring digital documents into the capture workfl ow from a multi-function device, a third-party scanner or a back-fi le of existing images.Best-In-Class Image ProcessingPaperStream Capture Pro utilizes the Fujitsu industry recognizedimage cleanup tool, PaperStream IP . With PaperStream IP , the scanned documents will be quickly and radically cleaned up for more accurate processing downstream. Unique to PaperStream Capture Pro, the image processing function can be performed during scan, during import*, or after scan.NEW!Automatic Profi le SelectionPaperStream Capture Pro reads the documents and applies a set of driver rules to capture the image perfectly each time.Multi Image OutputScan one document and output up to three fi les in diff erent color depths.One PushPaperStream Capture Pro can be confi gured just push one button to scan.PaperStream Capture Pro is a simple, yet powerful front-end capture software that effi ciently processesdocuments by off ering seamless, high-quality front-end capture, image enhancement and organized, indexed and extracted data for release. PaperStream Capture Pro can help organizations optimize important data, improve business effi ciencies and increase productivity.*Import license sold separately **QC & Validation license sold separatelyStreamline Processes Improve Effi ciencies Reduce Costs© Fujitsu. All rights reserved.Copyright 2020 Fujitsu Computer Products of America, Inc. All rights reserved. Fujitsu and the Fujitsu logo are registered trademarks. Statements herein are based on normal operating condi-tions and are not intended to create any implied warranty of merchantability or fi tness for a particular purpose. Fujitsu Computer Products of America, Inc. reserves the right to modify, at any time without notice these statements, our services, pricing, products, and their warranty and performance specifi cations.For more information visit us at Call (888) 425-8228Document SeparationIncrease operational effi ciency while reducingmanual errors using PaperStream Capture Pro’s page separation methods including:• Basic Zonal OCR • F ixed Page • Blank Page • Barcode • Patch Code • Hot KeyData ExtractionRapidly capture critical data, validate and confi rm data using various extraction techniques and fi elds including:• Manual – Key From Image (KFI)• Zonal OCR - Machine Print (20 zones)• Rubberband OCR for ad-hoc • Barcodes (up to 20)Document and Data ValidationTo quickly verify accuracy, a separate QC/ Index license is available and performs validation through multiplemethods including:• Regular Expression Validation • Required F ields • Read-Only F ields • Database Lookup • Character Masking • Database Lookup • System DataReleaseReduce the number of clicks to save fi les:• Releases images to TIF, JPEG, PDF, searchable PDF • Releases data as XML, CSV, TXT, CMIS• Releases to a folder, network folder, or FTP , FTPS,and SFTP• Releases to SharePoint, SharePoint OnlineLicenses and PurchasingPaperStream Capture Pro is cost-eff ective and easy to purchase:• No cost per click or by volume• Save 25% - Purchase the Deluxe Bundle whichincludes (1) PaperStream Capture Pro Workgroup• Streamline Processes • Improve Effi ciencies • Reduce Costs• FCPA Dedicated SupportO uaratInc。
带位移的隐式 QR 迭代
利用 householder 变换可将任意矩阵正交相似化为上 Hessenberg 矩阵.
5
隐式 QR 迭代思想
我们要求矩阵 A 的特征值, 特征向量, 可转换为求它的某个形式较好的相 似矩阵的特征值和特征向量. 因为相似矩阵具有相同的特征值, 而特征向量 只相差一个相似变换矩阵.
Ax = λx QAQ−1 (Qx) = QAx = λQx
j ∑ k=max {i−1,1}
˜ ≜ RQ 也是上 Hessenberg 矩阵. 即 Q 是上 Hessenberg 矩阵. 类似的, A 所以, QR 迭代过程中 Ak+1 都是上 Hessenberg 矩阵. 对于带位移的 QR 迭代也是, 因为 Ak+1 = Rk Qk + σk I 仅增加了一项对角矩阵, 不影响上 Hessenberg 矩阵的属性. 更进一步, 如果 A 是不可约的. 我们考虑 Q = AR−1 , 由于 R−1 是上三 角形矩阵, 可将 Q 的第 j 列视为 A 的前 j 列的一个线性组合. 并且注意到 所得第 j 列的第 j + 1 个元素仅由矩阵 A 的第 j 列的第 j + 1 个元素产生 2
QR = Q1 (Q2 R2 )R1 = Q1 (A2 − σ ¯ I )R1 = Q1 (R1 Q1 + σI − σ ¯ I )R1 = Q1 R1 Q1 R1 + (σ − σ ¯ )Q1 R1 = (A1 − σI )(A1 − σI ) + (σ − σ ¯ )(A1 − σI )
2 2 = A2 ¯ A1 + σ σ ¯I 1 − 2σA1 + σ I + σA1 − σ I − σ
我们何不转到求矩阵 A 的相似上 hessenberg 矩阵的特征值? 假设矩阵 A 就是上 hessenberg 矩阵. 根据3, Ak+1 = QT k Ak Qk 保持上 hessenberg 矩阵. 这一步需要计算一次 QR 分解. 如何利用上 hessenberg
q former机制
Q Former机制什么是Q Former机制？Q Former机制是一种用于处理问答任务的模型。
它基于自然语言处理和深度学习技术，旨在将问题转化为一个类似于填空题的形式，然后利用预训练的模型来填充答案。
这个机制的核心思想是将问题转化为一个句子，使用预训练的模型来填写这个句子中的空白部分，从而得到问题的答案。
Q Former机制的工作原理Q Former机制主要由以下几个步骤组成：1.问题解析：首先，Q Former会对输入的问题进行解析和分析。
它会识别出问题中的关键词和实体，并将它们标记出来。
例如，对于问题“谁是美国第一位总统？”，Q Former会识别出关键词“美国”和“总统”。
2.句子生成：接下来，Q Former会根据解析得到的信息生成一个填空题形式的句子。
在这个句子中，关键词和实体被替换为一个空白或占位符。
例如，在上述例子中，生成的句子可能是“______是美国第一位______？”。
3.答案填充：然后，Q Former会利用预训练的模型来填写生成的句子中的空白部分。
预训练的模型可以是基于语言模型的模型，如BERT或GPT，也可以是基于知识图谱的模型，如Knowledge Graph Completion。
通过填充空白部分，Q Former可以得到问题的答案。
4.答案生成：最后，Q Former会将填充后的句子转化为自然语言形式，并提取出答案。
在上述例子中，答案可能是“乔治·华盛顿是美国第一位总统”。
Q Former机制的优势和应用场景Q Former机制具有以下几个优势：1.灵活性：Q Former机制可以适应不同类型和形式的问题。
它能够将问题转化为一个类似于填空题的形式，并利用预训练模型来填写答案。
这种灵活性使得Q Former机制在处理各种问答任务时都表现良好。
2.可扩展性：Q Former机制可以与不同类型和规模的预训练模型结合使用。
根据具体任务需求，可以选择使用基于语言模型或知识图谱的预训练模型。
数据科学家用R语言揭秘特朗普推特幕后经过
数据科学家用R语言揭秘特朗普推特幕后经过美国数据科学家David Robinson在2016年8月9日用了12个小时，对特朗普推特文本数据进行分析挖掘，得出系列政治结论。
这次数据分析使用的工具主要是R语言，涉及到社交媒体数据的采集、清洗、加工和可视化等流程。
David Robinson在本次特朗普推特数据分析中运用了声量分析、时间序列分析、文本挖掘、十种情感分析、多维度剖析、英文分词、样本统计、数据可视化技术，并选用了R语言的twitteR包、tidytext包、dplyr包、purr包、tidyr 包、lubridate包、scales包、broom包，还调用了NRC Word-Emotion Association 词库、停用词库等。
数据科学家 David Robinson擅长 R语言和Python语言I don’t normally post about politics (I’m not particularly savvy about polling, which is where data science has had the largest impact onp olitics). But this weekend I saw a hypothesis about Donald Trump’s twitter account that simply begged to be investigated with data:我很少有发表过关于政治的文章（我一般不特别关注总统选举投票，这其实是数据科学对政治影响最大的地方）。
但是这个周末，我看到一个希望通过数据研究得出唐纳德·特朗普推特账号结论的推测性论断：Every non-hyperbolic tweet is from iPhone (his staff).Every hyperbolic tweet is from Android (from him)./GWr6D8h5ed— Todd Vaziri (@tvaziri) August 6, 2016所有非夸张性的推特来自于iPhone（他的员工）。
share anonymous statistics idea
share anonymous statistics ideaAnonymous statistics refers to the collection and analysis of data without revealing personal or identifiable information about the individuals involved. It allows researchers, policymakers, and organizations to gain insights into trends, patterns, and behaviors within a given population without compromising individuals' privacy. Here are some interesting anonymous statistics ideas that could provide valuable information in various fields:1. Healthcare: Collect anonymous statistics on the prevalence of certain diseases or conditions within different demographics. This data could help identify potential risk factors, develop preventive measures, and allocate healthcare resources accordingly.2. Education: Gather anonymous statistics on educational attainment, dropout rates, or learning outcomes among different student groups. This information could aid in identifying achievement gaps and tailoring interventions to enhance educational equity.3. Workforce: Conduct anonymous surveys on job satisfaction, work-life balance, or career progression to understand the overall well-being of employees within various industries. These statistics can help organizations identify areas for improvement and implement strategies to enhance employee satisfaction and productivity.4. Environmental impact: Collect anonymous data on personal carbon footprints, recycling habits, or energy consumption patterns. This information could be used to assess the effectiveness ofenvironmental campaigns, identify areas for improvement, and promote sustainable practices.5. Crime rates: Analyze anonymous statistics on crime rates, including types of crimes committed, geographical distribution, or demographic factors. This data can assist law enforcement agencies in planning crime prevention strategies and allocating resources efficiently.6. Social media usage: Gather anonymous statistics on social media usage patterns, such as frequency, duration, and preferred platforms. This information could help researchers and policymakers understand the impact of social media on mental health, social dynamics, and information consumption habits.7. Consumer behavior: Analyze anonymous statistics on purchasing habits, preferences, or sentiment analysis about products or services. This data can assist businesses in optimizing marketing strategies, improving customer experience, and identifying emerging trends in the market.8. Transportation: Gather anonymous statistics on commuting patterns, preferred modes of transportation, or trends in traffic congestion. This information could aid urban planners in designing effective transportation systems, reducing traffic congestion, and promoting sustainable mobility solutions.9. Mental health: Collect anonymous data on the prevalence, risk factors, and treatment outcomes of mental health conditions within different populations. This information can guide policymakersand healthcare professionals in developing targeted interventions, reducing stigma, and improving access to mental health services.10. Public opinion: Conduct anonymous surveys on various societal issues, political preferences, or public attitudes towards specific policies. This data can inform policymakers, politicians, and advocacy groups on public sentiment and help shape evidence-based decision-making processes.These are just a few examples of how anonymous statistics can provide valuable insights without compromising privacy. When collecting and analyzing anonymous data, it's crucial to follow ethical guidelines to ensure data security, confidentiality, and informed consent. This way, anonymous statistics can contribute to evidence-based decision-making, informed policies, and positive societal change.。
tartanair数据集解读
tartanair数据集解读全文共四篇示例，供读者参考第一篇示例：TartanAir数据集是一个用于机器学习和计算机视觉领域的开放数据集，由卡内基梅隆大学团队创建。
该数据集包含大量的室内和室外场景的图像和激光雷达数据，旨在提供一个多传感器模态的数据集，帮助研究人员在不同环境下进行目标识别、场景理解和导航等任务。
TartanAir数据集的特点之一是其高度真实和丰富的场景信息。
通过激光雷达数据，可以获取到场景的三维结构信息，包括建筑物、道路、车辆等物体的准确位置和形状。
图像数据则提供了更加直观的场景信息，可以帮助研究人员从不同角度理解场景的特征和内容。
除了数据的真实性外，TartanAir数据集还包含了大量的标注信息，为研究人员提供了有力的支持。
数据集中包含了目标检测、语义分割、实例分割等多个任务的标注信息，让研究人员可以直接在该数据集上进行模型的训练和测试。
另一个值得注意的特点是TartanAir数据集的多样性。
数据集中包含了来自不同环境下的场景信息，涵盖了室内、室外、城市、农村等多个场景类型。
这种多样性不仅可以帮助研究人员进行跨场景的模型训练和测试，还可以促进相关领域的研究和发展。
在使用TartanAir数据集时，研究人员需要注意数据处理和特征提取的问题。
由于数据集较大，数据处理的效率和准确性成为影响研究结果的重要因素。
数据集中不同模态的数据需要融合和提取有效的特征表示，才能更好地完成各种任务。
TartanAir数据集是一个极具价值和挑战性的数据集，为机器学习和计算机视觉领域的研究提供了重要支持和平台。
通过对该数据集的深入研究和利用，相信可以取得更多有意义的成果，推动相关领域的发展和进步。
第二篇示例：一、数据集特点3. 精准标注：每张图像都有对应的相机位姿和地面真实深度信息，这使得数据集具有高质量的标注，有助于提高算法的精度和泛化能力。
二、数据集应用第三篇示例：TartanAir数据集是一个新型的多模态遥感数据集，由卡耐基梅隆大学的研究人员创建。
cq500数据集引用
cq500数据集引用
（实用版）
目录
1.介绍 cq500 数据集
2.cq500 数据集的应用领域
3.cq500 数据集的特点
4.如何引用 cq500 数据集
正文
cq500 数据集是一个广泛应用于计算机视觉和自然语言处理领域的数据集。
它由清华大学 KEG 实验室和智谱 AI 共同发布，包含了超过500 万张图片和相应的文本描述，这些文本描述涵盖了多个主题，如日常生活、科技、文化、自然等等。
cq500 数据集在计算机视觉和自然语言处理领域有着广泛的应用。
在计算机视觉方面，该数据集可以用于图像分类、目标检测、图像生成等任务。
在自然语言处理方面，该数据集可以用于文本分类、情感分析、机器翻译等任务。
cq500 数据集具有多个特点。
首先，该数据集包含了大量的数据，超过了 500 万张图片和相应的文本描述，这使得该数据集具有很好的代表性。
其次，该数据集的文本描述涵盖了多个主题，这使得该数据集具有很好的通用性。
最后，该数据集采用了统一的标注标准，这使得该数据集具有很好的可比性。
如果想要引用 cq500 数据集，可以在论文中注明该数据集的来源，并简要介绍该数据集的特点和应用领域。
例如，可以在论文中这样写：“我们使用了 cq500 数据集，该数据集由清华大学 KEG 实验室和智谱 AI 共同发布，包含了超过 500 万张图片和相应的文本描述，这些文本描述涵盖了多个主题，如日常生活、科技、文化、自然等等。
在计算机视觉和
自然语言处理领域有着广泛的应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
stacles that hinder the availability of such datasets. First, most academic researchers do not have access to web search logs. Second, commercial search engines restrict access to their proprietary data due to privacy concerns. Accordingly, there is a need in a creative approach that can leverage the wealth of data in web search logs without compromising user privacy. A new public dataset that is described in this paper is an example of such an approach. This dataset is named QRU-1 (short for Query Representation and Understanding ), and is available for download on the Microsoft Research website2 , as well as on the workshop website. The QRU-1 dataset is constructed based on the topics that were developed during the TREC Web Track [1]. For each of the hundred topics used in Web Track in TREC 2009 and TREC 2010, we assign approximately twenty similar queries. The similar queries assigned to the original TREC topic represent the same intent, but are expressed in different forms, including synonyms, stemming variations, spelling errors and abbreviations. The similar queries in the QRU-1 dataset are automatically generated from a model trained from Bing search log data with the title of the TREC topic as an input. In addition, a manual cleaning of the generated queries is also performed and unlikely similar queries are discarded, based on a predetermined guideline. It is observed that 70% of the remaining similar queries actually occur in another Bing search log. In this way, the similar queries are generated from a model instead of being directly collected from the search log, and thus we can more effectively protect the privacy of the search engine users. The QRU-1 dataset can be used in a variety of tasks, including query rewriting, query suggestion, query segmentation and query expansion (for precise definition of these tasks, please refer to Croft et al. [2]). As a case study, in this paper, we investigate the potential of the proposed dataset for
Gu Xu
Microsoft One Microsoft Way Redmond, WA
ห้องสมุดไป่ตู้
W. Bruce Croft
Dept. of Computer Science University of Massachusetts Amherst, MA
hangli@ Michael Bendersky
QRU-1: A Public Dataset for Promoting Query Representation and Understanding Research
Hang Li
Microsoft Research Asia Danling Street, Haidian Beijing, China
croft@ Evelyne Viegas
Microsoft One Microsoft Way Redmond, WA
bemike@ ABSTRACT
zikkiwang@
evelynev@
A new public dataset for promoting query representation and understanding research, referred to as QRU-1, was recently released by Microsoft Research. The QRU-1 dataset contains reformulations of Web TREC topics that are automatically generated using a large-scale proprietary web search log, without compromising user privacy. In this paper, we describe the content of this dataset and the process of its creation. We also discuss the potential uses of the dataset, including a detailed description of a query reformulation experiment.
Dept. of Computer Science University of Massachusetts Amherst, MA
guxu@ Ziqi Wang
Dept. of Computer Science Peking University Beijing, China
Topic #1: obama family tree -------barack obama family obama family obama s family barack obama family tree the obama family barack obama s family obamas obama genealogy barack obama s family tree barack obama ancestry president obama s family obamas family obama family history obama s family tree barack obama genealogy barack obama family history barack obama geneology president obama and family obama s ancestry barak obama family tree barak obama family obama family tre obama and family tree Figure 1: Example of the TREC topic “obama family tree” and its similar queries. improving the relevance of web search results using query reformulation. The remainder of this paper is organized as follows. Section 2 introduces the content of the QRU-1 dataset. Section 3 explains the creation process of the QRU-1 dataset, and Section 4 describes the use of this dataset for query reformulation. A detailed explanation of the model for generating similar queries is deferred to the appendix.
1. INTRODUCTION
Understanding the user’s intent or the information need that underlies a query has long been recognized as a crucial part of effective information retrieval. With the recent availability of large amounts of data about user behavior and queries in web search logs, there has been an upsurge of interest in new approaches to query understanding and representing user intent. In order to promote discussion of these approaches and to identify challenges and long term research goals, we organized a series of two workshops on Query Representation and Understanding at SIGIR 2010 and SIGIR 2011 [2]. The readers may refer to the workshop website1 for more detailed information about these workshops. A key issue, raised by many workshop participants, was the importance of creating public datasets for query representation and understanding research. There are two main ob1