一种基于标签迁移学习的改进正则化奇异值分解推荐算法

合集下载

一种单模型多风格快速风格迁移方法

一种单模型多风格快速风格迁移方法

在短视频兴起的时代,各种风格滤镜效果备受人们喜爱,图像风格迁移技术已经广泛地被人们熟知。

然而,许多图像风格迁移方法一个模型都只能针对一种风格,在应用上效率低下。

Gatys等人[1]在2015年首次提出一种基于卷积神经网络的统计分布参数化纹理建模方法,他们发现VGG (Visual Geometry Group)网络的高层能够很好地表达图像的语义风格信息,网络的低层能够很好地表示图像的内容纹理特征信息,通过计算Gram矩阵来表示一种风格纹理,再利用图像重建的方法,不断优化迭代来更新白噪声图像的像素值,使其Gram矩阵与风格图Gram 矩阵相似,最后重建出既具有风格图的风格又具有内容图像的内容,这一研究引起了后来学者的广泛研究,并成功使用深度学习技术来进行风格迁移。

文献[2]从理论上验证了Gram矩阵为什么能够代表风格特征,认为神经风格迁移的本质是匹配风格图像与生成图像之间的特征分布,并提出一种新的在不同层使用批归一化统计量对风格建模方法,通过在VGG网络不同层的特征表达的每一个通道的均值和方差来表示风格,为后续研究提供了风格建模的参考。

这些方法都是在CNN(Convolutional Neural Networks)网络的高层特征空间提取特征,高层特征空间是对图像的一种抽象表达,容易丢失一些低层次的信息,比如边缘信息的丢失会造成结构上形变。

文献[3]提出在风格迁移的同时应该考虑到像素空间和特征空间,在Gatys提出的损失函数基础上,将在像素空间的内容图进行拉普拉斯算一种单模型多风格快速风格迁移方法朱佳宝,张建勋,陈虹伶重庆理工大学计算机科学与工程学院,重庆400054摘要:多数图像风格迁移任务都是一个模型只能对应一种风格,这在实际应用场景中效率低下,提出一种单模型多风格的快速风格迁移方法,只使用一个模型就可以适应任意风格样式。

使用一组线性变化分别对内容特征和风格特征进行转换,使用组合的风格损失函数来重建图像。

改进的奇异值分解法估计图像点扩散函数

改进的奇异值分解法估计图像点扩散函数

1 引 言
在图像成像过程中 , 成像系统性能造成的图
像边缘模糊和成像条件等因素带来的噪声叠加 , 往往使得图像质量退化 。为了去除或减轻这些在 成像过程中发生的图像质量退化 , 除提高成像系 统性能和改善成像条件外 [ 122 ] ,还可以利用图像复
收稿日期 :2005211231 ; 修订日期 :2006201224. 基金项目 : 国家自然科学基金资助 ( No . 30570488)
将点扩散函数第一阶奇异向量的幅度和相位估计结果耦合后进行反傅里叶变换可以得到相应的时域估计结果选定奇异向量的边界后再进行重组得到点扩散函数的估改进的点扩散函数估计方法上述估计算法中整个图像矩阵进行奇异值分解后根据经验选取固定的阶数进行重组他数值较小的奇异值被认为对应于图像的噪声因而将这些奇异值置为零
Abstract : To imp rove t he performance of image restoratio n algorit hms , a mo dified Singular Value De2 co mpo sitio n ( SVD) met hod was p ropo sed to estimate t he Point Sp read Functio n ( PSF ) of an imaging system. U sing t he discrete image degradatio n mo del , a block2based SVD filter scheme was applied for t he image denoising wit h an auto matically determined singular value rank. After t he spect ra of PSF singular vecto rs were estimated under an expo nential model for t he averaged spect ra of un2degraded image singular vecto rs , t he IFF T was used to get t he time2do main estimatio n of t he PSF. The experi2 mental result s show t hat t his p ropo sed met ho d can be applied to estimate t he PSF of t he imaging sys2 tem under a wide SN R range and it s performance is bet ter t han t he original met hod. It may be used as an effective met ho d for t he image p rep rocessing in image restoratio n p ro blems. Key words : image restoratio n ; Point Sp read Functio n ( PSF ) ; block2based Singular Value Deco mpo si2 tio n ( SVD) ;image degradatio n ; expo nential model of averaged spect ra

《2024年基于多源数据聚类与奇异值分解的混合推荐算法》范文

《2024年基于多源数据聚类与奇异值分解的混合推荐算法》范文

《基于多源数据聚类与奇异值分解的混合推荐算法》篇一一、引言随着互联网技术的飞速发展,信息过载问题日益严重,用户面临着海量的数据选择。

推荐系统作为一种有效的信息过滤工具,已经在电子商务、社交网络、在线视频等各个领域得到了广泛的应用。

传统的推荐算法通常依赖于用户的个人偏好和行为历史数据来生成推荐。

然而,单一的推荐算法难以充分捕捉和利用用户的多样性和复杂的行为模式。

因此,基于多源数据的混合推荐算法应运而生,其融合了不同数据源和算法的优点,为用户提供更精准、多样化的推荐结果。

本文将重点探讨一种基于多源数据聚类与奇异值分解的混合推荐算法。

二、相关研究近年来,混合推荐算法得到了广泛的研究和应用。

该类算法结合了不同类型的数据和算法,以优化推荐结果的准确性和多样性。

在众多算法中,基于聚类和奇异值分解的混合推荐算法因其良好的性能和可扩展性而备受关注。

聚类算法可以有效地对用户或物品进行分组,捕捉用户的潜在兴趣和需求;奇异值分解则可以用于降维和提取数据中的主要特征,提高推荐的准确性。

三、算法设计本文提出的混合推荐算法基于多源数据聚类和奇异值分解。

具体步骤如下:1. 数据收集与预处理:从多个数据源(如用户行为数据、社交网络数据、内容数据等)收集相关数据,并进行预处理,包括去重、清洗、格式化等操作。

2. 用户聚类:利用聚类算法(如K-means、谱聚类等)对用户进行分组,以捕捉用户的潜在兴趣和需求。

根据不同的数据源和需求,可以选择合适的聚类算法。

3. 奇异值分解:对聚类后的用户数据进行奇异值分解,提取主要特征和降维。

这一步骤有助于提取出隐藏在数据中的关键信息,提高推荐的准确性。

4. 混合推荐:结合用户的历史行为、兴趣偏好、社交关系等多方面信息,生成混合推荐结果。

在混合推荐过程中,可以根据具体需求调整不同数据源和算法的权重,以优化推荐效果。

5. 推荐结果评估与优化:通过用户反馈、点击率、购买率等指标对推荐结果进行评估,并根据评估结果对算法进行优化和调整。

基于遗传算法的奇异值分解信号去噪算法

基于遗传算法的奇异值分解信号去噪算法

优先出版 计 算 机 应 用 研 究 第32卷--------------------------------基金项目:河北省自然科学基金(F2014502050);中央高校基本科研业务费专项资金(2014MS127)作者简介:郑顾平(1960-),男,河北元氏人,教授,主要研究方向为电力系统分析与控制(zhengguping@);李强(1989-),男,硕士研究生,主要研究方向为嵌入式系统、配电网自动化;李刚(1980-),男,讲师,博士,主要研究方向为智能电网信息化管理,计算机仿真.基于遗传算法的奇异值分解信号去噪算法郑顾平,李 强,李 刚(华北电力大学 控制与计算机工程学院,河北 保定 071003)摘 要:针对奇异值分解信号降噪方法中吸引子轨迹矩阵(Hankel 矩阵)结构的确定,以及有效奇异值的选择两个关键问题,提出了一种基于遗传算法的奇异值分解信号去噪算法。

首先,利用原始信号构造Hankel 矩阵,运用遗传算法对矩阵结构进行优化,然后对含噪声信息的矩阵进行奇异值分解,最后通过K-medoids 聚类算法确定有效奇异值个数,对有效奇异值和其对应的向量进行奇异值分解反变换,还原原始信号,达到去噪目的。

通过仿真实验并与小波包变换、小波变换以及传统快速傅氏变换(FFT )去噪方法相比较,结果表明该算法具有良好的去噪效果。

关键词:遗传算法;奇异值分解;K-medoids 聚类算法;有效奇异值;信号去噪 中图分类号:TP393 文献标志码:ASingular value decomposition signal de-noising algorithm based on geneticalgorithmZHENG Gu-ping, LI Qiang, LI Gang(School of Control & Computer Engineering, North China Electric Power University, Baoding 071003, China)Abstract: For singular value decomposition signal de-noising algorithm, the method of confirming the structure of attractor trajectory matrix (Hankel matrix) and the way to ascertain effective singular values both are key problems. In order to solve these two problems, proposed a singular value decomposition signal de-noising algorithm based on genetic algorithm in this paper. Firstly, this algorithm constructed a Hankel matrix with the original signal, and utilized GA to optimize the matrix structure. Then it conducted singular value decomposition transformation on the matrix. Finally, it worked out the number of useful singular values by K-medoids clustering algorithm, and reconstructed the signal with the method of conducting inverse singular value decomposition transformation on the values and their corresponding vectors to achieve the purpose of signal de-noising. Through simulation experiments, comparing the algorithm proposed in this paper with wavelet packet transform, wavelet transform and traditional fast fourier transformation(FFT) signal de-noising algorithm, it shows that the algorithm here has a positive effect on signal de-noising.Key Words: genetic algorithm; singular value decomposition; K-medoids clustering algorithm; effective singular values; signal de-noising由于外界环境干扰和仪器自身的影响,信号在传输和采集等过程中易受到噪声干扰,导致原始信号发生畸变,甚至对象信号会被噪声完全淹没。

奇异值分解在推荐系统中的推荐算法分析(Ⅰ)

奇异值分解在推荐系统中的推荐算法分析(Ⅰ)

奇异值分解在推荐系统中的推荐算法分析奇异值分解(Singular Value Decomposition,简称SVD)是一种矩阵分解的方法,可以将一个矩阵分解成三个矩阵的乘积。

在推荐系统中,奇异值分解被广泛应用于推荐算法中,通过分解用户-物品评分矩阵,来提高推荐的准确性和个性化程度。

1. SVD的基本原理奇异值分解主要是将一个矩阵分解成三个矩阵的乘积,其中包括一个左奇异矩阵、一个奇异值矩阵和一个右奇异矩阵。

通过矩阵分解,可以将原始的评分矩阵转化为低维的特征空间,从而能够发现隐藏在数据中的模式和规律。

2. 推荐系统中的应用在推荐系统中,奇异值分解被广泛应用于协同过滤算法中。

协同过滤是一种根据用户行为来进行推荐的算法,其中包括基于用户的协同过滤和基于物品的协同过滤。

而奇异值分解可以有效地对用户-物品评分矩阵进行降维,从而能够更好地发现用户和物品之间的关联关系。

3. 推荐算法的优势奇异值分解在推荐系统中的推荐算法中具有一定的优势。

首先,通过降维处理,可以减少数据的稀疏性,提高模型的鲁棒性和泛化能力。

其次,SVD能够发现数据中的潜在特征,能够更好地挖掘用户的兴趣和偏好。

最后,奇异值分解还能够提高推荐系统的个性化程度,能够更好地为用户提供符合其需求的推荐结果。

4. 推荐算法的不足之处然而,奇异值分解在推荐系统中也存在一些不足之处。

首先,SVD对于大规模数据的处理能力有限,需要消耗大量的计算资源和时间。

其次,SVD在面对稀疏矩阵和缺失数据时表现不佳,容易受到噪声和异常值的影响。

最后,SVD只能对评分矩阵进行分解,无法直接处理用户的隐式反馈数据和多样化的用户行为。

5. 推荐算法的改进方向为了克服奇异值分解在推荐系统中的不足之处,研究者们提出了许多改进方案。

其中,基于奇异值分解的矩阵分解算法(Matrix Factorization)是一种常见的改进方法,通过引入正则化项和偏置项,能够提高模型的泛化能力和鲁棒性。

奇异值分解在推荐系统中的推荐算法分析

奇异值分解在推荐系统中的推荐算法分析

奇异值分解在推荐系统中的推荐算法分析奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解的方法,它将一个矩阵分解为三个矩阵的乘积。

在推荐系统中,SVD被广泛应用于协同过滤算法,用于解决推荐系统中的用户-物品矩阵稀疏性和预测准确性的问题。

本文将用1200字左右的篇幅,探讨奇异值分解在推荐系统中的应用以及推荐算法的分析。

奇异值分解是一种将矩阵分解为三个矩阵的乘积的方法,即A = UΣV^T,其中A是一个m×n的矩阵,U是一个m×m的矩阵,Σ是一个m×n的对角矩阵,V^T 是一个n×n的矩阵的转置。

在推荐系统中,用户-物品矩阵可以看作是一个m×n 的矩阵,其中m代表用户的数量,n代表物品的数量。

推荐系统的目标是利用用户对物品的评分数据,为用户推荐他们可能感兴趣的物品。

而用户-物品矩阵往往是非常稀疏的,即大多数用户对大多数物品没有评分数据。

这就导致了传统的推荐算法在预测用户对物品的评分时面临着数据稀疏性和预测准确性的问题。

奇异值分解通过将用户-物品矩阵分解为三个矩阵的乘积,能够减少数据的维度,并且保留了其重要的特征。

这使得推荐系统能够更准确地预测用户对物品的评分,并且能够更好地处理数据稀疏性的问题。

同时,奇异值分解还能够发掘用户和物品之间的潜在关系,从而为用户推荐他们可能感兴趣的物品。

在推荐系统中,奇异值分解通常与协同过滤算法结合使用。

协同过滤算法是一种基于用户历史行为数据的推荐算法,它分为基于用户的协同过滤和基于物品的协同过滤。

奇异值分解可以用来分解用户-物品矩阵,从而得到用户和物品的隐含特征向量,并且基于这些隐含特征向量来进行推荐。

在基于用户的协同过滤中,奇异值分解可以用来降低用户-物品矩阵的维度,从而减少用户之间的相似度计算的复杂度,并且能够更精确地预测用户对物品的评分。

在基于物品的协同过滤中,奇异值分解可以用来发掘物品之间的潜在关系,从而为用户推荐他们可能感兴趣的物品。

奇异值矩阵分解算法改进设计与应用效果分析

奇异值矩阵分解算法改进设计与应用效果分析

奇异值矩阵分解算法改进设计与应用效果分析1.引言奇异值矩阵分解(Singular Value Matrix Factorization, SVD)是一种常用的矩阵分解算法,被广泛应用于推荐系统、图像压缩、自然语言处理等领域。

然而,在实际应用中,原始的SVD算法存在一些限制,如计算复杂度较高、容易产生过拟合等问题。

为了克服这些限制,研究者们提出了一系列的改进设计,本文将对这些改进进行分析,并评估其在实际应用中的效果。

2.奇异值矩阵分解算法2.1 基本原理SVD算法通过将矩阵分解为三个矩阵的乘积,实现对原始矩阵的降维和特征提取。

具体而言,对于一个m×n的矩阵A,SVD将其分解为U、S和V三个矩阵的乘积,即A=USV^T,其中U和V是正交矩阵,S是对角矩阵。

S的对角元素称为奇异值,表示矩阵A在对应的特征向量方向上的重要性。

2.2 算法流程传统的SVD算法主要包括以下几个步骤:(1)计算A^TA的特征向量和特征值,得到V;(2)计算AA^T的特征向量和特征值,得到U;(3)将A进行奇异值分解,得到S。

3.算法改进设计3.1 隐式反馈数据处理在许多应用场景中,用户对物品的喜好往往是隐式的,例如用户的点击、观看历史等。

传统的SVD算法无法直接利用这些隐式反馈数据,因此研究者们提出了一系列的改进方法,如隐反馈矩阵分解(Implicit Matrix Factorization, IMF)算法。

IMF算法通过将隐式反馈数据转化为正态分布的隐式评分进行计算,从而提升了推荐系统的性能。

3.2 正则化项引入SVD算法容易受到过拟合的影响,为了解决这个问题,研究者们引入了正则化项。

正则化项可以限制模型的复杂度,防止过拟合的发生。

常用的正则化项有L1正则化和L2正则化,通过最小化正则项与损失函数的和来求解优化问题,达到控制模型复杂度的目的。

3.3 基于深度学习的改进近年来,深度学习在推荐系统领域取得了巨大的成功。

提升购物体验个性化推荐系统解决方案

提升购物体验个性化推荐系统解决方案

提升购物体验个性化推荐系统解决方案第一章:个性化推荐系统概述 (2)1.1 推荐系统的发展历程 (2)1.2 个性化推荐系统的定义与作用 (3)第二章:用户画像构建 (3)2.1 用户画像的基本概念 (3)2.2 用户特征信息收集 (4)2.2.1 用户基本信息 (4)2.2.2 用户行为数据 (4)2.2.3 用户消费习惯 (4)2.2.4 社交媒体信息 (4)2.3 用户画像的建模方法 (4)2.3.1 文本分析 (4)2.3.2 关联规则挖掘 (4)2.3.3 聚类分析 (5)2.3.4 机器学习算法 (5)2.3.5 深度学习算法 (5)第三章:商品信息处理 (5)3.1 商品属性提取 (5)3.1.1 数据清洗 (5)3.1.2 文本预处理 (5)3.1.3 属性提取 (5)3.2 商品分类与标签 (6)3.2.1 商品分类 (6)3.2.2 商品标签 (6)3.3 商品相似度计算 (6)3.3.1 文本相似度 (6)3.3.2 属性相似度 (7)3.3.3 商品混合相似度 (7)第四章:推荐算法选择与应用 (7)4.1 常见的推荐算法介绍 (7)4.2 算法适用场景分析 (8)4.3 推荐算法的优化策略 (8)第五章:推荐结果排序与展示 (8)5.1 推荐结果排序策略 (9)5.2 推荐结果的多样化展示 (9)5.3 用户交互与反馈 (9)第六章:冷启动问题解决 (10)6.1 冷启动现象分析 (10)6.2 解决冷启动问题的策略 (10)6.3 冷启动问题的实际应用 (11)第七章:推荐系统的评估与优化 (11)7.1 推荐系统的评估指标 (11)7.2 评估方法的实施与改进 (12)7.3 推荐系统的持续优化策略 (12)第八章:数据安全与隐私保护 (13)8.1 数据安全的重要性 (13)8.2 用户隐私保护策略 (13)8.3 数据合规与监管要求 (14)第九章:个性化推荐系统在电商行业的应用 (14)9.1 电商平台推荐系统的特点 (14)9.1.1 数据丰富性 (14)9.1.2 多元化推荐目标 (14)9.1.3 实时性 (14)9.1.4 用户画像与商品画像 (14)9.2 个性化推荐系统在电商场景的实践 (15)9.2.1 内容推荐 (15)9.2.2 搜索推荐 (15)9.2.3 购物车推荐 (15)9.2.4 个性化首页 (15)9.3 电商行业推荐系统的未来趋势 (15)9.3.1 深度学习与人工智能技术的应用 (15)9.3.2 跨平台数据整合 (15)9.3.3 个性化推荐与用户互动的结合 (15)9.3.4 推荐系统与物联网、大数据技术的融合 (15)第十章:个性化推荐系统的发展趋势 (15)10.1 技术创新趋势 (16)10.2 行业应用趋势 (16)10.3 用户需求与市场变化趋势 (16)第一章:个性化推荐系统概述1.1 推荐系统的发展历程推荐系统作为信息检索和在线服务的重要组成部分,其发展历程可追溯至上世纪90年代。

基于奇异值分解的改进bayes集员辨识递推算法

基于奇异值分解的改进bayes集员辨识递推算法

基于奇异值分解的改进bayes集员辨识递推算法近年来,许多分布式计算场景都需要对大数据集进行高效分析。

Bayes集员辨识算法是一类用于处理大规模数据的有效方法,可以将一个数据集的特征和隐含变量联系起来。

然而,传统的Bayes集员辨识递推算法存在计算量大、效率低等问题,使得应用者无法在实时分析应用中获得较好的性能。

为此,本文提出了一种基于奇异值分解的改进Bayes集员辨识递推算法,它利用特征间的关联性来减少计算量,从而达到高效的目的。

首先,本文介绍了传统的Bayes集员辨识算法,详细阐述了它的原理和应用。

随后,本文结合奇异值分解和Bayes集员辨识思想,提出了基于奇异值分解的改进Bayes集员辨识递推算法。

通过利用特征间的关联性,将数据表示为低维空间,从而减少计算量。

此外,本文还提出了一种基于特征相关性的特征选择策略,从而排除不相关的特征,进一步降低计算量。

接着,本文使用实验验证了算法性能。

实验结果表明,该算法可以有效地减少计算量,实现高效的数据分析;而且,基于特征相关性的策略可以进一步提高算法的效率。

最后,本文综述了基于奇异值分解的改进Bayes集员辨识递推算法的研究进展,并就未来的研究讨论了几点观点。

总的来说,基于奇异值分解的改进Bayes集员辨识递推算法可以有效地降低计算量,从而为大规模数据集分析提供有力支持。

本文从机器学习、数据挖掘和大规模数据分析的角度,提出了基于奇异值分解的改进Bayes集员辨识递推算法。

该算法利用特征间的关联性,将数据表示为低维空间,从而减少计算量,实现高效分析和实时性能。

结果表明,定义了一个基于特征相关性的特征选择策略,可以有效减少计算量,提高算法效率。

此外,本文还就未来的研究讨论了几点观点,以期推动该领域的进一步发展。

基于奇异值分解的改进bayes集员辨识递推算法

基于奇异值分解的改进bayes集员辨识递推算法

基于奇异值分解的改进bayes集员辨识递推算法
Bayes集员辨识(BSI)在模型识别和机器学习等领域中有广泛的应用。

它构建一种新的预测模型,并以有效和准确的方式鉴定集员。

然而,传统的Bayes集员辨识方法存在着
一些局限性,它依赖于较高的时间和空间资源。

为了解决这个问题,研究人员引入了基于
奇异值分解(SVD)的改进Bayes集员辨识(EBSI)递推算法。

EBSI算法改进了传统的BSI方法,其中的基本思想是通过前几次的输出信号,预测下一次的输出,以此实现集员辨识。

在基本的BSI算法中,为了更好地计算状态转移概率,
引入了建模步骤,但是这要求有大量的数据计算,易产生矩阵运算的计算负担,影响分解
的效率、精度和准确性。

因此,EBSI算法引入了SVD,从而可以避免矩阵计算的时间和空
间复杂度,极大地改善了递推辨识的效率和准确性。

在EBSI算法中,维护了一个多元线性模型,该模型使用奇异值分解将系统状态向量
和参数向量拆分成若干简单的矩阵,可以精确地把状态变换定义为一个矩阵。

EBSI通过不断地更新系统模型参数,并识别出给定输入的当前集成状态,从而实现集成的辨识和识别。

总的来说,基于奇异值分解的改进Bayes集员辨识递推算法可以大大改善BSI算法的
时间和空间复杂性,显著提高它们的准确性和精确性。

由此可见,EBSI算法在模型识别和机器学习中具有重要意义,可以更快更准确地鉴别集成的状态。

基于DCIO-DNN和迁移学习的基因表达回归预测模型

基于DCIO-DNN和迁移学习的基因表达回归预测模型

第38卷第1期2021年1月计算机应用与软件C om puter A p p lic a tio n s and SoftwareV o l.38 N o.1Jan. 2021基于DCIO-DNN和迁移学习的基因表达回归预测模型薛艳锋12李春3高永强21 (山西大学复杂系统研究所山西太原030006)2(吕梁学院计算机科学与技术系山西吕梁033000)3(太原理工大学信息与计算机学院山西太原030024)摘要传统预测基因表达的线性模型无法解决基因表达谱数据高维度、少样本和非线性的现实问题。

对此提出一种基于直连输入输出深度神经网络(D C IO-D N N)和迁移学习的基因表达回归预测模型(D C IO-T O N_G M)。

提出一种可以建模la n d m a rk和ta rg e t基因的线性和非线性映射关系的新型网络结构;引入迁移学习策略和正则化技术在小数据集上训练了模型。

实验结果表明,该模型各项指标都更高。

关键词基因表达谱la n d m a rk基因ta rg e t基因D C IO-D N N网络迁移学习中图分类号T P3文献标志码A D O I:10.3969/j.i s s n.1000-386x.2021.01.044GENE EXPRESSION REGRESSION PREDICTION MODEL BASEDON DCIO-DNN AND TRANSFER LEARNINGX ue Y a n fe n g1,L i C hun3Gao Y on gq ian g21(Complex Systems Research Center,Shanxi University,Taiyuan030006, Shanxi,China)2(Department of Computer Science and Technology,Liiliang University,Liiliang033000,Shanxi,China)3(College of Information and Computer,Taiyuan Universitt of Technology,Taiyuan033024,Shanxi,China)A b s tr a c t The tra d itio n a l lin e a r m odel fo r p re d ic tin g gene expression can not solve the p ra c tic a l problem s o f h ig h-d im e n s io n a l,low-sam ple and n o n lin e a r gene expression p ro file.T h is paper proposes a gene expression regression p re d ic tio n m o d e l(D C IO-D N N_G M)based on d ire c t connection in p u t and o u tput deep ne ura l netw ork(D transfe r le a rn in g.A new netw ork s tru c tu re,D C IO-D N N n e tw o rk,was proposed w h ic h can m odel the lin e a r and n o n­lin e a r m ap ping re la tio n s h ip b etween la n d m a rk and target genes;transfer le a rn in g strategy and reg ulariza tion technology were in tro d u ce d to tra in t he m odel on sm all data sets;The exp erim e ntal results show that the in d ica to rs o f the m odel areh ig h e r.K e y w o rd s Gene expression p ro file La nd m ark gene T arget gene D C IO-D N N netw ork T ransfe r le a rn in g〇引言基因表达谱数据可被用于基因功能预测、作物优化、疾病相关基因发现和药物筛选等[14],但获取过程繁杂、成本极高,难以开展大规模全基因组表达谱分 析。

奇异值矩阵分解算法改进设计与应用效果分析

奇异值矩阵分解算法改进设计与应用效果分析

奇异值矩阵分解算法改进设计与应用效果分析奇异值分解(Singular Value Decomposition,简称SVD)作为一种重要的矩阵分解方法,广泛应用于信号处理、数据降维、推荐系统等领域。

然而,传统的SVD算法在大规模矩阵分解时存在计算量大、内存消耗高以及运行效率低下等问题。

因此,针对这些问题,本文基于奇异值矩阵分解算法进行改进设计,并对其应用效果进行分析。

1. 改进设计1.1 随机化SVD算法随机化SVD算法是一种改进的矩阵分解算法,通过引入随机采样和随机投影的方法,解决了传统SVD算法的计算复杂度高问题。

该算法将原始矩阵转换为一个低秩矩阵,从而减少计算量。

在实际应用中,通过调整采样次数和投影维度,可以在保证精度的同时显著降低运行时间。

1.2 并行化处理为了进一步提高运行效率,可以将奇异值矩阵分解算法进行并行化处理。

通过将原始矩阵划分为多个子矩阵,并分配给多个计算节点进行并行计算,可以充分利用多核处理器的计算能力,提高整体运行效率。

此外,还可以采用基于图形处理器(GPU)的并行计算框架,进一步加速奇异值分解过程。

2. 应用效果分析为了评估改进设计的奇异值矩阵分解算法在实际应用中的效果,我们选择了推荐系统作为应用场景进行测试。

通过对比传统SVD算法和改进设计后的算法,在推荐准确度和推荐速度等指标上进行对比分析。

2.1 推荐准确度根据实际数据集,我们使用传统SVD算法和改进设计后的算法对用户-物品评分矩阵进行分解,并利用已知评分进行推荐。

然后,通过计算推荐结果与实际评分之间的差异,评估推荐准确度。

实验结果表明,改进设计后的算法在推荐准确度上优于传统SVD算法,能够更精准地为用户推荐感兴趣的物品。

2.2 推荐速度除了准确度外,推荐系统的实时性也是评价指标之一。

通过使用包含大规模用户评分信息的数据集,我们对比了传统SVD算法和改进设计后的算法在推荐速度上的差异。

实验结果表明,改进设计后的算法能够显著提高推荐速度,大大减少了响应时间,使得实时推荐成为可能。

一种基于局部结构的改进奇异值分解推荐算法

一种基于局部结构的改进奇异值分解推荐算法

② ho o Sf』 T i9 乱 n 粥 Be i 1 0 8 , hn ) (cDff o ¨ t0 J s h n U ie 礼 i扎 0 0 4 C in j

Abtat Reo src: cmme d rag r h ae nSn ua au c mp s in(V p r r etri rdcin n e loi ms sdo ig lr leDeo oi o S D) ef ms te p e i o t b V t o b n t
关键 词:信 息处理;推荐系统;协 同过 滤;奇异值分解 (V 1 S D ;局部结构 中图分类号: P 9 T 33 D I 1. 2/PJ14 . 1. 29 0 : 0 74S . 16 02 19 3 . 2 0 文献标识码: A 文章编号 : 09 8621)618—6 10— 9 ( 30—24 5 0 0
势 ,但在用随机梯度下 降法求解过程 中误差下降速度逐渐变慢、迭代 次数较 多,这极大限制 了其在 实际项 目中的应
用 。针 对 这 个 问题 ,该 文 利 用 评 分 矩 阵 的差 分 矩 阵来 表 征 局 部 结 构 信 息 ,并 作 为 新 的 目标 函数 来 优 化 S VD 推 荐 算
wih o h r s a e o - h — r e o me d r a g rt ms t e p o o e l o ih i o l e o d t VD++, o v r t t e t t — ft e a tr c m n e l o ih , h r p s d a g rt m s n y s c n o S h we e
第 3 第 6期 5卷 21

Vo . 5 . 1 NO 6 3 J n 2 1 u . 03

基于改进的奇异值分解的红外弱小目标检测

基于改进的奇异值分解的红外弱小目标检测

基于改进的奇异值分解的红外弱小目标检测冯洋【摘要】为了克服传统的基于奇异值分解的目标检测方法存在目标强度变弱的不足之处,采用改进的奇异值分解方法用于红外弱小目标检测。

根据奇异值分解的性质,对其中目标贡献最大的中序部分奇异值进行了非线性修正的改进,并将其它奇异值设置为零后通过重构图像得到背景抑制后的目标图像。

结果表明,该方法不仅能够保存和增强目标能量,提高目标信号的信杂比和对比度,而且还能得到很好的背景抑制效果。

%In order to solve the problem of target strengh weakness of traditional target detection method based on singular value decomposition (SVD), an improved SVD algorithm was proposed for background suppression in dim and small infrared targetdetection .According to the nature of SVD , nonlinear transformation was adopted to improve the middle order part of image singular values for the largest contribution to the goal .And then, the other singular value was set to zero , finally the target image was obtained by reconstructingimage .The experimental results show that the proposed method could preserve and enhance the target signal, improve the signal-to-clutter ratio and contrast ratio ,and have good performance in complicated background suppression .【期刊名称】《激光技术》【年(卷),期】2016(040)003【总页数】4页(P335-338)【关键词】图像处理;红外图像;目标检测;背景抑制;改进的奇异值分解【作者】冯洋【作者单位】渭南师范学院物理与电气工程学院,渭南714000【正文语种】中文【中图分类】TN911.73红外监视告警系统中红外弱小目标的检测与跟踪一直是该领域研究的热点。

一种基于信息增益及遗传算法的特征选择算法

一种基于信息增益及遗传算法的特征选择算法

计算机科学2006Vol133№110 一种基于信息增益及遗传算法的特征选择算法3)任江涛 孙婧昊 黄焕宇 印 鉴(中山大学计算机科学系 广州510275)摘 要 特征选择是模式识别及数据挖掘等领域的重要问题之一。

针对高维数据对象,特征选择一方面可以提高分类精度和效率,另一方面可以找出富含信息的特征子集。

针对此问题,本文提出一种综合了filter模型及wrapper模型的特征选择方法,首先基于特征之间的信息增益进行特征分组及筛选,然后针对经过筛选而精简的特征子集采用遗传算法进行随机搜索,并采用感知器模型的分类错误率作为评价指标。

实验结果表明,该算法可有效地找出具有较好的线性可分离性的特征子集,从而实现降维并提高分类精度。

关键词 特征选择,信息增益,遗传算法Feature Selection B ased on Inform ation G ain and G AREN Jiang2Tao SUN Jing2Hao HUAN G Huan2Yu YIN Jian(Depart ment of Computer Science,Zhongshan University,Guangzhou510275)Abstract Feature selection is one of the important problems in the pattern recognition and data mining areas.For high2 dimensional data,feature selection not only can improve the accuracy and efficiency of classification,but also can dis2 cover informative feature subset.This paper proposes a new feature selection method combining filter and wrapper models,which first filters features by feature partition based on information gain,and realizes the near optimal feature subset search on the compact representative feature subset by genetic algorithm;and the feature subset is evaluated by the classification inaccuracy of the perceptron model.The experiments show that the proposed algorithm can find the feature subsets with good linear separability,which results in the low2dimensional data and the good classification accu2 racy.K eyw ords Feature selection,Information gain,GA1 引言特征选择是模式识别与数据挖掘领域的重要数据处理方法之一。

一种基于截断奇异值分解正则化的电离层层析成像算法

一种基于截断奇异值分解正则化的电离层层析成像算法

一种基于截断奇异值分解正则化的电离层层析成像算法欧明;甄卫民;於晓;徐继生;邓忠新【摘要】提出了一种基于截断奇异值分解正则化(Truncated Singular Value Decomposition,TSVD)的电离层层析成像算法.该算法选择球谐函数与经验正交函数作为表征电离层电子密度空间变化的基函数,以降低背景模型对层析成像的影响;利用广义交叉验证法来选择合适的截断参数,提高了算法的稳定性和反演精度.基于中国区域23个观测站的电离层层析成像仿真结果表明:与乘法代数重构算法(Multiplicative Algebraic Reconstruction Technique,MART)相比,基于TSVD 正则化的电离层层析成像算法能够在不需要背景电离层电子密度作为先验条件的情况下,实现电离层电子密度的有效反演.【期刊名称】《电波科学学报》【年(卷),期】2014(029)002【总页数】8页(P345-352)【关键词】电离层层析成像;TSVD;球谐函数;经验正交函数;MART【作者】欧明;甄卫民;於晓;徐继生;邓忠新【作者单位】武汉大学电子信息学院,湖北武汉430079;中国电波传播研究所,山东青岛266107;中国电波传播研究所,山东青岛266107;武汉大学电子信息学院,湖北武汉430079;中国电波传播研究所,山东青岛266107;武汉大学电子信息学院,湖北武汉430079;中国电波传播研究所,山东青岛266107【正文语种】中文【中图分类】P352.7引言电离层层析成像(Computerized Ionospheric Tomography,CIT)是一种有效的电离层测量技术,它利用无线电波从探测目标的外部扫描电离层,根据目标介质(电离层与大气层)对波作用的积分效应(低维投影效应)确定目标介质的高维分布.自从Austen等首次提出联合应用卫星无线电信标测量和层析成像技术反演电子密度二维分布以来,CIT获得了广泛的应用[1].由于CIT观测本身的局限,如观测台站数量稀少、观测视角有限等,CIT问题具有严重的不适定性,其中最为直接的表现就是观测系数矩阵高度病态.一般情况下,只有融合一定的先验知识才能获得唯一解.为了克服CIT中遇到的病态矩阵反演问题,国内外很多学者采用了不同的层析成像算法[2-10].其中常用的办法是直接引入背景电离层模型参数作为电子密度先验信息对成像算法进行约束,然后利用行作用技术(Row Action Methods,RAM)对方程进行迭代求解,以获取一个稳定的电子密度解[4-5,10].但由于背景电离层模型(通常采用经验电离层模型)只能反映出电离层的平均变化特征,直接利用背景电离层模型给出的电离层电子密度分布存在较大的误差,这导致层析成像的所求解与问题真实解的偏差较大.截断奇异值分解(Truncated Singular Value Decomposition,TSVD)是一种直接的正则化方法,该方法已有效应用于全球定位系统(Global Position System,GPS)定位、生物发光断层成像等领域[11-12].本文提出将 TSVD 正则化方法应用于 CIT问题中,并通过球谐函数和经验正交函数组合表征电离层的方法,解决一般成像算法对背景模型的依赖问题.同时,选择中国区域23个观测站进行了三维电离层电子密度层析成像仿真.在仿真试验中,选择RAM中的乘法代数重构算法(Multiplicative Algebraic Reconstruction Technique,MART)层析成像结果作为对比,仿真结果验证了基于TSVD正则化的CIT算法的准确性和有效性.1 CIT原理与方法CIT作为一个反演问题,它通过一系列卫星和地面接收机间无线电信号传播路径上的积分总电子含量(Total Electron Content,TEC)测量来重构区域内未知电离层电子密度分布.地面接收机所获得的TEC可以表示为沿信号传播路径上电子密度的积分,有式中:di为总电子含量;Ne(r)为电子密度,随时间和空间而变化;s为地面接收机至卫星的视线路径.将反演区域划分为N个网格,采用级数展开型算法,利用一组空间基函数hk(r)将电子密度分布离散化,有在给定基函数的具体形式后,根据相应射线的几何位置可以确定gik.,CIT问题可以转换为求解下列线性方程组的问题式中:向量d由TEC观测数据di组成;待求向量X由待定的基函数权重ak组成;投影矩阵A由基函数加权的第i条信号传播路径在第j个网格内投影相对于参考路径的增量gik组成.采用CIT算法求得基函数权重,便可得到电子密度的分布.基函数(空间)形式上可分为局域基和全域基.局域基指象素类函数,其将空间离散为有限数目的象素,将象素中的电子密度当作常数分布;全域基函数在整个图像区域中定义,常用有傅里叶基、模式化基等.现有CIT通常的做法是,选择局域基像素基函数将积分方程离散化[2-3],然后采用 MART算法求解式(4).MART的迭代方式为[4-5]:利用经验电离层模型给出的电子密度值作为迭代初值X(0),且Xj(0)>0,j =1,…,n,采用以下迭代方式求解方程的迭代顺序为i=k(mod·m)+1,m为反演区域划分的网格总数.式(5)中:i为TEC路径编号;j为网格编号;和分别为迭代k+1次和k次的第j个网格的电子密度;di为第i条路径的总电子含量;aij为第i条路径在第j个网格内的投影;‖ai‖为第i条路径总长;λ为松弛因子,其变化范围为0<λk<1,在迭代过程中,一般设定松弛因子为常数.2 基于TSVD正则化的CIT2.1 基函数选取基函数的选取对成像结果的质量影响很大.如果基函数的选取能够体现电离层的实际状态,则其数目将会大为减少,反演问题本身的不适定程度也会降低很多.本文选取全局基模式化基函数作为CIT中的基函数.利用球谐函数表述电子密度水平方向的变化特征,经验正交函数表征电子密度的垂直变化特征,有式中:为缔合勒让德函数;φ表示纬度;λ表示经度;fk表示第k阶的经验正交函数,本文采用美国国家大地测量网(National Geodetic Survey,NGS)提供的经验正交函数[7];a和b为待求未知系数.利用模式化基函数对式(1)进行线性化后,CIT积分方程的求解量将不再是电离层电子密度本身,而是基函数的权重系数,通过基函数乘上权重系数可重构出电离层电子密度值.2.2 未知系数求解CIT中系数矩阵A是严重病态的,随着其奇异值逐渐趋近于零,数据中的微小噪声将被放大,所求得的解将会远远偏离问题的真实解[11].在实际测量中,测量噪声是不可避免的,为了得到层析成像的稳定解,将TSVD方法作用于模型中的系数矩阵A,通过改造系数矩阵A,将容易导致解不稳定的较小的奇异值直接去除,从而增强层析成像过程中解的可靠性.CIT中的关键是对式(4)的求解.由于其不适定性,通常将其转换为最小二乘问题式中:U =(u1,u2,…,un),ui为左奇异值向量;V =(v1,v2,…,vn),vi 为右奇异值向量;Σ =(σ1,σ2,…,根据矩阵的奇异值分解理论,可将矩阵A分解为σn),σi为奇异值.则式(7)的最小二乘解可以表示为TSVD方法的核心即为通过截断过小的奇异值,以保证层析成像过程中,真实的电子密度分布不被放大的噪声所淹没,从而保证解的可靠性.令σk是要保留的最小的非零奇异值,则对于任意k<rank(A),取矩阵Ak可认为是秩为k的矩阵中最接近原矩阵A的一个较低阶矩阵,由此,式(9)的解转化为基于TSVD正则化的CIT本质上是数学中利用适定问题来逼近原问题的一种方法,该方法利用有界的算子Ak来逼近原始算子A,从而实现在噪声数据中提取最优化的电离层电子密度信息的目的.在TSVD正则化用于CIT的过程中,截断参数k的选择是非常重要的,k选择太小,电离层成像结果将受测量噪声的影响较大;若k选择过大,则成像结果将过于平滑而无法体现电离层变化的结构特征.本文选择GCV法来求解得到最优化截断参数.3 数值仿真及结果分析3.1 仿真场景设置选择中国区域的北京、长春、德令哈、广州、哈尔滨、海拉尔、昆明、拉萨、泸州、琼中、上海、绥阳、泰安、塔什、乌鲁木齐、武汉、乌什、西安、下关、厦门、西宁、盐池、郑州等观测站进行CIT数值仿真,站点经纬度坐标如表1所示.根据站点分布区域,设定13°~55°N,70°~140°E,高度100~1 000km范围内的区域为CIT的区域,考虑到电离层的变化特征和计算机的性能,层析区域内网格划分为纬度和经度间隔1°,高度间隔20km.每次成像仿真选取所有台站观测的2h内的GPS射线进行.一般GPS接收机的采样间隔是30 s,对一条GPS观测链路来说,由于卫星轨道较高,GPS卫星运动的角速度很小(周期约12h),对应层析成像区域的网格基本没有变化,为节省存储空间和减小计算量,取0.5h作为观测间隔.表1 参与电离层层析成像仿真的观测站位置站点名称地理经度/(°)E 地理纬度/(°)N北京(bjfs)115.89 39.65长春(chun) 125.44 43.81德令哈(dlha) 097.37 37.38广州(guan) 113.33 23.19海拉尔(hlar) 119.74 49.27哈尔滨(hrbn) 126.62 45.70昆明(kmin) 102.79 25.02拉萨(lhas) 091.10 29.65泸州(luzh) 105.41 28.87琼中(qion) 109.84 19.02上海(shao) 121.20 31.09绥阳(suiy) 130.90 44.43泰安(tain)117.12 36.21塔什(tash) 075.23 37.77乌鲁木齐(urum) 087.60 43.80武汉(wuhn) 114.49 30.59乌什(wush) 079.20 41.20西安(xiaa)108.98 34.17下关(xiag) 100.25 25.60厦门(xiam) 118.08 24.44西宁(xnin) 101.77 36.60盐池(yanc) 107.43 37.77郑州(zhnz)113.10 34.52图1给出了2008年6月3日观测站位置分布及接收机-卫星间射线的穿刺点(450km高度)在2h内的运动轨迹,观测仰角的下限是15°,可以看到观测射线基本覆盖了我们选择的层析成像区域.图1 观测站地理分布及穿刺点轨迹(圆点为观测点)利用国际参考电离层模型(International Reference Ionosphere,IRI)模拟层析成像区域内的电离层电子密度的真实分布[13],通过式(1)的积分方程,仿真模拟出各GPS接收机观测到的电离层TEC数据,为模拟测量噪声的影响,所有TEC数据我们人为加入了约1~3TECU的随机误差.选择MART算法进行层析成像作为TSVD算法的对比验证,由于MART算法需要初值迭代值,本文选取参数化电离层模型(Parameterized Ionospheric Model,PIM)作为其背景电离层模型,以给出电子密度的初始分布.PIM模型是由美国空军研究实验室(Air Force Research Laboratory,AFRL)支持研发的一种全球电离层与等离子体层模型,它是一种由多个区域电离层理论模式输出参量参数化组合形成的,能够用于快速电离层参量计算[14].PIM模型与IRI模型在建模方法上有着较大的区别,选择PIM模型作为背景模型能够在很大程度上检验MART算法本身在电离层层析成像方面的性能.3.2 CIT结果与讨论不失一般性,以2008年6月3日为例进行仿真.利用IRI模型模拟得到GPS卫星与接收机间射线路径上的电离层TEC,然后每2h进行一次层析成像仿真.反演结束后,取所有观测台站位置上空背景电离层模型PIM、MART及TSVD算法反演计算的电子密度剖面与真实的电子密度分布(真实值)进行对比分析,所有台站上空的层析成像结果如图2所示.从图2的电离层层析成像结果可以看出:相比较背景电离层而言,CIT能够很好地“重构”出真实的电离层电子密度分布,背景电离层电子密度相比真实分布明显偏低;MART算法通过迭代,层析反演的电子密度值相对背景值而言有了较好的改善,特别是F2层峰值附近区域的电子密度值有所增加,更接近真实电子密度分布,但受背景值偏离真值较多以及观测数据视角有限的影响,与真实分布尚存在一定的偏离.同样从图2可以看出,本文提出的TSVD算法反演结果更加接近真实分布,即使是电离层梯度变化比较剧烈的区域,如磁低纬区域的琼中;磁赤道异常区附近的广州,厦门,昆明等站,TSVD算法反演的结果均较为理想;磁中纬区域的北京、西安、长春、乌鲁木齐等观测点的层析成像反演结果与真实分布的误差也较小.磁纬度的高低是反应电离层变化特征的重要参考,为分析磁纬变化是否影响层析成像精度,本文选择磁赤道附近的琼中站(磁纬8.9°N、磁赤道异常区附近的厦门站(磁纬14.5°N、磁中低纬的西安站(磁纬24°N和磁中纬海拉尔站(磁纬39.3°N 上空的层析结果进行分析,以层析反演时刻UT00∶00-02∶00为例进行说明,结果如图3所示.图2 中国区域23个观测站上空的电离层层析成像结果由图3(a)可知,在磁低纬的琼中站,背景模型PIM计算的电离层电子密度与真实分布(IRI模型输出)在F2层及顶部区均存在较大差距,PIM模型输出的峰值电子密度比真实值偏低接近35%.通过MART算法层析反演后,可以看出:层析结果比背景模型要有一定程度的改善,其中F2层区域电子密度更接近真实分布;在顶部区域,MART算法反演结果与背景模型相比有较好的的改善,但与真实分布相比仍然有一定差距.而基于TSVD的正则化层析结果相比MART算法有了很大提高:首先在F2层峰值区域,虽然反演结果比真值偏低,但是误差控制在了5%以内;同时在底部和顶部区域,TSVD算法反演结果与真值相比则非常接近.同样由图3(b)可以看出,在厦门站,背景模型与真值在底部、F2层及顶部区域都有明显差别,峰值高度也存在一定的差异.此时MART算法的反演结果明显受到了背景模型的影响,在电离层底部及峰值区内,MART算法受限于背景模型的精度不高,在层析成像的效果上,F2以下的区域表现出了改善效果,但在F2层峰值区域依然存在约20%的相对误差.相比较而言,TSVD算法由于不受背景电离层电子密度的直接影响,反演结果比MART算法精度较高,峰值电子密度相对反演误差小于1%,层析反演结果与真实值非常接近,特别是F2层峰值电子密度与真实符合程度非常好.由图3(c)、(d)可以看出,在磁中纬区域,电离层的峰值电子密度比磁中低纬度整体要小.从层析结果上来看,MART算法和TSVD算法获取的CIT效果与背景电子密度相比,相对反演精度均有明显的提高.整体来看,MART算法反演结果与真值相比偏低,而TSVD算法稍微偏高,峰值电子密度相对误差分别为4.9和2.3,基本控制在5%左右.图3 各台站CIT结果比较图4 各算法电子密度层析反演误差比较图为验证算法稳定性和精度,对算法反演的所有电子密度进行精度分析.计算MART与TSVD算法反演的所有电子密度误差ΔNe=Ne_tomo-Ne_real,其中Ne_tomo为层析反演(或背景模型)计算得到的电子密度,Ne_real为真实的电子密度.并对各算法的反演误差进行统计分析,误差分布柱状图如图4所示.由图4可以看出,背景模型、MART算法及TSVD算法得到的电离层电子密度与真值相比,误差基本符合正态分布特征.其中背景模型和MART算法得到的电子密度与真值相比整体偏低些,原因是背景模型PIM调用的太阳辐射参数F10.7相比IRI模型要小,而MART以PIM模型给出的电子密度为初始值,在层析成像时受限于背景模型的值,因此其层析结果同样也整体偏低.TSVD算法层析结果与真值相比整体而言稍偏高,但是其误差主要集中在ΔNe=±1×1011 el.m-3所在的区域范围,其比例约占总样本数的65%,而背景模型和MART算法对应为50%和58%.分析各算法重构的电子密度平均误差和均方根误差,其中背景模型分别为8.62×1010 el.m-3和1.58×1011 el.m-3,MART 算法为8.29×1010 el.m-3和1.36×1011el.m-3,而 TSVD算法为7.07×1010el.m-3和1.24×1011el.m-3.TSVD算法在电子密度平均重构误差和均方根误差方面均要优于背景模型和MART算法.F2层峰值电子密度NmF2是反映电离层电子密度剖面形状的重要参量,NmF2反演精度常选择作为验证CIT的重要指标[9-10].为实现对TSVD正则化算法稳定性和有效性的验证,我们利用重构的电子密度值计算出所有观测台站上空背景模型(PIM)、MART及TSVD算法对应的峰值电子密度NmF2,然后与真实的NmF2进行比较分析,结果如图5所示.图5 各算法反演的NmF2与真实NmF2比较图利用散点图对各算法的层析成像结果进行相关性分析,结果如图5所示.从图5可以看出:TSVD算法NmF2层析结果与真实电离层分布一致性最好,相关系数达到0.97;MART算法次之,相关系数为0.82;背景模型最差,相关系数仅为0.40.由此可见,TSVD正则化方法具有更好的反演稳定性.同样的,我们再分析F2层峰值电子密度层析反演误差累积概率分布特性.定义峰值电子密度误差为ΔNmF2=|NmF2_tomo-NmF2_real|,其中 NmF2_tomo为层析反演的F2层峰值电子密度,NmF2_real为真实的F2层峰值电子密度,统计结果如图6所示.由图6可以看出:背景模型PIM相对电离层真实值而言,最大NmF2误差约8×1011el.m-3;MART算法经过迭代收敛,其最大误差分布范围缩小到了6×1011~7×1011el.m-3之间;TSVD算法反演效果最好,其最大误差约2×1011el.m-3.计算每组数据的标准差,其中PIM 背景模型为2.6×1011el.m-3,MART算法为1.7×1011el.m-3,而 TSVD算法为0.7×1011el.m-3,TSVD正则化算法在最大误差及标准差控制方面,均优于背景模型和MART算法.图6 峰值电子密度误差累积概率分布图4 结论为降低背景电离层模型对电离层层析成像算法的影响,增强成像算法的有效性和可靠性,提出了一种基于截断奇异值分解正则化的电离层层析成像算法.利用球谐函数和经验正交函数作为层析成像算法的基函数,有效降低了反演算法对背景电离层模型的依赖,同时利用TSVD方法截断系数矩阵中过小的奇异值,解决了电离层层析成像中病态系数矩阵的求逆问题.利用中国区域23个观测站观测数据进行的仿真表明,基于TSVD正则化的电离层层析算法,相比MART算法有更高的反演精度,通过对反演结果的电子密度和NmF2的误差分析,验证了本文提出算法的有效性.必须指出的是,通过对电子密度中另一个重要的特征参量F2层峰值高度hmF2进行的精度分析结果表明,MART算法和TSVD算法相比背景模型,层析成像得到的hmF2精度并没有明显提高.这是由于观测站与卫星间缺乏水平射线,地基电离层层析成像垂直分辨率不高而造成的,要提高hmF2的反演精度,融合全球卫星导航系统掩星测量数据进行层析成像是一个重要的解决途径[6,8-10],这也是本文下一步研究的方向.参考文献[1]AUSTEN J R,FRANKE S J,LIU C H.Ionospheric imaging using computerized tomography[J].Radio Science,1988,23(3):299-307. [2]RAYMUND T D,AUSTEN J R,FRANKE S J,et al.Application of computerized tomography to the investigation of ionospheric structures [J].Radio Science,1990,25(5):771-789.[3]徐继生,马淑英,吴雄斌,等.一次中强磁暴期间低纬电离层响应的CT成像[J].地球物理学报,2000,43(2):145-151.XU Jisheng,MA Shuying,WU Xiongbin,et al.Low-latitudinal ionosphericeffects during a moderate storm by tomographic imaging [J].Chinese Journal of Geophysics,2000,43(2):145-151.(in Chinese)[4]邹玉华.GPS地面台网和掩星观测结合的时变三维电离层层析[D].武汉:武汉大学,2004.ZOU Yuhua.A Study of Time-dependent 3-D Ionospheric Tomography with Ground-based GPS Network and Occultation Observations[D].Wuhuan:Wuhan University,2004.(in Chinese)[5]DAS S K,SHUKLA A K.Two-dimensional ionospheric tomography over the low-latitude Indian region:An intercomparison of ART and MART algorithms[J].Radio Sci,2011,46(2):RS2005.doi:10.1029/2010RS004350.[6]MITCHELL C N,CANNON P S,SPENCER P S.Multi-Instrument Data Analysis System Imaging of the Ionosphere[R].Report for the United States Air Force European Office of Aerospace Research and Development,2002:1-30.[7]SPENCER P S J,ROBERTSON D S,MADER G L.Ionospheric data assimilation methods for geodetic applications[J].Proceedings of IEEE PLANS,Monterey,2004:510-517.[8]BUST G S,GARNER T W,GAUSSIRAN T L.Ionospheric data assimilation three-dimensional(IDA3D):A global,multisensor,electron density specification algorithm[J].J Geophys Res,2004,109:A11312.doi:10.1029/2003JA010234.[9]YUE XINAN,WILLIAM S S,YU C L,et al.Data assimilation retrievalof electron density profiles from radio occultation measurements[J].JGeophys Res,2011,116:A03317.doi:10.1029/2010JA015980.[10]LI Hui,YUAN Yunbin.Ionospheric electron concentration imaging using combination of LEO satellite data with ground-based GPS observations over China[J].IEEE Transactions on Geo-science and Remote Sensing,2012,50(5):1728-1734.[11]余景景,刘芳,焦李成,等.截断奇异值分解的生物发光断层成像重建问题[J].西北大学学报,2009,39(5):755-760.YU Jingjing,LIU Fang,JIAO Licheng,et al.Research on the reconstruction for biolum inescence tomography using truncated singular value decomposition method [J].Journal of Northwest University,2009,39(5):755-760.[12]冯遵德,卢秀山.基于TSVD解算GPS定位参数的实践[J].山东科技大学学报,2009,28(2):13-16.FENG Zunde,LU Xiushan.The practice of solving the GPS positioning parameters based on TSVD[J].Journal of Shandong University of Science and Technology,2009,28(2):13-16.[13]BILITZA D.International reference ionosphere[J].Radio Sci,2001,36(2):261-275.[14]DANIELL R E Jr,BROWN L D,ANDERSON D N,etal.Parameterized ionospheric model:aglobal ionospheric parameterization based on first principles models[J].Radio Sci,1995,30(5):1499-1510.doi:10.1029/95RS01826.。

基于改进Adaboost集成学习的空间目标识别

基于改进Adaboost集成学习的空间目标识别

基于改进Adaboost集成学习的空间目标识别李垒;任越美【摘要】针对空间目标的不合作性特点以及 Adaboost 集成学习算法的过拟合问题, 提出了一种基于组合特征和改进 Adaboost 的空间目标图像识别算法. 将空间目标图像的几何特征和变换特征进行融合, 从不同的方面更精确地描述目标信息, 并对 Adaboost 算法进行改进, 根据样本在权重上的分布情况, 在训练时进行分段更新权重,从而缓解分类器的过拟合现象, 提高目标识别的稳定性. 通过仿真实验证明, 与传统的Adaboost算法相比, 本文算法在空间目标图像识别中取得了更好的效果.%Due to the non-cooperative character of space target and the overfitting of adaboost algorithm under high noises, an space target recognition method based on combined features and improved adaboost is proposed. The combined features which consist of the geometric features and transform features are extracted to describe target information precisely from different aspects. Furthermore, an improved adaboost algorithm is presented, which adopts a new weights updating method piecewisely in the light of the weights distribution of samples. Thus the proposed method can avoid the overfitting problem and improve the robustness of classification. Experiments on space target images showed that the proposed method has better classification capability and obtains higher classification accuracy.【期刊名称】《计算机系统应用》【年(卷),期】2015(024)008【总页数】4页(P202-205)【关键词】空间目标识别;Adaboost算法;集成学习;小波变换【作者】李垒;任越美【作者单位】河南工业职业技术学院计算机工程系,南阳 473000;河南工业职业技术学院计算机工程系,南阳 473000;西北工业大学计算机学院,西安 710129【正文语种】中文随着各国航天能力的发展, 世界各国对空间资源的关注和依赖程度日益提高, 对空间目标监视与识别的研究也日趋重视[1]. 空间对抗的实质是探测与反探测、识别与反识别的技术较量[2]. 空间目标识别是空间目标监视与识别的基础和关键部分, 对维护国家及人民安全和促进航天事业的发展都具有重要的意义.近年来, 也有不少学者开展了对空间目标识别的研究. 马君国等[3]提出基于二维小波变换的空间目标识别算法, 首先对空间目标图像进行二维小波变换, 然后从近似分量和细节分量中提取奇异值特征, 最后应用径向基函数(RBF)神经网络进行分类识别. Zhang[4]提取了空间目标图像的几何不变矩、仿射不变矩以及灰度变换矩作为图像特征, 并利用模糊神经网络进行识别. Cao等[5]计算了图像的超复数不变特征, 并利用仿生模式识别方法进行空间目标识别, 达到了比较好的识别效果. Ren等[6]提出了一种基于压缩感知的空间目标识别方法, 该方法不需要复杂的图像预处理以及特征提取过程, 根据训练样本构造稀疏表示字典, 通过求解最优化问题进行分类与识别, 但识别效果易受稀疏表示字典的制约.尽管空间目标识别技术已取得了一些成果, 但识别过程中还存在很多困难. 由于同一个目标的可见光图像会因目标探测器方位的不同而产生平移、旋转或尺度的外形变化, 而且, 空间目标图像具有对比度低、噪声干扰大、边缘模糊等特点, 给空间目标特征提取带来困难. 由于探测器探测方法的不确定性, 以及目标自身的姿态变化特性, 使空间目标图像识别更加复杂, 只用一个简单的分类器对给定的目标进行分类识别, 往往很难达到预期效果.考虑到空间目标的易受姿态、位置以及外界光照条件的影响, 提出了小波矩与几何特征结合的特征提取方法, 从不同角度对目标进行更精确的描述, 去除目标图像数据中与分类无关的冗余信息, 并尽可能多的保留目标的可辨识信息以利于识别. 针对目标识别, 提出了一种改进的Adaboost集成学习算法, 根据样本在权重上的分布情况, 在训练过程中对其进行分段更新权重, 进而缓解在Adaboost算法的过拟合现象, 提高目标识别的稳定性.1.1 几何特征提取由于受传感器、天气等状况的影响, 获得的空间目标图像几何轮廓比较模糊, 且空间目标通常处理运动状态, 所获得的目标区域大小也在不断变化着, 因此, 需要选择对目标方向和大小变化较鲁棒的几何特征. 文中选择复杂度[7]、长宽比[8]以及图像信息熵作为几何特征来描述空间目标信息.复杂度为目标边界上的像素个数与构成目标的所有像素个数之比, 即. 其中, 为目标区域内的像素个数, 对图像进行分割可获得; 为目标边缘的像素个数, 对原图像进行边缘检测可得到.长宽比是目标最小外接矩形的长度和宽度比值, 反映了目标的几何形状. 设目标区域最小外接矩形的左上和右下顶点坐标分别为和, 则长宽比可表示为:图像的信息熵是由于图像中的灰度分布不同, 而呈现的局部特征的量化表示, 其计算公式如下:其中, 为图像灰度值.1.2 小波矩特征提取矩特征实际上反映了物体灰度相对于质心的统计分布情况,在表征不变量方面,不变矩理论从一维到多维都比较成熟[9,10]. 小波矩特征提取是基于小波变换的不变矩特征提取方法, 该方法融合了图像在小波域的能量特征和反映图像在整个空间统计特性的矩特征,利用该特征可以稳定可靠地识别形状有差异或纹理有差异的空间目标. 提取过程如下:1) 对要识别的目标图像进行归一化处理.2) 对图像进行多尺度小波分解.3) 对各低频子图像计算不变矩,七个不变矩中的前两个不变矩公式为:4) 由各低频子图像的不变矩构成特征矢量. 该特征量可以较好地描述图像的特征信息,具有平移不变性、旋转不变性及缩放不变性.几何特征和小波矩特征从不同的方面描述了目标信息, 将两种特征融合在一起构成一个特征向量. 该特征向量能更好更全面地表征目标, 更加有利于后面的目标识别. AdaBoost集成学习技术[11,12]是通过改变训练样本集上的权重分布来生成新分类器的, 新的训练样本集上的权重分布是由前一个分类器在学习过程中对训练集中样本的识别情况而定的. 通过增加被错分数据样本的权重,同时相对减小正确分类样本的权重, 使下一轮分类器训练时使错分的样本得到正确划分. 经过若干次迭代训练后生成不同的分类器, 再用加权组合方式得到最终假设.2.1 改进的Adaboost算法在低噪声影响下, Adaboost算法能达到比较好的识别效果, 但当识别特征所受到的噪声比较明显时, AdaBoost算法会过度重视某些目标类而轻视其他若干目标类, 从而导致最终预测规则在测试集上的错分率急剧增加, 出现过拟合现象.由于空间目标图像成像的特性, 虽然采用了鲁棒的特征提取方法, 也难免在最终的特征描述中包含较多的噪声, 因此, 提出一种改进的AdaBoost算法, 该算法根据样本在权重上的分布情况来调整权重分布, 从而缓解过拟合现象. 具体步骤如下: a) 第r轮训练后, 得到一组权重记为, 其满足的条件为:b) 设的最大值和最小值分别为, , 则有:c) 将和之间的权值平均分成段, 每一段记为,.d) 记录落在每段内的样本数目, 并计算占整个样本空间中样本总数的比例记为, 接下来调整该段内的权重分布为, 其中2.1 基于改进Adaboost的空间目标识别根据Adaboost算法的改进规则, 提出了基于改进Adaboost的空间目标识别框架. 当弱学习器的加权错误率大于0.5时, 结束迭代. 采用简单有效的KNN分类器作为弱学习器. 最终的分类识别过程描述如下:输入: 带类别号的训练样本特征集, 即, 其中, 类别标志, 最大迭代次数初始化: 对所有样本的权重初始化为,执行迭代:归一化权重, ,根据权重分布学习弱学习器, 得到初始分类假设;计算的误差值;令, 根据改进规则调整新的权重分布;判断是否满足终止条件: 或, 若满足, 则停止迭代, 输出结果, 否则, 转到迭代开始处执行;输出: 最终的集成分类器实验数据为三类空间目标图像(如图5所示), 对每个目标5组图片, 代表了不同的光照和模糊条件, 每组图片包含了每隔5o拍摄的从角度0o到65o的14幅图片, 这样, 每类目标各有70幅图像, 再从每类样本中随机选取50幅作为训练样本, 其余20幅的作为测试样本, 这样共得到150幅训练样本图像, 60幅测试样本图像. 参数设置为: , , 采用10次交叉验证进行实验来测试本文算法的有效性.实验一. 不同特征识别结果在采用不同特征进行识别时, 我们是分别基于传统Adaboost和改进的Adaboost算法进行分类的.从表1结果可以看出, 采用小波矩特征的识别效果要优于不变矩, 因其于姿态变化具有较强的鲁棒性, 且采用组合特征要比单个特征用于识别的性能要好一些. 这是因为所选组合特征从不同角度更精确的描述目标特性, 增加了用其训练的分类器的可靠性, 识别性能自然要好于单个特征训练的分类器. 因此, 一个识别系统的性能优劣不仅取决于分类器本身, 还依赖于所提取特征量对目标信息的描述能力.实验二. 不同分类器识别结果分别采用KNN, 神经网络, 决策树以及本文算法进行分类与识别实验, 表2给出了不同方法基于组合特征的分类结果及运行时间比较.从表2可以看出, 改进的Adaboost算法比其他几个常用分类器分类效果好很多, 同等条件下的识别率比它们高出几个甚至十几百分点, 而且, 运行效率也比较高. 实验结果之所以优于传统Adaboost方法, 主要原因是改进后的方法使得分类器对噪声的鲁棒性增强, 分类性能得到提高.从上述结果分析, 空间目标图像识别效果受特征提取和识别算法两方面的影响, 一个好的识别算法配上较差的特征向量(冗余特征多, 表征目标的能力差), 最终可能会导致识别率较低. 反之, 好的特征向量加上一个较差的识别算法, 也不会取得高的识别率. 因此, 要综合这两方面的因素, 选择能从各个角度全面描述目标的表征信息, 并结合高性能的分类器进行识别, 才是达到理想效果的保证.本文针对空间目标图像自身的特性导致的目标识别率低的问题, 提出一种基于组合特征和改进Adaboost算法的空间目标图像识别算法. 通过将空间目标图像的几何特征和变换特征进行特征融合, 从不同角度对目标进行更精确的描述, 去除目标图像数据中与分类无关的冗余信息, 并尽可能多的保留目标的可辨识信息以利于识别. 并提出一种改进Adaboost的算法, 根据样本在权重上的分布情况, 对权重进行分段更新, 从而缓解在空间目标图像在高噪声下分类器的过拟合现象, 提高目标识别的稳定性. 通过仿真实验证明, 与传统的Adaboost算法相比, 本文算法在空间目标图像识别中取得了更好的效果. 空间目标图像识别系统是一项十分复杂的系统工程, 在实际应用过程中, 诸如气候的变化、目标运动轨迹的改变等都给识别带来了困难, 因此, 使算法具有更强的鲁棒性以应对气候及周围环境的变化带来的困难是下一步的将要深入研究的工作.1 李振伟.空间目标光电观测技术研究[学位论文].长春:中国科学院大学,2014.2 袁艳,孙成明,张修宝,赵慧洁,王潜.姿态变化对空间目标可见光特性的影响分析.光学学报,2010,30(9):2748–2752.3 马君国,赵宏钟,李保国,王远模.基于二维小波变换的空间目标识别算法.国防科技大学学报,2006,28(1):57–61.4 Zhang J, Zhou XD. Research on feature recognition algorithm for space target. Proc. of SPIE-The International Society for Optical Engineering. 6786, (16). 1–9.5 Cao WM, Feng H, et al. Space target recognition based on biomimetic pattern recognition. International Workshop on Database Technology and Applications. 2009. 64–67.6 Ren YM, Zhang YM, Li Y, Huang JY, Hui JJ. A space target recognition method based on compressive sensing. The Sixth International Conference on Image and Graphics. IEEE. 2011, 12. 582–586.7 林玉池,崔彦平,黄银国.复杂背景下边缘提取与目标识别方法研究.光学精密工程,2006,14(3):509–514.8 王琪,万中南,韩俊伟.基于图像中心矩和特征向量的目标识别方法.激光与红外,2009,39(8):895–898.9 王晓雪,杨永胜,敬忠良.基于改进核聚类算法的空间目标识别方法.中国空间科学技术,2012,32(2):35–42.10 徐贵力,钟志伟,王彪等.具有几何和光照不变性的不变矩构建研究.航空学报,2013,34(7):1698–1705.11 廖红文,周德龙.AdaBoost及其改进算法综述.计算机系统应用,2012,21(5):240–244.12 曹莹,苗启广,高家辰,高琳.AdaBoost算法研究进展与展望.自动化学报,2013,39(6):745–759.。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

p r o p o s e d . I t l e v e r a g e s t a g i n f o r m a t i o n i n t h e r e l a t i v e l y d e n s e r a u x i l i a r y d a t se a t t o e x t r a c t u s e r / i t e m f e a t u r e s ,

种基 于标签迁移学 习的改进 正则化奇 异值分解推荐算法
方耀 宁 郭云飞① 丁 雪涛② 兰 巨龙①
① f 国家数字交换 系统工程技术研 究中心 郑州 4 5 0 0 0 2 )
f 清华大学软件 工程 学院 北京 1 0 0 0 8 4 ) 摘 要 :基于正则化奇异值分解( RS VD) 的推 荐算法在预测准确性上具有 明显优势 ,但存 在计算量大 的缺点 ,一定
wh i c h a r e f u r t h e r u s e d i n t h e RS VD a p p r o a c h i n o r d e r t o ma k e r e c o mm e n d a t i o n i n t h e t a r g e t d a t a s e t . Ex p e r i me n t s o n Mo v i e L e n s d a t a s e t s s h o w t h a t t h e p r o p o s e d a l g o r i t h m c a n h a n dl e t h e s p a r s i t y i s s u e e f f e c t i v e l y ,a c h i e v e f a r
( S c h o o l o f S o f t w a r e , T s i n g h u a U n i v e r s i t y , B e i j i n g 1 0 0 0 8 4 , C h i n a )
A b s t r a c t :T h e r e c o mme n d e r a l g o r i t h m b a s e d o n Re g u l a r i z e d S i n g u l a r V a l u e De c o mp o s i t i o n( R S VD)h s a
程 度 上 限制 了其 在 实 际工 程 中 的 应 用 。 针对 这个 问题 ,该 文 提 出一 种 基 于 标 签 迁 移 学 习 的 改进 RS VD 推 荐 算 法 , 在 相对 稠 密 的辅 助 数 据 集 合 上 根 据 标 签 信 息 来 提 取 用 户 / 项 目特 征 ,然 后 将 用 户 / 项 目特 征 应 用 到 R S VD 算 法 中 , 在 目标 数据 集 合 上 进 行 评 分 预 测 。在 Mo v i e L e n s数 据 集 合 上 的实 验 结 果 表 明 ,该 算 法 能够 缓 解 数 据 稀 疏 性 问题 ,
s i g n i i f c a n t a d v a n t a g e s i n p r e d i c t i v e a c c u r a c y ,wh i l e i t i s c o mp u t a t i o n a l l y i n t e n s i v e j wh i c h l i mi t s g r e a t l y i t s
Al g o r i t hm Ba s e d o n Ta g Tr a ns f e r Le rn a i ng
F a n g Ya o — n i n g ① Gu o Yu n — f e i ① Di n g Xu e — t a o ② La n J u — l o n g ①
a p p l i c a t i o n t o e n g i n e e r i n g p r o j e c t s . T o a d d r e s s t h i s i s s u e , a n i mp r o v e d a l g o r i t h m b se a d O i l t a g t r a n s f e r l e a r n i n g i s
第3 5卷 第 1 2 期 2 0 1 3 年1 2月







、 1 . 3 5 N o. 1 2
J o u r n a l o f El e c t r o n i c s& I n f o r ma t i o n T e c h n o l o g y
De c . 2 0 1 3
( Na t i o n a l Di g i t a l S w i t c h i n g S y s t e m E n g i n e e r i n g a n d T e c h n o l o g i c a l R kD C e n t e r , Z h e n g z h o u 4 5 I : 1 0 . 3 7 2 4 / S P . J . 1 1 4 6 . 2 0 1 3 . 0 0 2 9 0
An I mp r o v e d Re g ul a r i z e d S i n g u l r a Va l ue De c o m po s i t i o n Re c o mme nd e r
显 著降低预测误差 f 约0 . 0 1 R MS E) ,同时减少约 5 O %的训练时间。
关键词 :计算机 网络 ;推荐系统 ;协 同过滤 ;正则化奇异值矩 阵分解 ( R S V D 1 ;迁移学 习 中图分 类号 : T P 3 9 3 文献标识码 : A 文章编号:1 0 0 9 — 5 8 9 6 ( 2 0 1 3 ) 1 2 — 3 0 4 6 — 0 5
相关文档
最新文档