1221220025张少龙(物流数据挖掘技术)

物流数据挖掘技术课程论文（报告、案例分析）院系物流学院专业物流工程班级物工一班学生姓名张少龙学号1221220025任课教师赵琨2015 年 6 月 13 日股票预测分析中数据挖掘技术的应用物流工程专业学生张少龙学号1221220025摘要随着数据库技术的快速发展，各个领域堆积的数据也越来越多。

数据库虽然有着很强大的采集数据和存储数据的能力，但是数据分析能力却相对薄弱。

无法挖掘到隐藏在海量数据背后的信息，导致数据爆炸和知识匮乏的普遍现象。

如何从海量的数据中提取有用的知识成为当务之急，数据挖掘也正成为当今信息技术的一个重要研究内容。

我国的证券市场从上个世纪90年代起步，到现在已经经历了几十年的发展壮大，各个证券公司都积累了海量的历史数据，如何对这些数据进行有效的处理，成为证券市场发展的一个难题。

同时，证券业中的很多业务都需要对历史数据进行处理后才能展开，数据挖掘技术的诞生为海量数据的处理提供了有效的方法。

通过对历史数据的加工处理，挖掘历史数据中隐藏着的有价值信息，为证券公司和股票投资者提供参考意见。

本论文阐述了数据挖掘的基本概念，并对数据挖掘中的分类技术进行了深入分析，主要研究分析了经典的决策树算法。

关键词：数据库技术；数据挖掘技术；证券市场；决策树算法一.开篇引言（一）.论文的研究背景股票最早是在资本主义国家出现的，在17世纪初，资本主义的大工业发展迅速，为了应对行业上的激烈竞争，企业的规模也在不断的扩大，资金短缺的问题成为制约资本主义企业经营和发展的重要因素之一。

为了能够筹集到更多的资本，于是就出现了以股份公司的形态，由股东共同出资经营的企业组织，进而又将筹集资本的范围扩展至社会，产生了以股票这种表示投资者投资入股，并按照出资额的大小享受一定的权益和承担一定的责任的有价凭证，并向社会公开发行，以吸收和集中分散在社会上的资金。

自1978年改革开放以来，在中国特色社会主义事业取得巨大进步的同时，中国的市场经济也取得了很大的发展。

到1990年底，中国证监会批准成立了上海和深圳两所证券交易中心。

中国证券市场之所以能得到迅速的发展，是因为在2005年的时候中国证券机构起草并实施了“股权分置试点方案“。

据统计到2010年1月底，已经有大概1755家公司在中国大陆上市，有效的股票账户数为12037．69万户，证券投资基金数为563支，发行的股票总股本为26532．74亿股，市场价值约为24552．26亿元。

随着计算机技术的发展，特别是数据库技术与网络技术在证券市场中的应用，证券市场得到了更好的发展，在国民经济中的地位正在逐步提升，并显示出强大的生命力。

股市行情变化周期无序，内部规律非常复杂，更会受到政治、经济、文化等因素的影响。

例如，发行公司的最新动向、经营状况、财务状况、新股上市、汇率的变化、物价因素、经济政策、银行利率调整等。

在我国，特殊的投资结构对股票的交易行为可产生直接的影响。

如个人投资者占有比例高达99％，不同的投资者心理状态也各不相同。

这些因素影响股票的交易行为的表现主要有：股价波动、走势跌宕起伏、难以发现其中规律等。

另外，非职业股民受到时间和空间的限制，往往无法实时了解股票市场的最新情况和发展，个体股民对风险投资报以冷淡态度、经济与股票知识匮乏等因素都对股票预测提出了新的课题。

股票预测分析是融合经济学、信息技术、机器学习理论、统计学理论等多种技术为一体的预测技术。

预测技术以精确的计算和科学的分析方法为基础，并在此基础上判断股票价格未来走势，为股票投资者提供有价值的信息。

为提高决策的正确性，使决策者增加对未来的经济走势的了解，把不确定性和未知程度降到最低限度，需要由预测提供有关未来的情报，这样才能有可能从各种备选方案中做出最优决策。

对于股票投资者来说，在股票市场中及时的做出正确的决策一直是一种挑战。

历史上，已经有一部分学者对于这种主题做过不少研究，从基于交易规则的传统技术分析到近期的基于股票市场预测的机器学习理论。

在金融行业中，从市场历史的数据、价格和数值中通过技术分析是一种有效的分析方法。

Random walk，移动平均线，trading rang、break-out rule都是著名的技术分析方法。

近些年，机器学习方法已经被用来处理金融问题。

这些方法包括：决策树、聚类、遗传算法、人工神经网络等等。

几乎所有的关于金融市场的特征都可以用人工神经网络进行分析。

在信息爆炸的今天，这些来自天文观察、信用卡消费、证券交易、基因研究、电话记录以及网页访问等领域的信息组成了巨额的数据。

与此同时，廉价和快速的存储技术让我们可以把这些巨额数据放在网络上进行访问，数据库管理系统更是给我们提供了便捷的方法去访问这些数据。

由于这些数据格式复杂，有的还受到政治、经济等多方面因素的综合影响，面对如此庞大的数据量，人们迫切需要一种方法从这些数据中提取到有用的信息，数据挖掘技术就是在这样的情况下诞生的。

这些年数据挖掘技术得到了迅速的发展，各种数据挖掘技术在各个行业的应用为企业和人们带来了很好的经济效益，因此数据挖掘在股票预测中的应用将具有很大的发展潜力。

（二）.本课题的研究意义据数据统计，从1978年到2011年我国的GDP以年均9．6％的速度增长，三倍于同期世界经济的年均增长率。

在我国经济取得巨大发展的同时，我国的证券市场也渐渐的从90年代开始时候的动荡期发展到现在的合理化和规范化的道路上来。

1999年颁布的《证券法》和2005年的股权改革都影响着我国的经济形势，从颁布后期的股市大振荡，到从银行储蓄搬家，再到大批股民套牢，这一切都说明股票市场已经成为国家经济形势的晴雨表。

理论意义：证券市场的成长离不开信息技术的发展，证券市场每天、每时、每刻都会产生大量的数据，不仅有上市公司的最新动态，股票的交易量，还有K 线图、股价的最高价、最低价等。

如果想要对这些数据进行处理，发现数据中的隐藏信息，数据挖掘是一个专业的选择。

数据挖掘融合了数据库、统计学、机器学习理论及信息科学等多种技术于一身，具有能够处理结构化和非结构化的证券公司股票数据上的高噪声、不稳定性的天然优势。

对于更新的数据，数据挖掘不需要重新建立新的模型，提高了数据运算速度，从历史数据中挖掘出人们所不知道的有价值信息。

因此，把数据挖掘技术应用到证券业数据分析中在理论上是可行的。

现实意义：随着数据挖掘技术的迅速发展，证券业中的数据挖掘的功能也越来越强大。

通过对上市公司的财务数据的分析，进而对上市公司的信用评价分出等级，帮助投资者们了解上市公司的类型。

通过时间序列关联规则方法结合股票历史数据，挖掘出投资的最佳时机。

另外，我们可以通过SPSS，SAS—Enterprise Miner，Clementine等统计分析软件，还有MATLAB，Access等软件对证券数据进行处理，从中得到我们想要的结果。

因此，把数据挖掘技术应用到证券业数据分析中在现实上也是可行的。

（三）.国内外的研究现状早期的数据挖掘是机械学习。

机械学习是一门用计算机模拟人类学习的科学，始于20世纪60年代末，在70年代末才真正发展起来，并被广泛应用于零售业、电信业、金融业、高级制造业等领域。

随着证券业对股票历史数据的重视、数据库管理技术的高度发展以及数据仓库的投入使用，证券业中的数据挖掘技术也逐步发展壮大起来。

国内外的研究者们通过对历史数据和实时数据的研究，发现数据背后的有用信息，寻找股票市场的波动规律，进而达到预测的目的，并以此作为投资的依据。

在国外，由JohIl Gait开发的Forecast Wizard数据挖掘系统主要使用预测技术和统计分析技术对上市公司的金融信息进行分析处理，及时给出公司的风险预警报告，股票投资者可以通过了解这些方面的信息来决定是否投资。

该系统功能强大，提供了30多种统计分析功能，而且能够在多种操作系统平台上应用。

Resta提出了R1，R2，IU三条股票交易规则，该规则可以为股票投资者提供选股建议。

由Cognos公司开发的Cognos Scenario系统采用决策树算法建立了一系列标准，能够预测上市公司股票的价值，同时还能够分析出公司风险特性以及分类商务目标。

Martin公司的人工智能研发中心推出了Recon系统，该系统的数据库首先对数据进行初始化处理后，再与专家系统相结合，得到一种能自动分析和对本身进行必要的调整，它被用来预测股票未来走势等领域。

与国外研究相比，由于我们国家在数据挖掘技术方面起步较晚，所以在股票预测方面尚有一定差距。

但是随着国内金融市场的的规模的扩大，股票预测方面的需求的增加，我国已经有一些学者在此方面展开研究，也开发出了一些比较出名的系统。

香港科技大学的Beat Wuthrich开发了基于Interact的股票预测系统，此系统的原理是根据金融网站为其提供实时股票数据，通过基于规则的方法，预测道琼斯指数、恒生指数等指数的升降。

大连理工大学的黄玲琴通过ID3算法模型和分类规则实现了股票预测分析系统。

二.数据挖掘技术数据挖掘也叫做数据库中的知识发现。

它有一个公认的定义：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的，但是又潜藏着有用的信息和知识的过程。

数据挖掘还是一门融合了数据库系统、数据仓库、统计学、机器学习、数据可视化、信息检索和高性能计算等学科的新兴的多学科交叉领域。

同时还包括人工神经网络、模式识别、空间数据分析、图像数据库、信号处理和归纳逻辑编程等学科。

数据挖掘更是一个包含多个处理步骤的知识发现的过程，这其中包括数据清洗、数据集成、数据选择、数据转换、数据挖掘、模式评估和知识表达输出。

（一）.数据挖掘的分类由于数据挖掘所涉及的领域繁多，用途广泛，所以就有不同的分类方法。

其中，最常用的有两种分类方法：按照数据挖掘的目标分类和按照数据挖掘所使用的方法分类。

按照数据挖掘的目标可以分为：文本数据挖掘、多媒体数据挖掘、空间数据挖掘和Web数据挖掘。

随着信息技术的发展、社会的进步，这些非结构化的数据是数据挖掘发展的方向，并得到了广泛的应用。

文本数据挖掘主要是发现文本中一些文字出现的规律和文字与语义、语法之间的内在联系，这个在信息检索，语音识别，机器翻译方面有着广泛的应用。

多媒体数据挖掘就是对大量的图像、声音和超文本等数据进行数据挖掘。

空间数据挖掘是根据数据空间和地理位置进行数据挖掘，如二维，三维图像数据，地球信息系统数据，人口普查数据等。

Web 数据挖掘是通过发现网络用户访问站点的模式进行数据挖掘，提高网络服务的质量。

按照数据挖掘方法可以分为：归纳学习数据挖掘、仿生物技术数据挖掘、公式发现数据挖掘、统计分析数据挖掘和模糊数据挖掘。

基于信息论和集合论的方法的挖掘都属于归纳学习类数据挖掘。