浅谈大数据学习中工程数学的应用

《工程数学》课程论文

学院：软件学院

专业：管理科学与工程

学号：

姓名：

浅谈大数据学习中工程数学的应用

在信息技术迅猛发展的当今社会，随着各行业各领域数据量的爆炸式增长，大数据的热度与日俱增，其应用在相关领域也扮演着越来越重要的作用。人们在互联网活动的信息会形成数据，通过对数据的收集、整理、挖掘、分析和深度应用，我们可以创新技术、思维、产品、营销和风险管理。在精准营销、信用评估、资产定价、风险管理和指数编制方面，大数据都发挥着非常重要的作用。

大数据不仅仅是指数据，也是技术，更是应用。要解决好应用的问题，首先要有灵活而又扎实的理论基础。从数据的前期处理，到中期的研究分析，包括后期结论的形成，大数据应用的每一步都离不开工程数学的理论支撑。在使大数据更好地应用到

各行业各领域的相关研究中，工程数学发挥着至关重要的作用。

本人研究生学习阶段，跟随导师学习的便是大数据方向，在学习的过程中，经常遇到许多工程数学相关问题，发现工程数学在大数据研究的过程中的应用是随处可见，本文将主要从工程数学对专业学习的重要性、与大数据有关的主要工程数学知识、大数据中工程数学的应用三方面讲述。

一、工程数学对专业学习的重要性

我们知道, 人类的活动离不开思维, 钱学森教授曾指出: “教育工作的最终机智在于人脑的思维过程。”思维活动的研究, 是教学研究的基础, 数学与思维的关系十分密切, 数学思维的发展规律, 对工程数学的实践活动具有根本性的指导意义, 工程数学对于专业学习的重要性不言而喻。

1.工程数学是专业课建设和发展的阶梯和桥梁

从专业课程建设体系来探讨, 工程数学是专业课建设和发展的阶梯和桥梁。从大一到研究生阶段的学习过程中，我们不难看出工程数学总是优于专业课, 一般排在大一、大二或者研一开课。而专业课一般排在大三、大四或研二研三。为什么, 不妨举例说明: 机械原理课程中工业机械人的姿态矩阵及位置矩阵优化离不开线性代数课程的学习; 机械制造技术基础中的产品加工质量正态分布离不开概率统计课程的学习; 控制工程中的控制系统的传递函数离不开积分变化课程的学习。由上述例子发现专业课建设和发展离不开工程数学课程的学习。换句话也就是工程数学素质的培养。工程数学素质培养的精髓就是: 数学逻辑思维能力的培养。数学逻辑思维能力, 也就是运用数学的思想和方法, 目的明确地对外来的和内在的信息进行提取与转化、加工与传输的思维活动能力。在整个过程中, 要求合乎逻辑, 不悖常理, 并能达到最终目的, 同时还要将其正确陈述, 让人信服。逻辑思维能力是数学能力的核心, 数学是一个各部分紧密联系的逻辑系统, 在数学领域中, 只有被严密证明了的结论才被承认为正确。数学证明离不开演绎推理, 演绎推理能力是逻辑思维能力的重要组成部分。可见工科专业课建设和发展离不开数学逻辑思维能力培养。可见, 工科院校工程数学素质培养的重要性。

2.工程数学作为一门基础学科, 一门思维学科, 是培养学生的创新意识和实践能力的主渠道之一。

从大学生思维培养来探讨工程数学素质培养的重要性。工程数学作为一门基础学科, 一门思维学科, 是培养学生的创新意识和实践能力的主渠道之一。要激发学生的主体意识, 让学生积极、主动地参与大学学习及生活的全过程, 进行独立思考, 提高独立解决问题的能力。要培养学生大胆创新、敢于求异、勇于探索的精神, 形成良好的思维品质, 为社会输送高质量的创新人才。大学生思维培养从大一开始, 接触到第一门数学思维培养便是高等数学。

每年每度的大学生数学建模大赛传来信息不难发现: 工程数学素质培养的重要性。数学建模是一种数学的思维方法体现, 是“对现实的现象通过心智活动构造出能抓住其重要且有用的特征的表示, 常常是形象化的或符号的表示。”从科学, 工程, 经济, 管理等角度看数学建模就是用数学的语言和方法, 通过抽象, 简化建立能近似刻画并“解决”实际问题的一种强有力的工程数学工具。建模是一种十分复杂的创造性劳动, 数学建模也是检验大学生工程数学逻辑思维能力培养好坏的竞技平台。可见, 工程数学素质培养的重要性。

二、与大数据有关的主要工程数学知识

工程数学是好几门数学的总称。我们本科研究生学习的“积分变换”，“复变函数”“线性代数”“概率论”“场论”等数学，这些都属工程数学。工程数学是为了让工科学生用更加方便的理论工具来处理工程常见问题，在这个数学体系中，与大数据技术有密切关系的数学基础知识主要有以下几类。

1.概率论与数理统计

这部分与大数据技术开发的关系非常密切，条件概率、独立性等基本概念、随机变量及其分布、多维随机变量及其分布、方差分析及回归分析、随机过程（特别是Markov）、参数估计、Bayes理论等在大数据建模、挖掘中就很重要。大数据具有天然的高维特征，在高维空间中进行数据模型的设计分析就需要一定的多维随机变量及其分布方面的基础。Bayes定理更是分类器构建的基础之一。除了这些这些基础知识外，条件随机场CRF、隐Markov模型、n-gram等在大数据分析中可用于对词汇、文本的分析，可以用于构建预测分类模型。

当然以概率论为基础的信息论在大数据分析中也有一定作用，比如信息增益、互信息等用于特征分析的方法都是信息论里面的概念。

2.线性代数

这部分的数学知识与大数据技术开发的关系也很密切，矩阵、转置、秩分块矩阵、向量、正交矩阵、向量空间、特征值与特征向量等在大数据建模、分析中也是常用的技术手段。

在互联网大数据中，许多应用场景的分析对象都可以抽象成为矩阵表示，大量Web 页面及其关系、微博用户及其关系、文本集中文本与词汇的关系等等都可以用矩阵表示。比如对于Web页面及其关系用矩阵表示时，矩阵元素就代表了页面a与另一个页面b的关系，这种关系可以是指向关系，1表示a和b之间有超链接，0表示a,b之间没有超链接。著名的PageRank算法就是基于这种矩阵进行页面重要性的量化，并证明其收敛性。

以矩阵为基础的各种运算，如矩阵分解则是分析对象特征提取的途径，因为矩阵代表了某种变换或映射，因此分解后得到的矩阵就代表了分析对象在新空间中的一些新特征。所以，奇异值分解SVD、PCA、NMF、MF等在大数据分析中的应用是很广泛的。