大数据安全分析研究(分析研究篇)

合集下载

大数据的发展机遇和共享开放及安全挑战研究

大数据的发展机遇和共享开放及安全挑战研究随着信息技术的快速发展，大数据成为了当今社会的热门话题。

大数据不仅可以带来前所未有的商业机遇和社会发展机会，同时也面临着共享开放和安全挑战。

本文将探讨大数据的发展机遇和共享开放及安全挑战。

一、大数据的发展机遇大数据是指数据量太大，传统处理方式已经无法处理的数据。

随着物联网技术的普及和移动互联网的迅速发展，数据量呈爆炸式增长，大数据已成为当今社会数据处理的主要方式。

大数据带来的最大机遇是可以为企业提供更多的商业机会和数据分析手段，这可以帮助企业更好地理解市场需求、进行精准营销、提高经营效益。

同时，大数据也可以为政府部门提供更多的政策支持和决策参考，让政府更好地管理社会问题和资源分配。

二、大数据的共享开放大数据的发展需要消除数据孤岛、推广数据共享开放。

数据共享开放可以带来更多的价值和机遇。

不同行业、不同领域的数据可以相互交叉，创造更多的价值。

数据共享开放还可以打通数据利用的壁垒，促进跨领域合作，进一步推动新兴产业发展。

同时，数据共享也可以让公众参与到数据处理的过程中，增强信息透明度，提升社会公信力。

然而，数据共享所涉及到的个人信息和隐私问题是共享开放的主要挑战。

数据共享需要考虑到数据隐私和保护问题，合理规范数据使用和共享的权限和范围，保障数据的合法性和安全性，防止数据被滥用、泄露或篡改。

三、大数据的安全挑战大数据的快速发展也带来了安全挑战。

首先，大数据容易受到网络攻击和黑客攻击。

传统的安全技术已经不能满足大数据的安全需求，需要开发更先进的安全技术。

其次，随着大数据的累积，数据安全的风险程度也越来越高。

对于个人敏感信息的保护、数据泄露的预防和反应能力的加强，都需要加强。

最后，大数据安全需要建立统一的标准和制度。

需要制定全国统一的法律法规和技术规范，建立可靠的数据安全保障体系，加强数据安全意识和培训。

综上所述，大数据带来了前所未有的发展机遇，同时也需要共享开放和面对安全挑战。

大数据安全性的技术与管理研究

大数据安全性的技术与管理研究随着信息科技的发展和社会的进步，大数据已经成为当今世界最重要的资源之一。

它不仅为企业、政府和个人提供了全面的数据分析和服务，而且也为社会创造了巨大的财富。

但是，在大数据的应用过程中，数据安全性问题也日渐凸显。

大数据的堆积和积累，使得数据的泄露、误用、丢失变得更加严重和复杂。

因此，大数据的安全性已成为当前最紧迫和重要的问题之一。

一、大数据的安全性面临的问题1. 数据量过大，数据积累速度快一般来说，大数据的数据量要比传统的数据集大得多。

这就给大数据的存储和管理带来了巨大的挑战。

如果不加以妥善处理，数据的泄露或丢失将会给公司或机构带来巨大的损失。

另外，大数据的更新和积累速度也非常快，这就要求我们及时对数据进行监管和管理，以确保数据的可靠性和安全性。

2. 多维度数据处理复杂度高大数据所包含的数据类型往往非常多样化和复杂化，例如：结构化数据、半结构化数据和非结构化数据等。

这些数据往往进行多维度的分析处理，如数据挖掘、机器学习等。

这一方面对数据分析和处理技术提出了更高要求，另一方面也使得数据的隐私性和保密性面临着前所未有的挑战。

3. 数据流动性强由于云计算、物联网、移动互联网等技术的广泛应用，使得数据的流动性变得非常强。

大量的移动终端设备、服务器和数据库之间的交互，使得数据保护和安全性更加复杂。

一旦一个环节出现数据泄露、隐私丢失等不安全因素，就会影响到整个数据的保护和安全。

二、大数据安全的技术研究1. 数据加密技术数据加密技术是大数据安全性领域最主要和最古老的技术之一。

它通过使用加密算法，将原始数据转化为加密数据，以保证数据的隐私和安全。

其中，对称加密算法和非对称加密算法是最常用的加密技术。

2. 数据备份与灾备技术数据备份与灾备技术可以在本地或远程存储中对数据进行备份和复制，以防止数据丢失或损坏。

公司或机构可以通过建立灾备中心，保证数据备份和灾备的及时性和有效性。

3. 访问控制技术访问控制技术可以控制对数据的访问权限，从而保证数据的安全性。

年度总结大数据分析(3篇)

第1篇随着信息技术的飞速发展，大数据分析已经成为企业提升竞争力、优化决策的重要手段。

在过去的一年里，我部门在大数据分析领域取得了显著成果，现将2023年度工作总结如下：一、工作回顾1. 数据采集与处理2023年，我们进一步完善了数据采集体系，通过多种渠道收集了大量内外部数据。

在数据处理方面，我们采用了先进的数据清洗、整合、转换等技术，确保数据质量，为后续分析提供可靠依据。

2. 数据分析与挖掘针对业务需求，我们开展了多维度、多层次的数据分析。

通过对用户行为、市场趋势、业务流程等方面的深入挖掘，为企业提供了有价值的数据洞察。

3. 模型开发与应用在数据挖掘的基础上，我们开发了多个数据模型，如用户画像、预测模型、推荐系统等。

这些模型在实际业务中得到了广泛应用，有效提升了企业运营效率。

4. 数据可视化为了更好地展示分析结果，我们运用数据可视化技术，将复杂的数据转化为直观、易懂的图表，便于企业领导和业务部门快速理解分析结论。

二、工作亮点1. 成功应用于多个业务场景本年度，大数据分析在市场营销、风险控制、客户服务等多个业务场景中发挥了重要作用，为企业创造了显著价值。

2. 提升数据质量通过优化数据采集和处理流程，我们有效提升了数据质量，为后续分析提供了有力保障。

3. 加强团队建设我们注重团队建设，引进和培养了一批优秀的数据分析人才，为部门发展奠定了坚实基础。

三、展望未来1. 深化数据分析应用在2024年，我们将继续深化大数据分析在业务场景中的应用，为企业创造更多价值。

2. 探索新技术随着人工智能、区块链等新技术的不断发展，我们将积极探索这些技术在数据分析领域的应用，提升分析能力。

3. 加强跨部门协作我们将加强与各业务部门的沟通与协作，共同推进大数据分析在企业的广泛应用。

总之，2023年我部门在大数据分析领域取得了丰硕成果。

在新的一年里，我们将继续努力，为企业的可持续发展贡献力量。

第2篇随着信息技术的飞速发展，大数据已经成为企业提升竞争力、优化决策的关键要素。

综合评估大数据分析报告(3篇)

第1篇一、引言随着信息技术的飞速发展，大数据已成为当今社会的一个重要特征。

大数据分析作为一种新兴的技术手段，被广泛应用于各个领域，如金融、医疗、教育、交通等。

本报告旨在对大数据分析进行综合评估，分析其优势、挑战以及未来发展趋势，为相关企业和机构提供决策参考。

二、大数据分析的定义与特点1. 定义大数据分析是指利用先进的数据处理技术和算法，对海量数据进行挖掘、分析和解读，从而发现有价值的信息和知识的过程。

2. 特点（1）数据量大：大数据分析处理的数据规模巨大，通常达到PB级别。

（2）数据多样性：数据类型丰富，包括结构化数据、半结构化数据和非结构化数据。

（3）数据价值密度低：在大量数据中，有价值的信息往往占比很小。

（4）实时性：大数据分析需要实时处理数据，以满足快速决策的需求。

三、大数据分析的优势1. 提高决策效率通过对海量数据的分析，企业可以快速发现市场趋势、客户需求，从而提高决策效率。

2. 降低运营成本大数据分析可以帮助企业优化资源配置，降低运营成本。

3. 提升客户满意度通过分析客户数据，企业可以更好地了解客户需求，提供个性化的服务，提升客户满意度。

4. 创新商业模式大数据分析可以为企业带来新的商业模式，如精准营销、智能推荐等。

四、大数据分析的挑战1. 数据质量数据质量是大数据分析的基础，数据不准确、不完整、不一致等问题都会影响分析结果。

2. 技术挑战大数据分析需要处理海量数据，对计算能力、存储能力、算法等方面提出了很高的要求。

3. 法律法规大数据分析涉及到个人隐私、数据安全等问题，需要遵守相关法律法规。

4. 人才短缺大数据分析需要专业人才，但目前市场上相关人才较为短缺。

五、大数据分析的应用案例1. 金融领域金融机构利用大数据分析进行风险评估、欺诈检测、客户关系管理等。

2. 医疗领域医疗机构利用大数据分析进行疾病预测、药物研发、健康管理等。

3. 交通领域交通管理部门利用大数据分析进行交通流量预测、路况监测、智能调度等。

专业认识报告大数据分析(3篇)

第1篇一、引言随着信息技术的飞速发展，大数据已经成为现代社会不可或缺的一部分。

大数据分析作为一门新兴的交叉学科，涵盖了计算机科学、统计学、数学等多个领域，旨在从海量数据中提取有价值的信息和知识。

本报告将对大数据分析专业进行详细的介绍，包括其发展背景、核心内容、应用领域以及未来发展趋势。

二、大数据分析的发展背景1. 数据爆炸时代21世纪是信息爆炸的时代，人类社会正从信息时代迈向数据时代。

随着物联网、移动互联网、云计算等技术的广泛应用，数据量呈指数级增长。

据统计，全球数据量每两年就会翻一番，预计到2020年，全球数据量将达到40ZB。

2. 传统数据分析方法的局限性传统的数据分析方法主要依赖于统计软件和人工分析，难以应对海量数据的处理和分析。

随着数据量的不断增长，传统方法在处理速度、准确性、效率等方面逐渐暴露出不足。

3. 大数据分析技术的兴起为了解决传统数据分析方法的局限性，大数据分析技术应运而生。

大数据分析利用计算机科学、统计学、数学等领域的知识，通过数据挖掘、机器学习、深度学习等方法，从海量数据中提取有价值的信息和知识。

三、大数据分析的核心内容1. 数据采集与预处理数据采集是大数据分析的基础，包括从各种数据源获取原始数据。

数据预处理是对采集到的数据进行清洗、转换、整合等操作，以提高数据质量和分析效率。

2. 数据存储与管理随着数据量的不断增长，数据存储与管理成为大数据分析的关键问题。

目前，分布式存储系统如Hadoop、Spark等成为主流，能够满足海量数据的存储和计算需求。

3. 数据挖掘与统计分析数据挖掘是从海量数据中发现有价值的信息和知识的过程。

统计分析是对数据进行描述、推断和预测的方法，包括回归分析、聚类分析、关联规则挖掘等。

4. 机器学习与深度学习机器学习和深度学习是大数据分析的核心技术之一。

机器学习通过算法让计算机从数据中学习，自动提取特征和规律。

深度学习则是一种更高级的机器学习方法，能够模拟人脑神经网络，实现更复杂的模式识别和预测。

大数据分析技术研究报告

大数据分析技术研究报告在当今数字化的时代，数据已成为企业和组织的重要资产，而大数据分析技术则是挖掘这些资产价值的关键手段。

大数据分析技术能够帮助我们从海量、复杂的数据中提取有价值的信息，为决策提供有力支持。

本文将对大数据分析技术进行深入探讨。

一、大数据分析技术的定义与特点大数据分析技术是指对规模巨大、类型多样、处理速度快、价值密度低的数据进行收集、存储、管理和分析的一系列技术和方法。

其主要特点包括以下几个方面：1、数据量大大数据的规模通常达到 PB 级甚至 EB 级，远远超过传统数据处理技术所能应对的范围。

2、数据类型多样包括结构化数据（如关系型数据库中的表格数据）、半结构化数据（如 XML、JSON 格式的数据）和非结构化数据（如文本、图像、音频、视频等）。

3、处理速度快要求能够在短时间内对大量数据进行快速处理和分析，以满足实时决策的需求。

4、价值密度低在海量数据中，有价值的信息往往只占很小的比例，需要通过有效的分析方法来提取。

二、大数据分析技术的关键技术1、数据采集与预处理数据采集是获取数据的过程，包括从各种数据源（如传感器、网络爬虫、数据库等）收集数据。

预处理则是对采集到的数据进行清洗、转换、集成等操作，以确保数据的质量和一致性。

2、数据存储为了存储大规模的数据，通常采用分布式文件系统（如 HDFS）和分布式数据库（如 HBase、Cassandra 等）。

3、数据处理框架常见的数据处理框架有 MapReduce、Spark 等。

MapReduce 是一种分布式计算框架，适用于大规模数据的批处理；Spark 则具有更高的性能和更丰富的功能，支持批处理、流处理和交互式查询。

4、数据分析算法包括分类算法（如决策树、朴素贝叶斯）、聚类算法（如KMeans、层次聚类）、关联规则挖掘算法（如 Apriori 算法）等。

5、数据可视化将分析结果以直观、易懂的图表形式展示出来，帮助用户更好地理解数据和发现规律。

大数据安全管理技术及应用研究

大数据安全管理技术及应用研究随着大数据时代的到来，数据的规模和种类都在急速增长。

这给数据的安全管理带来了更加复杂的挑战。

如何有效地管理大数据的安全成为了许多公司和组织关注的重点。

本文将就大数据的安全管理技术及应用研究进行探讨。

一、大数据安全管理技术的意义大数据的安全管理是指为保护大数据安全而采取的各种技术和策略。

随着大数据的规模不断扩大，泄露、篡改、非授权访问等问题也日益增加，安全管理技术的重要性也进一步凸显。

有效地保护大数据的安全，不仅能避免公司和组织的损失，还可以增强用户对公司和组织的信任感，提升其市场竞争力。

二、大数据安全管理技术的核心内容1. 认证与授权技术认证与授权技术可以有效地保护大数据不被非授权的访问。

通常情况下，认证技术采用的是用户名和密码，而授权技术则可以根据权限对用户进行分类，从而实现对用户的限制。

在大数据的管理过程中，常用的认证与授权技术包括基于角色的访问控制（RBAC）和基于策略的访问控制（PBAC）。

这两种技术都可以有效地保证大数据的安全性。

2. 加密技术加密技术的核心内容是将数据加密，以防止数据被非授权的访问、篡改和泄露。

目前比较流行的加密技术有对称加密技术和非对称加密技术。

对称加密技术是指采用同一密钥对数据进行加密和解密，常用于数据的传输和存储。

而非对称加密技术则需要使用两个密钥，一个公钥和一个私钥。

公钥可以被公开，用于加密数据；而私钥则只有拥有者知道，用于解密数据。

3. 安全审计技术安全审计技术可以监测和分析大数据管理的安全性，以便及时发现和解决潜在的安全问题。

这种技术可以记录大数据的访问情况、修改历史和操作日志等信息，从而方便进行后续的审计工作。

总的来说，大数据安全管理技术需要综合运用各种技术手段，建立完善的安全管理体系，以确保大数据的安全性。

三、大数据安全管理技术的应用研究1. 在金融领域的应用金融领域的数据规模较大，安全问题也更加突出。

因此，大数据安全管理技术在金融领域的应用较为普遍。

大数据课题研究报告

大数据课题研究报告引言随着信息科技的快速发展，大数据已经成为当今社会的热门话题之一。

大数据是指规模巨大、多样化、高速度的数据集合，它通过分析和挖掘数据中的模式和趋势，帮助企业和组织做出更明智的决策。

本报告旨在研究大数据的相关概念、应用领域以及未来的发展趋势，为读者提供对大数据的全面认识。

1. 大数据的基本概念大数据的概念源于数据爆炸式增长和科技进步。

大数据具有以下特点：•规模巨大：大数据的数据量通常以TB、PB甚至EB来计量，远远超过传统数据库处理能力。

•多样化：大数据不仅包含结构化数据，如数据库记录和电子表格数据，还包括非结构化数据，如文本、图像和视频。

•高速度：大数据以极快的速度增长，并需要实时或近实时分析处理来应对快速变化的数据流。

2. 大数据的应用领域大数据应用广泛，可以用于以下领域：•商业智能：通过分析大数据中的模式和趋势，帮助企业做出更明智的决策，改善业务绩效。

•金融服务：大数据分析可用于风险评估、欺诈检测、个性化投资等，提高金融机构的效率和安全性。

•医疗健康：大数据可用于个性化医疗、疾病预测和药物研发，提高医疗保健服务的质量和效率。

•城市规划：大数据可用于交通管理、环境保护和公共安全等，提升城市的可持续发展。

•社交媒体：大数据分析可用于挖掘用户行为、用户兴趣和社交网络中的模式，提供个性化的服务和推荐系统。

3. 大数据的挑战与问题虽然大数据有很多应用前景，但也面临着一些挑战和问题：•数据质量问题：大数据的质量往往难以保证，包括数据准确性、完整性和一致性等问题。

•数据隐私和安全：大数据中可能包含敏感信息，需要加强数据隐私保护和安全管理。

•技术挑战：大数据处理需要强大的计算能力和存储资源，如何有效处理、分析和存储大规模的数据是一个挑战。

•法律和伦理问题：大数据的使用可能涉及法律和伦理问题，如数据合规性、数据所有权和数据使用目的等。

4. 大数据的未来发展趋势随着技术的进步和应用的不断拓展，大数据将呈现以下发展趋势：•智能化：利用人工智能和机器学习技术，使大数据分析更智能化和自动化。

消防安全大数据分析报告(3篇)

第1篇一、报告概述随着城市化进程的加快和经济的快速发展，消防安全问题日益突出。

为提高消防安全管理水平，预防和减少火灾事故的发生，本报告通过对消防安全大数据的收集、整理和分析，旨在揭示消防安全现状、趋势及存在的问题，为相关部门制定消防安全政策提供数据支持。

二、数据来源与处理1. 数据来源：- 各级消防部门的火灾事故统计报表- 消防安全检查记录- 社会公众消防安全意识调查数据- 消防设施设备运行数据- 消防安全教育培训数据2. 数据处理：- 对原始数据进行清洗，剔除无效和错误数据- 对数据进行分类整理，建立数据仓库- 运用统计学和数据分析方法，对数据进行挖掘和建模三、消防安全现状分析1. 火灾事故发生情况：- 近年来，火灾事故呈上升趋势，尤其在高层建筑、地下空间和人员密集场所火灾事故频发。

- 火灾事故发生的主要原因包括电气故障、用火不慎、易燃易爆物品管理等。

2. 消防安全检查情况：- 消防安全检查覆盖率逐年提高，但仍存在部分单位未按要求进行消防设施设备维护保养的问题。

- 检查发现的主要问题包括消防设施设备损坏、疏散通道堵塞、消防安全管理制度不健全等。

3. 消防安全意识调查：- 公众消防安全意识普遍提高，但仍有部分人群对消防安全知识掌握不足。

- 调查发现，公众对火灾逃生、灭火器使用等知识的掌握程度有待提高。

四、消防安全趋势分析1. 火灾事故发生趋势：- 随着城市化进程的加快，火灾事故发生的风险将进一步提高。

- 高层建筑、地下空间等复杂场所火灾事故发生率将上升。

2. 消防安全管理趋势：- 消防安全管理将更加重视科技手段的应用，如大数据分析、人工智能等。

- 消防安全教育培训将更加注重实效性，提高公众消防安全意识。

五、存在问题及对策1. 存在问题：- 消防安全基础设施建设滞后，部分老旧小区、农村地区消防设施不完善。

- 公众消防安全意识薄弱，火灾事故预防和应对能力不足。

- 消防安全管理体制不健全，部分单位消防安全责任落实不到位。

国内外大数据安全保护的比较研究

国内外大数据安全保护的比较研究一、大数据安全的背景介绍随着计算机技术和互联网的快速发展，大数据已经成为当前最热门的研究领域之一。

大数据以其丰富的信息和价值，成为了各行各业的重要资源，同时也面临着越来越多的安全威胁。

由于大数据具有高度复杂性、异构性和规模性等特点，其安全保护面临着许多挑战。

因此，大数据安全成为一个备受关注的领域，国内外学者对该领域进行了广泛的研究和探讨，本文将对国内外大数据安全保护的比较研究做一个梳理和分析。

二、国内大数据安全保护的研究现状1.研究背景随着互联网和移动互联网的快速发展，我国的数据量呈现出爆炸式增长，数据安全问题也逐渐显露出来。

因此，国内学者开始研究大数据安全保护技术，取得了一定的研究成果。

2.研究内容国内学者在大数据安全保护方面的研究主要包括以下几个方面：（1）隐私保护：国内学者主要从安全传输、安全存储、匿名化等方面对大数据隐私进行保护。

（2）身份认证：在大数据的访问控制中，身份认证被视为重要的一环，因此国内学者在该方面的研究主要是基于电子签名技术、公私钥加密技术以及生物特征识别技术等方面。

（3）数据加密：加密技术是保护大数据安全的基础，国内学者在该方面的研究主要围绕着对称加密、非对称加密、混沌加密等技术的应用。

3.研究成果在大数据安全保护方面，国内学者积极开展研究，取得了一定的研究成果。

例如，在金融行业，基于人工神经网络的大数据安全风险测度模型等研究成果初步应用于银行业务中。

同时，我国政府也重视大数据安全保护，国内出台的《网络安全法》引导互联网企业对数据进行保护，保证数据的安全性。

三、国外大数据安全保护的研究现状1.研究背景在国际上，随着云计算的发展，大数据也逐渐成为了国际上一个备受关注的研究领域。

出于对各种风险的担忧和需求的不断增加，国际上的大数据安全研究逐步成为了焦点，成为了一门前沿的交叉学科。

2.研究内容国际上的大数据安全研究主要包括以下几个方面：（1）机器学习的数据安全：机器学习在大数据时代的广泛应用已经成为了一个热点，强大的学习算法的好处是其高度自动化，但这也带来了一些安全问题，因此相关的安全保护研究也在国外得到了广泛关注。

工业大数据分析(3篇)

（1）规模庞大：工业大数据的数据量通常以PB（拍字节）为单位，远远超过传统数据处理能力。
（2）类型多样：工业大数据包含结构化、半结构化和非结构化数据，数据类型丰富。
（3）实时性强：工业大数据要求实时处理和分析，以支持快速决策。
（4）价值密度低：工业大数据中，有价值的数据占比相对较低，需要通过数据挖掘和挖掘算法提取。
2. 特点
（1）数据量大：工业大数据通常包含数十亿甚至数千亿条记录，具有庞大的数据规模。
（2）数据类型多样：工业大数据涵盖结构化、半结构化和非结构化数据，涉及文本、图像、视频等多种类型。
（3）数据动态变化：工业大数据具有实时性，随着工业生产过程的进行，数据会不断更新和变化。
（4）数据质量参差不齐：工业大数据在采集、传输、存储等过程中，可能会出现数据缺失、错误、不一致等问题。
5. 人才短缺：工业大数据分析需要大量专业人才，但目前我国相关人才较为短缺。
六、结论
工业大数据分析在我国工业领域具有广泛的应用前景。通过对工业大数据的挖掘和分析，可以实现工业生产、经营管理、市场营销等方面的优化，提高企业竞争力。然而，工业大数据分析也面临着诸多挑战，需要政府、企业、研究机构等共同努力，推动工业大数据分析技术的创新和发展。
4. 市场预测与营销
通过分析市场数据，预测市场趋势，制定合理的营销策略，提高市场竞争力。
5. 研发创新
通过对研发数据的分析，发现潜在的创新点，提高研发效率，降低研发成本。
三、工业大数据分析的挑战
1. 数据质量：工业大数据在采集、传输、存储等过程中，可能存在数据缺失、错误、不一致等问题，影响分析结果的准确性。
五、工业大数据分析挑战
1. 数据质量：工业大数据质量参差不齐，需要加强数据清洗和预处理。

食品安全大数据分析报告(3篇)

第1篇一、引言随着我国经济的快速发展和人民生活水平的不断提高，食品安全问题日益受到广泛关注。

食品安全不仅关系到人民群众的身体健康和生命安全，也关系到社会的稳定和经济的健康发展。

近年来，食品安全事件频发，食品安全问题已成为社会热点。

为了更好地保障食品安全，提高食品安全监管水平，本文通过对食品安全大数据的分析，旨在揭示食品安全问题的现状、趋势及原因，为相关部门制定有效的食品安全监管策略提供数据支持。

二、数据来源与处理1. 数据来源本文所使用的数据主要来源于以下几个方面：（1）国家食品安全监测数据：包括国家食品安全风险监测数据、国家食品安全监督抽检数据等。

（2）地方食品安全监测数据：包括各省市食品安全监测数据、食品安全监督抽检数据等。

（3）互联网数据：包括新闻报道、网络论坛、社交媒体等。

（4）企业内部数据：包括企业生产、销售等环节的数据。

2. 数据处理为了确保数据的准确性和可靠性，我们对原始数据进行了以下处理：（1）数据清洗：删除重复数据、异常数据，确保数据的一致性和准确性。

（2）数据整合：将不同来源的数据进行整合，形成统一的食品安全数据集。

（3）数据标准化：对数据格式进行标准化处理，方便后续分析。

三、数据分析1. 食品安全问题现状根据数据分析，我国食品安全问题主要集中在以下几个方面：（1）食品添加剂滥用：部分食品在生产过程中过度使用食品添加剂，如防腐剂、色素、香精等。

（2）农药残留超标：部分农产品农药残留超标，对人体健康造成潜在危害。

（3）兽药残留：部分畜禽产品兽药残留超标，影响人体健康。

（4）食品生产加工环节污染：部分食品在生产加工过程中存在环境污染问题。

2. 食品安全问题趋势通过对食品安全大数据的分析，我们发现以下趋势：（1）食品安全问题日益复杂：食品安全问题涉及的领域越来越广泛，涉及食品种类、生产环节、污染途径等方面。

（2）食品安全问题区域化：食品安全问题在不同地区呈现不同特点，需要针对不同地区制定相应的监管策略。

大数据安全风险分析及保障策略技术研究

大数据安全风险分析及保障策略技术研究刘郭栋，何㊀亮，梅㊀栋新疆公安厅科信总队，新疆乌鲁木齐８３００００摘要：如今随着我国社会科学技术与经济水平的提高，互联网已经渗透到我们生活的每一个角落，大数据的规模开始变得空前盛大，数据的流动开始变得更加的频繁，因此大数据安全问题也开始引起了人们的重视㊂目前我们已有的信息安全的手段也无法满足大数据时代信息的安全要求，大数据中数据的分布式处理也增加了数据发生泄露的可能性㊂基于此，本文对大数据的安全进行分析，并未保障大数据的安全提出保障策略的研究，帮助大数据产业取得健康的发展㊂关键词：大数据；安全分析；保障策略中图分类号：ＴＰ３０９；ＴＰ３１１．１３０引言随着国家对于计算机信息技术相关产业的重视，目前对于大数据的研究已经上升到国家的地步，大数据被看作国家层面的战略资源㊂目前各行各业开始应用大数据来帮助产业发展，数据在社会中扮演者愈发重要的角色㊂大数据开始被广泛地应用于社会的经济发展，数据信息开始变得集中㊁数据量开始变大㊂［１］而随着这一切的发展，现有的信息安全的处理手段已经不能满足要求㊂数据造假㊁数据泄露等情况出现的概率大大增加，大数据发展所面临的威胁和影响因素开始增加，有的地方甚至专门出现了盗取数据的灰色产业㊂基于这种日益严重的大数据安全问题，要加强对于大数据的风险研究，尽可能地保障大数据的安全㊂１大数据的特征近年来大数据在各大企业以及事业单位开始被广泛应用，因此开始更加受到人们的重视，大数据其本身所具有的价值被更多的人所发现㊂大数据已经成为新时代的一种新型经济资产的方式，其价值可以等同于矿产与石油资源㊂大数据的出现为社会带来了新的创业方向㊁商业模式以及投资机会㊂在我们所处的大数据时代，企业将大数据更广泛地应用到制定决策和决定公司的发展方向等方面㊂企业之间的竞争方向也会有一部分转移到大数据方面㊂目前我们周围已经不缺乏通过挖掘大数据的价值而提升整个企业竞争力的公司㊂然而就如同所有的事物一样，大数据也具有利弊两个方面㊂大数据是一把双刃剑，能否合理利用成了其剑锋所向的分界点㊂大数据的安全存在着多个不容的层次，如规章制定㊁信息收集㊁信息传输㊁信息传输等环节安全㊂对于业务数据的安全，三分制定，七分技术，其他安全也是至关重要㊂业界通常以四个Ｖ来概括大数据的基本特征：Ｖｏｌｕｍｅ（数据体量巨大）㊁Ｖａｒｉｅｔｙ（数据类型繁多）㊁Ｖａｌｕｅ（价值密度低）㊁Ｖｅｌｏｃｉｔｙ（处理速度快）㊂而恰恰是这四个特点，也决定了其安全风险㊂２大数据的风险分析如图１所示，大数据的整个生命周期主要包括产生㊁采集㊁传输㊁存储㊁共享㊁挖掘㊁交换㊁应用和销售八个步骤，而除了生成㊁采集与传输过程，其他的过程都可以归纳为核心阶段㊂因此对于大数据进行６５㊀㊀㊀㊀㊀㊀㊀㊀图情与信息管理作者简介：刘郭栋（１９８１），男，硕士研究生，一级技术主管，新疆公安厅科信总队，研究方向为网络安全㊁大数据安全；何亮（１９８５），男，本科，四级技术主管，新疆公安厅科信总队，研究方向为信息安全与防护㊂通信作者：梅栋（１９８７），男，硕士研究生，三级技术主管，新疆公安厅科信总队，研究方向为网络安全管理与防护㊂㊀㊀２０１９年第０６期㊀㊀２０１９年第０６期㊀㊀风险分析也是基于这几个方面而开展的㊂图１㊀大数据的生命周期２．１大数据的数据生成与采集阶段的风险大数据的数据生成与数据采集当面存在的风险首先是大数据权属需要确认的问题，目前已经发生了数据资源被复制的情形㊂任何数据在生成过程中都面临着被泄露和被未授权改变的风险，还存在数据与元数据的错位㊁国家秘密与个人隐私泄露㊁源数据存在有恶意代码等问题㊂２．２大数据的传输过程的风险大数据的传输存在于全生命周期的多个环节，如出现在采集到存储之间㊁分类分级过程中㊁分析挖掘过程中㊁应用过程中㊁交换与交易过程中㊂随着大数据应用中网络节点数增加，网络安全面临更大的风险，网络防御形势更加严峻，网络传输过程中的安全性很难得到保证，攻击者常利用传输协议的漏洞进行数据窃取㊁数据拦截㊂当前，大数据技术甚至被应用到攻击手段中，攻击者通过对大数据技术收集㊁分析和挖掘情报，使得各种ＡＰＴ攻击更容易成功㊂２．３大数据的存储过程存在的风险海量和多源异构数据的汇聚，对大数据分析平台提出了更高的要求，主要体现在对结构化和非结构化数据的存储㊁海量数据的处理以及大规模分布式数据存储和集群管理等㊂复杂多样的大数据存储，数据存储管理安全防护措施难免存在漏洞，造成数据失窃和篡改㊂同时，各种类型的数据集中存储，也使得大数据应用系统更容易成为入侵者攻击的目标㊂２．４大数据的共享和交换过程存在的风险大数据系统根据职责不同，存在相应的六大角色，即数据的使用者㊁数据的提供者㊁大数据框架提供者㊁大数据应用提供者㊁系统协调者㊁大数据资源的觊觎者㊂在数据的共享㊁交换中缺乏数据拷贝的使用管控和终端审计，存在数据泄露㊁行为抵赖㊁数据发送错误等问题㊂［２］２．５大数据的挖掘过程存在的风险在大数据挖掘过程中，主体访问的不是一个客体的全部，而仅仅是某些客体的某些特征量，这一点与信息系统中的访问是有区别的㊂因此主体对客体的访问也不应该是客体的全部，而只是这些与特征量相关的信息㊂特征信息之外的信息内容，不应该授权进行访问，否则就可能出现大数据的滥用问题㊂２．６大数据的应用过程存在的风险大数据或经过分析挖掘后的数据，其应用价值得到极大的提高，也会产生一系列的应用㊂［３］在应用环节存在数据的泄露㊁数据的完整性被破坏㊁未授权访问㊁恶意代码㊁元数据完整性被破坏等风险㊂３大数据的安全保障策略分析大数据的安全保障策略是基于大数据的生命周期而进行研究与分析的㊂３．１数据产生与采集环节的安全产生㊁采集环节，要对数据的真实性㊁原始性进行确认，并保证数据的完整性㊂同时，还要对可能涉及的国家秘密信息进行预警和报警，并能将国家秘密信息分离，不使其混入其他的数据集合，对涉及国家秘密信息进行恰当的保护㊂［４］保护策略主要使用区块链技术对源数据进行源认证和完整性保护，使用涉及国家秘密信息的检测预警工具对采集的数据进行检测㊂对于数据的真实性，可利用大数据本身进行真实性检测，也可以从立法的角度，对伪造数据者根据情节做出必要的处罚，以保证采集数据的真实性㊂３．２传输环节的保护目标及策略传输环节安全目标是保证信道中所传输的数据不泄露㊁不被未授权的改变，保证通信信道畅通，同时防范可能的重放攻击等㊂保护策略主要使用加密技术对数据进行加密传输，也可使用区块链技术对传输的数据进行完整性保护㊂３．３数据存储目标及策略存储环节的保护目标是确保授权访问，在存储的过程中未授权人不能越权访问目标数据，确保数据的机密性㊁完整性和可用性㊂安全策略要求所有的操作必须是经过授权的，包括读写㊁复制㊁传输㊁授权等各类操作㊂［５］授权人的权限应该遵循最小授权的原则，进行细粒度的划分并且要有制衡措施㊂授权人不准许访问数据，所有角色的操作必须有相应的审计机制㊂［６］３．４数据共享和交换目标及策略数据的交换和共享涉及两个主机之间的任务，７５图情与信息管理㊀㊀㊀㊀㊀㊀㊀㊀而在贡献或者交换文件的过程中容易出现文件泄露或者病毒侵入的威胁，因此在数据的共享和交换的过程中一定要注意数据传输的安全问题，需要下载防毒软件或其他防护系统，并时刻检查此系统㊂３．５数据的挖掘目标及策略上文中提到大数据挖掘过程中，主体访问的不是一个客体的全部，而仅仅是某些客体的某些特征量，因此在挖掘的过程中需要注意对其他文件或者资源的保护，要掌握好访问的具体位置客体的那些容量，不要出现错误㊂［７］３．６数据的应用目标及策略与其他的数据一样，大数据也需要定期的废弃和销毁，这样会腾出相应的存储空间㊂［８］在利用新的数据存储和应用过程中，会存在错误销毁㊁数据残留导致的数据泄露等风险㊂４结语大数据是我们社会进步的体现，为了保障社会的发展正常的进行，保障应用大数据进行发展的企业能够取得一定的成功㊂［９］本文的研究主要包括大数据整个生命周期的完整性㊁挖掘中的访问控制㊁大数据的滥用㊁隐私的泄露㊁国家及企业敏感信息的泄露等方面㊂考虑到这几个方面的安全风险，本文有针对性地给出了保障策略研究㊂进一步的完善大数据的整个体系的发展，为推动我国的大数据的产业的健康发展提供一定的帮助㊂［１０］参考文献［１］杨平．运用大数据与人工智能技术引领多模态大学英语写作能力评价体系的研究［Ｃ］／／中共沈阳市委㊁沈阳市人民政府㊁国际生产工程院㊁中国机械工程学会．第十六届沈阳科学学术年会论文集（经管社科）．中共沈阳市委㊁沈阳市人民政府㊁国际生产工程院㊁中国机械工程学会：沈阳市科学技术协会，２０１９．［２］王思兵．大数据时代图书馆开放存取资源的安全保障体系构建［Ｊ］．图书馆学刊，２０１９（０５）：４３⁃４６．［３］韩雪．大数据时代企业人力资源管理变革策略探讨［Ｊ］．现代营销（下旬刊），２０１９（０８）：１７４⁃１７５．［４］周铭．大数据时代的人工智能发展的法律思考［Ｃ］／／‘上海法学研究“集刊．世界人工智能大会组委会：上海市法学会，２０１９．［５］林竹静．人工智能＋大数据驱动的智慧检察路径规划兼论检察大数据（上海）实验室的发展［Ｚ］．［６］世界人工智能大会组委会．‘上海法学研究“集刊（２０１９年第９卷总第９卷）［Ｃ］／／世界人工智能大会组委会：上海市法学会，２０１９．［７］陈宏兴．论环渤海大数据园区规划与智慧城市［Ｊ］．低碳世界，２０１９（７）：１５１⁃１５２．［８］李昱，张扬，史卿．基于大数据的航标配布优化效果评估方法［ＥＢ／ＯＬ］．水运工程：１⁃４［２０１９⁃０８⁃０７］．ｈｔｔｐ：／／ｋｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．１８７１．Ｕ．２０１９０８０５．１１５６．０６０．ｈｔｍｌ．［９］郭世英，白维军．互联网＋社会保障信息服务需求的生成逻辑与实现路径［Ｊ］．行政论坛，２０１９（４）：１４０⁃１４４．［１０］李佐军，彭英．浅议大数据应用平台的架构［Ｊ］．轻工科技，２０１９（８）：８９⁃９０．８５㊀㊀㊀㊀㊀㊀㊀㊀图情与信息管理㊀㊀２０１９年第０６期㊀。

大数据安全问题分析及对策建议

随着大数据时代的到来，大数据技术为经济社会发展带来创新活力的同时，也使传统网络安全防护面临严重威胁与全新挑战。

本文介绍了大数据技术及产业发展的有关背景，从数据安全、个人信息保护及大数据平台自身安全三个方面梳理大数据技术应用面临的安全挑战，提出我国强化大数据安全保障的对策建议。

大数据发展状况及安全问题简介大数据的概念起源于2000年前后，伴随着互联网应用发展而诞生。

当时，互联网网页爆发式增长，产生的数据量激增，为了提高用户检索信息效率，谷歌等公司开始建立索引库以提供搜索服务，成为大数据应用的起点。

2012年之后，大数据技术方兴未艾，经过数年蓬勃发展，如今业界对大数据的认识已经基本趋于一致，尤其对于大数据的基本特性已达成共识。

当前，大数据已进入应用发展阶段，技术创新和商业模式创新推动各行业应用逐步成熟，应用创造的价值占市场规模的比重日益增大，成为新的经济增长动力。

中国信息通信研究院发布的《中国大数据发展调查报告(2017)》(以下简称“报告”)数据显示，2016年中国大数据核心产业的市场规模约为168亿元，较2015年增速达45%，伴随着国家政策激励以及大数据应用模式逐步成熟，未来几年中国大数据市场仍将保持快速增长，预计到2020年中国大数据市场规模将达到578亿元。

随着数据资产价值持续攀升、大数据产业规模不断壮大，大数据技术在改善社会生产生活的同时，其安全问题也逐渐显现出来。

2017年1月，大数据基础软件陷入一场全球范围的大规模勒索攻击，Hadoop集群被黑客锁定为攻击对象。

同时，据Shodan互联网设备搜索引擎的分析显示，因Hadoop服务器配置不当导致5120TB数据暴露在公网上，涉及近4500台HDFS服务器。

同时，近年来全球数据安全事件层出不穷，如何在大数据时代处理好数据安全问题成为全球普遍关注的热点。

大数据分析平台安全与其承载数据的安全同生共息，在数据成为国家基础战略资源和社会基础生产要素的今天，大数据安全与国家安全的关系愈发紧密，在保障国家安全、经济运行、社会稳定等方面发挥愈加关键的作用，亟需采取有效的应对措施以抵御大数据安全风险。

大数据安全分析(分析篇)

这一篇应该是比较容易引起争议的，大家现在乐于说看见（visibility ）的力量，如何看到却是一个尚在探索中的问题。

数据是看到的基础条件，但是和真正的看见还有巨大的差距。

我们需要看到什么？什么样的方法使我们真正看到？安全分析和事件响应网络空间的战斗和现实世界有很大的相似性，因此往往可以进行借鉴。

美国空军有一套系统理论，有非常的价值，值得深入思考并借鉴，它就是OODA周期模型：观察（Observe）：实时了解我们网络中发生的事件。

这里面包括传统的被动检测方式：各种已知检测工具的报警，或者来自第三方的通报（如：用户或者国家部门）。

但我们知道这是远远不够的，还需要采用更积极的检测方式。

即由事件响应团队基于已知行为模式、情报甚至于某种灵感，积极地去主动发现入侵事件。

这种方式有一个很炫的名字叫做狩猎。

定位（Orient）：在这里我们要根据相关的环境信息和其他情报，对以下问题进行分析：这是一个真实的攻击吗？是否成功？是否损害了其它资产？攻击者还进行了哪些活动？决策（Decision）：即确定应该做什么。

这里面包括了缓解、清除、恢复，同时也可能包括选择请求第三方支持甚至于反击。

而反击往往涉及到私自执法带来的风险，并且容易出错伤及无辜，一般情况下不是好的选择。

行动（Action）：能够根据决策，快速展开相应活动。

OODA模型相较传统的事件响应六步曲（参见下图），突出了定位和决策的过程，在现今攻击技术越来越高超、过程越来越复杂的形势下，无疑是必要的：针对发现的事件，我们采取怎样的行动，需要有足够的信息和充分的考量。

在整个模型中，观察（对应下文狩猎部分）、定位与决策（对应下文事件响应）这三个阶段就是属于安全分析的范畴，也是我们下面要讨论的内容，附带地也将提出个人看法，关于大数据分析平台支撑安全分析活动所需关键要素。

狩猎（hunting）近两年狩猎的概念在国际上比较流行，被认为是发现未知威胁比较有效的方式。

如何做到在信息安全领域的狩猎，也是和威胁情报一样热门的话题。

基于大数据分析的安全生产事故事件指示监控研究分析

基于大数据分析的安全生产事故事件指示监控研究分析引言二十大会议后，国家确立了八个工作重点，其中提到就是坚持科技引领创新驱动，坚持产业为基转型为要，加快建设现代化体系。

在此基础上走好数字化转型之路。

随着近些年科技发展，AI技术已广泛应用于各行各业，电网技术的发展也是突飞猛进，特别是当电网技术与信息化深度融合中出现了大量数据，电力企业也从中获得了很多大数据的有效积累。

这些数据蕴含着大量的价值信息，是电力企业的核心资产，本文基于对电力大数据的安全分析和预警研究提出了电力大数据的安全预警监控隐患和指示分析及应用法。

实践证明大数据分析在针对检测障碍安全隐患以及事故指示监控分析上能够做到“数尽其用”，智能洞悉电力大数据安全态势。

关键词：大数据安全，主动分析，安全预警。

摘要：随着各行业对网络数据的依赖，大量的数据信息需要存储、分析与信息转化。

2022年贺州供电局数据中心、智瞰平台、BI平台、以及人工智能技术支持下的用于服务总体规划、业务流程和其详细的功能需求，本文就供电企业的数据中心数据进行分析研究，建立功能结构，为后面的数据应用需求分析、设计、编码及测试提供可靠依据。

大数据分析可以及时反馈安全隐患，分析输电线路树障监控数据。

一、大数据有助于安全生产大数据是一个比较虚的概念，基于安全生产大数据的风险预警预控。

给出了安全生产大数据这一全新的概念，针对风险预警预控这一环节，提出了基于大数据的风险预警预控流程及优化措施，分析了将大数据相关技术应用于安全管理中的功能作用。

1、按照麦肯锡全球研究所的定义，大数据（Big data）是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

大数据有4大特点：(1)数据规模巨大、(2)处理速度快、(3)数据类型多样、(4)数据价值密度低。

随着信息科技的不断发展和互联网技术的不断普及，许多先进的设备和技术被应用于安全生产管理过程中，同时也形成了体量巨大的安全生产大数据。

企业大数据分析研判报告(3篇)

第1篇一、摘要随着信息技术的飞速发展，大数据已经成为企业转型升级的重要驱动力。

本报告通过对某企业的大数据分析，旨在揭示企业运营中的潜在问题，为企业决策提供数据支持，助力企业实现可持续发展。

二、企业概况（以下内容需根据实际企业情况进行调整）某企业成立于20XX年，主要从事XX行业产品的研发、生产和销售。

经过多年的发展，企业已在全国范围内建立了完善的销售网络，市场份额逐年上升。

然而，随着市场竞争的加剧，企业面临着诸多挑战，如成本上升、产品同质化、客户需求多样化等。

三、数据分析方法本报告采用以下数据分析方法：1. 数据收集：通过企业内部管理系统、销售数据、客户反馈、市场调研等途径收集数据。

2. 数据清洗：对收集到的数据进行筛选、去重、填补缺失值等处理，确保数据质量。

3. 数据分析：运用统计学、机器学习等方法对数据进行分析，挖掘数据背后的规律和趋势。

4. 可视化展示：利用图表、图形等方式将分析结果直观展示，便于理解和决策。

四、数据分析结果1. 销售数据分析（1）销售趋势分析通过对销售数据的分析，发现企业销售额在近三年内呈现稳步增长的趋势，但增速有所放缓。

结合市场调研数据，分析原因如下：- 市场竞争加剧，导致产品售价下降；- 消费者需求多样化，企业产品更新换代速度较慢；- 市场推广力度不足，品牌知名度有待提高。

（2）区域销售分析通过对区域销售数据的分析，发现以下问题：- 部分区域市场占有率较高，但增长空间有限；- 部分区域市场占有率较低，但潜力巨大；- 区域销售差异较大，需加强对低市场占有率区域的开发。

（3）产品销售分析通过对产品销售数据的分析，发现以下问题：- 部分产品销售额较高，但利润率较低；- 部分产品销售额较低，但具有较高利润率；- 产品结构有待优化，需加大高利润率产品的研发和推广力度。

2. 客户数据分析（1）客户满意度分析通过对客户反馈数据的分析，发现以下问题：- 部分客户对产品质量表示满意，但对企业售后服务存在不满； - 部分客户对企业产品价格表示担忧，认为性价比不高；- 部分客户对企业品牌认知度较低，需加强品牌宣传。

大数据采集与分析在交通事故预警中的应用研究

大数据采集与分析在交通事故预警中的应用研究近年来，随着各类移动设备的普及、智能城市建设的推进，大数据技术被越来越广泛地运用到各个领域，交通领域也不例外。

大数据采集与分析技术可以帮助我们更好地理解交通事故的发生规律，提高事故预警能力，有助于减少交通事故的发生。

一，大数据采集与分析的优势在传统的交通事故统计方法中，我们通常采用的是人工收集、整理和分析交通事故数据，并根据统计数据来分析交通事故的规律。

然而，这种方法的缺点是数据采集效率低、依赖人工操作，容易出现数据错误和延误。

而使用大数据技术进行交通事故数据的采集和分析，则可以极大地提高信息的收集和处理效率，减少人为干预的可能，从而提高数据的准确性和实时性。

同时，还可以更加全面地搜集和整理交通事故数据，从而获得更为准确和全面的数据，为我们提供更加客观、准确的信息基础。

二，大数据在交通事故预警中的应用通过对交通事故数据进行管理、整理和分析，大数据技术可以为交通事故的预警提供更加有效的手段。

具体来说，大数据在交通事故预警中的应用主要包括以下几方面：（1）交通事故数据的采集和整理针对不同城市和地区的交通管理需求，可以通过大数据技术从相应的交通数据源中获取数据，包括车辆GPS数据、交通监测数据，以及交通安全管理部门统计的交通事故数据等。

这些数据可以通过相应的算法和模型进行处理和分析，从而得出有关交通事故的各种信息，为预警提供可靠的信息基础。

（2）交通事件的实时监测与预警将所采集的交通数据与交通事故的统计数据结合起来，在交通事件发生时，可以进行实时监测和预警。

通过分析历史数据，可以预测出交通事故可能发生的地点和时间，并对潜在的危险因素进行监测和分析，及时发出预警信息。

（3）隐患识别与预防通过对交通事故数据的分析，可以识别出交通安全的隐患问题，例如高发事故路段、易发生事故时段，或者其他交通安全隐患等。

有了这些信息，交通管理部门可以采取相应措施，对危险因素进行预防和避免，保障交通安全。

基于R计算智能技术的桌面用户大数据安全分析的研究

基于Ｒ计算智能技术的桌面用户大数据安全分析的研究∗陈立军ꎬ张㊀屹ꎬ蒋慧勇(广州大学华软软件学院软件工程系ꎬ广东广州５１０９９０)摘㊀要:大数据安全分析对于绝大多数桌面用户来说ꎬ用户的成本以及对强大的ＩＴ基础设施的需求都是不能接受的ꎬ并且难以应用于快速增长的数据集以进行安全性分析ꎮ介绍了一种直观且廉价的大数据安全分析方法ꎬ该方法使用Ｗｉｎ￣ｄｏｗｓ桌面用户的计算智能(ＣＩ)技术ꎬ其中Ｗｉｎｄｏｗｓ批处理编程ＥｍＥｄｉｔｏｒ和Ｒ的组合用于安全性分析ꎮ模拟实验是在具有超过１０００万个观测值的真实数据集上执行的ꎬ这些数据集是从Ｗｉｎｄｏｗｓ防火墙日志中收集ꎬ用于演示桌面用户如何深入了解其丰富且未触及的数据ꎬ并提取有用信息以防止其系统受当前和未来安全保护威胁ꎮ这种基于ＣＩ的大数据安全分析方法还可以扩展到其他类型的安全日志㊁例如事件日志ꎬ应用程序日志和Ｗｅｂ日志ꎮ关键词:大数据ꎻ安全分析ꎻ计算智能技术ꎻＲꎻ桌面用户ꎻＷｉｎｄｏｗｓ防火墙日志中图分类号:ＴＰ３９３㊀㊀㊀㊀㊀㊀文献标识码:Ａ㊀㊀㊀㊀㊀㊀ＤＯＩ:１０.１９３５８/ｊ.ｉｓｓｎ.２０９６￣５１３３.２０１９.０６.００６引用格式:陈立军ꎬ张屹ꎬ蒋慧勇.基于Ｒ计算智能技术的桌面用户大数据安全分析的研究[Ｊ].信息技术与网络安全ꎬ２０１９ꎬ３８(６):２６￣３５.ＲｅｓｅａｒｃｈｏｎｂｉｇｄａｔａｓｅｃｕｒｉｔｙａｎａｌｙｓｉｓｏｆｄｅｓｋｔｏｐｕｓｅｒｓｂａｓｅｄｏｎＲｃｏｍｐｕｔｉｎｇｉｎｔｅｌｌｉｇｅｎｔｔｅｃｈｎｏｌｏｇｙＣｈｅｎＬｉｊｕｎꎬＺｈａｎｇＹｉꎬＪｉａｎｇＨｕｉｙｏｎｇ(ＤｅｐａｒｔｍｅｎｔｏｆＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇꎬＳｏｕｔｈＣｈｉｎａＩｎｓｔｉｔｕｔｅｏｆＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇｏｆＧｕａｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｉｔｙꎬＧｕａｎｇｚｈｏｕ５１０９９０ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:Ｂｉｇｄａｔａｓｅｃｕｒｉｔｙａｎａｌｙｔｉｃｓａｒｅｏｆｔｅｎｕｓｅｄｔｏａｎａｌｙｚｅｌａｒｇｅａｍｏｕｎｔｓｏｆｓｅｃｕｒｉｔｙｄａｔａｆｒｏｍａｃｏｍｐａｎｙｉｎｔｅｒｎａｌｐｅｒｓｐｅｃｔｉｖｅꎬｒｅｑｕｉ￣ｒｉｎｇａｒｏｂｕｓｔＩＴｉｎｆｒａｓｔｒｕｃｔｕｒｅａｎｄｅｘｐｅｎｓｉｖｅｄａｔａａｎａｌｙｓｉｓｔｏｏｌｓ.ＦｏｒｍｏｓｔｄｅｓｋｔｏｐｕｓｅｒｓꎬｕｓｅｒｃｏｓｔａｎｄｔｈｅｎｅｅｄｆｏｒａｓｔｒｏｎｇＩＴｉｎｆｒａ￣ｓｔｒｕｃｔｕｒｅａｒｅｕｎａｃｃｅｐｔａｂｌｅꎬｉｔｍａｙｂｅｃｏｎｓｉｄｅｒｅｄｉｍｐｏｓｓｉｂｌｅａｎｄｄｉｆｆｉｃｕｌｔｔｏａｐｐｌｙｔｏｆａｓｔ￣ｇｒｏｗｉｎｇｄａｔａｓｅｔｓｆｏｒｓｅｃｕｒｉｔｙａｎａｌｙｓｉｓ.Ｔｈｉｓａｒ￣ｔｉｃｌｅｉｎｔｒｏｄｕｃｅｓａｎｉｎｔｕｉｔｉｖｅａｎｄｉｎｅｘｐｅｎｓｉｖｅｂｉｇｄａｔａｓｅｃｕｒｉｔｙａｎａｌｙｓｉｓｍｅｔｈｏｄｔｈａｔｕｓｅｓｔｈｅｃｏｍｐｕｔａｔｉｏｎａｌｉｎｔｅｌｌｉｇｅｎｃｅ(ＣＩ)ｔｅｃｈｎｏｌｏｇｙｏｆＷｉｎｄｏｗｓｄｅｓｋｔｏｐｕｓｅｒｓꎬｗｈｅｒｅｔｈｅｃｏｍｂｉｎａｔｉｏｎｏｆＷｉｎｄｏｗｓｂａｔｃｈｐｒｏｇｒａｍｍｉｎｇＥｍＥｄｉｔｏｒａｎｄＲｉｓｕｓｅｄｆｏｒｓｅｃｕｒｉｔｙａｎａｌｙｓｉｓ.Ｓｉｍｕｌａ￣ｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓｗｅｒｅｐｅｒｆｏｒｍｅｄｏｎｒｅａｌｄａｔａｓｅｔｓｗｉｔｈｍｏｒｅｔｈａｎ１０ｍｉｌｌｉｏｎｏｂｓｅｒｖａｔｉｏｎｓｃｏｌｌｅｃｔｅｄｆｒｏｍＷｉｎｄｏｗｓＦｉｒｅｗａｌｌｌｏｇｓｔｏｄｅｍ￣ｏｎｓｔｒａｔｅｈｏｗｄｅｓｋｔｏｐｕｓｅｒｓｃａｎｄｒｉｌｌｄｏｗｎｉｎｔｏｔｈｅｉｒｒｉｃｈａｎｄｕｎｔｏｕｃｈｅｄｄａｔａａｎｄｅｘｔｒａｃｔｕｓｅｆｕｌｉｎｆｏｒｍａｔｉｏｎ.Ｔｏｐｒｏｔｅｃｔｉｔｓｓｙｓｔｅｍｓｆｒｏｍｃｕｒｒｅｎｔａｎｄｆｕｔｕｒｅｓｅｃｕｒｉｔｙｔｈｒｅａｔｓ.ＴｈｉｓＣＩ￣ｂａｓｅｄｂｉｇｄａｔａｓｅｃｕｒｉｔｙａｎａｌｙｓｉｓｍｅｔｈｏｄｃａｎａｌｓｏｂｅｅｘｔｅｎｄｅｄｔｏｏｔｈｅｒｔｙｐｅｓｏｆｓｅｃｕｒｉｔｙｌｏｇｓꎬｓｕｃｈａｓｅｖｅｎｔｌｏｇｓꎬａｐｐｌｉｃａｔｉｏｎｌｏｇｓꎬａｎｄｗｅｂｌｏｇｓ.Ｋｅｙｗｏｒｄｓ:ｂｉｇｄａｔａꎻｓｅｃｕｒｉｔｙａｎａｌｙｓｉｓꎻｃｏｍｐｕｔｉｎｇｉｎｔｅｌｌｉｇｅｎｃｅꎻＲꎻｄｅｓｋｔｏｐｕｓｅｒｓꎻＷｉｎｄｏｗｓｆｉｒｅｗａｌｌｌｏｇｓ∗基金项目:２０１７年广东省外经贸专项基金(２１６０６９９￣８７)ꎻＣ＋＋程序设计实践教学改革(ＳＹＪＧ２０１８０３)０㊀引言由于防火墙日志㊁事件日志㊁应用程序日志㊁Ｗｅｂ日志和许多其他安全日志等形式的不同安全工具生成了大量数据ꎬ安全性分析对于桌面用户来说正变得越来越复杂ꎬ有效处理这些收集的数据需要大量的系统资源和功能强大的分析工具ꎮ但是ꎬ传统的系统和工具无法处理和分析这些大型非结构化的数据ꎮ在没有适合这些大型数据集的处理机制的情况下ꎬ有价值的数据集可能变得无用ꎬ并且构成其他重要应用程序的资源开销ꎮ因此ꎬ桌面用户需要易于实施且价格低廉的大数据安全分析方法ꎬ以满足其数据处理要求ꎮ然而ꎬ由于其成本和对系统的要求ꎬ大多数安全分析解决方案对普通桌面用户来说是不可承受的ꎻ加之使用复杂ꎬ许多普通用户都是未经培训的ＩＴ用户ꎬ或者不愿接受长期复杂的ＩＴ应用培训ꎬ因此ꎬ桌面用户需要相对简单㊁经济且资源有效的数据分析方法ꎮＲ是一个开源数据分析工具ꎬ由各种ＣＩ包组成ꎬ用于高级数据分析ꎬ但是ꎬ它需要对任何数据分析所需的统计数据有基本的了解ꎬＲ可能不适用于数据收集或清洁功能ꎬ但可以通过一些其他支持工具用于各种分析ꎮ本文介绍了一种直观且廉价的安全分析方法ꎬ该方法在ＲｆｏｒＷｉｎｄｏｗｓ桌面用户中使用ＣＩ技术ꎮＷｉｎｄｏｗｓ桌面的选择是其受欢迎的结果ꎬ其中安装的ＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ操作系统占据了大约７０％的计算机操作系统市场[１]ꎮ因此ꎬＷｉｎｄｏｗｓ桌面用户数量很多ꎬ如果Ｗｉｎｄｏｗｓ桌面用户可以找到或设计一个易于实施且价格低廉的大数据安全分析解决方案ꎬ那么他们就可以分析非常大的安全日志来提取有意义的安全信息ꎬ从而提高系统安全性ꎬ使其更加强大[２￣３]ꎮ在这种提议的安全分析方法中ꎬＷｉｎｄｏｗｓ批处理编程ＥｍＥｄｉｔｏｒ(可以用任何强大的编辑器替换)和Ｒ的组合用于桌面用户分析的目的ꎮＲ主持了几个与人工神经网络㊁进化算法㊁模糊系统和混合智能系统相关的ＣＩ软件包ꎬ用于设计智能系统ꎮ此安全性分析方法涉及多个阶段ꎬ其中使用Ｗｉｎｄｏｗｓ批处理脚本执行数据收集和合并ꎬ使用ＥｍＥｄｉｔｏｒ进行数据清理和编辑ꎬ最后ꎬＲ用于构造数据ꎬ使用ＣＩ技术执行分析㊁可视化和解释结果ꎮ实验模拟基于１００６８８９１６０Ｂ(１.０１ＧＢ)的实际数据集ꎬ具有超过１０００万个观测值(从Ｗｉｎｄｏｗｓ防火墙日志中收集３０天)ꎮ随后ꎬ对收集的Ｗｉｎｄｏｗｓ防火墙日志执行安全性分析ꎬ以演示桌面用户如何深入了解其丰富且未触及的数据并提取有用信息ꎬ以防止其系统受到当前和未来的安全威胁[２]ꎮ这种基于ＣＩ的大数据安全分析方法还可以扩展到其他类型的安全日志ꎬ例如事件日志㊁应用程序日志和Ｗｅｂ日志ꎮ本文首先解释了数据分析工具Ｒ㊁Ｗｉｎｄｏｗｓ防火墙和模糊推理的理论背景ꎻ然后说明了所提出的安全分析方法的设计和实施过程ꎬ包括其各个阶段:收集和合并日志㊁清理和编辑日志㊁将文本日志转换为Ｒ表结构㊁使用ＣＩ技术分析Ｒ数据集以及可视化和解释结果ꎻ接着解释了这种方法对桌面用户的大数据可扩展性ꎻ最后提出了未来的延伸领域ꎮ１㊀理论背景１.１㊀ＲＲ是一种开源统计计算和数据可视化软件工具ꎬ适用于所有主要操作系统ꎬ如ＵＮＩＸ㊁Ｗｉｎｄｏｗｓ和ＭａｃＯＳ平台ꎮＲ包括数据处理设施ꎬ用于矩阵计算的优越机制㊁过多的数据分析和图形包以及简单的编程语言[４]ꎮＲ最强大的特征是对外部包的支持ꎮ目前ꎬＲ已经通过ＣＲＡＮ系列的互联网网站整合了大约５０００个包[５]ꎮＲ还拥有多个与人工神经网络㊁演化算法㊁模糊系统和混合智能系统相关的ＣＩ软件包ꎬ用于设计智能系统ꎮ因此ꎬ将Ｒ与一些数据收集和清理工具相结合可以为桌面用户提供潜在的数据分析解决方案ꎮＲ被许多官方统计机构用作常规统计生产的计算工具ꎮ除官方统计外ꎬ它还被用于金融㊁零售㊁制造㊁科学和学术研究等许多领域ꎬ这使其成为统计学家和研究人员的热门工具[４]ꎮ１.２㊀Ｗｉｎｄｏｗｓ防火墙自ＷｉｎｄｏｗｓＸＰＳＰ２发布以来ꎬＭｉｃｒｏｓｏｆｔ在Ｗｉｎ￣ｄｏｗｓ操作系统中嵌入了防火墙实用程序ꎬ现在可用于所有版本的Ｗｉｎｄｏｗｓꎬ具有高级安全性功能的Ｗｉｎｄｏｗｓ防火墙是一种状态防火墙ꎬ可检查和过滤ＩＰｖ４和ＩＰｖ６流量的所有数据包ꎬ数据包过滤过程基于用户或管理员定义的规则ꎬ并在此基础上允许或阻止网络流量ꎮ防火墙会自动阻止所有传入流量ꎬ除非它是对主机请求的响应ꎬ或者通过编写防火墙规则特别允许ꎮＷｉｎｄｏｗｓ防火墙还可以为特定端口号㊁应用程序名称㊁服务名称或其他基于标准的流量配置高级安全性 ꎬ然后可以明确允许这种流量[６]ꎮ这些功能专为需要在企业环境中管理网络安全性的高级用户而设计ꎬ它通常不适用于家庭网络ꎮ１.３㊀模糊推理模糊推理是从现有模糊规则库中导出逻辑结论的过程[７]ꎬ它模仿人类思维总结数据的能力ꎬ并专注于决策相关信息[８]ꎮ模糊推理对于那些由于不确定性㊁不可预测的动力学和其他未知现象ꎬ无法用精确的数学术语或模型来定义系统的有效和有用[９]ꎮ在网络安全中ꎬ大部分信息和流量数据本质上是不完整和不精确的ꎬ因此ꎬ模糊推理比其他类型的推理方法更为合适[１０￣１３]ꎮ模糊推理基于模糊规则库ꎬ可以由主题专家推导出来ꎬ也可以通过规则归纳过程从数据中提取出来ꎮ如果模糊规则库是一个密集的规则库ꎬ则可以使用任何规则推断方法ꎬ如Ｍａｍｄａｎｉ推理[１４]或Ｔａｋａｇｉ￣Ｓｕｇｅｎｏ推理[１５]ꎮ２㊀利用Ｒ中的计算智能技术对ＷＩＮＤＯＷＳ防火墙进行安全性分析由于系统资源和ＩＴ技能的限制ꎬ桌面用户的安全性分析是一项具有挑战性的任务ꎮ因此ꎬ本节介绍了为桌面用户提供的基于ＣＩ的大数据安全分析方法的设计和实现ꎬ以便在其限制内执行安全性分析ꎮ此安全性分析仅关注Ｗｉｎｄｏｗｓ桌面用户ꎬ该实验在Ｗｉｎｄｏｗｓ７操作系统和桌面上进行配置(处理器为ＩｎｔｅｌＣｏｒｅｉ７３.０ＧＨｚ(４核)ꎬＲＡＭ为１６ＧＢꎬＬ２Ｃａｃｈｅ为８ＭＢꎬ以太网为１００Ｍｂ/ｓ)ꎬ此安全性分析需要两个软件工具:ＥｍＥｄｉｔｏｒ和Ｒ(使用ＲＳｔｕ￣ｄｉｏＩＤＥ)ꎮ与其他安全分析不同ꎬ任何具有统计学基础知识和基本ＩＴ技能的用户都可以在没有任何技术培训的情况下进行安全分析ꎬ这种面向桌面的安全分析方法有几个阶段ꎬ如图１所示ꎮ各个阶段的描述如下ꎮ２.１㊀使用Ｗｉｎｄｏｗｓ批处理脚本收集和合并Ｗｉｎ￣ｄｏｗｓ防火墙日志默认情况下ꎬＷｉｎｄｏｗｓ防火墙日志记录在ｐｆｉｒｅ￣ｗａｌｌ.ｌｏｇ中ꎬ ｐｆｉｒｅｗａｌｌ.ｌｏｇ文件的最大大小为４０９６ＫＢꎬ超过此限制后ꎬ会将日志保存在名为ｐｆｉｒｅｗａｌｌ.ｌｏｇ.ｏｌｄ的备份文件中ꎬ该文件为４０９６ＫＢꎮ两个日志文件都不会超出此大小ꎬ并且当ｐｆｉｒｅｗａｌｌ.ｌｏｇ文件再次超过最大限制时ꎬ将删除旧的日志条目ꎬ以便为新创建的日志条目腾出空间ꎮ在Ｗｉｎｄｏｗｓ防火墙日志的安全性分析中ꎬ需要一个合理的日志文件来执行大量分析ꎬ并且通过编写Ｗｉｎｄｏｗｓ批处理脚本以最简单的方式创建ꎬ如图２所示ꎬ此批处理脚本在后台工作完成实验的一段时间ꎬ最初ꎬ ｍｅｒｇｅｄＬｏｇ文件是使用包含ｐｆｉｒｅｗａｌｌ.ｌｏｇ文件的所有１７个默认变量的标题ꎮ最后ꎬ在逐渐日志记录过程中获得了具有超过１０００万个观测值的１００６８８９１６０Ｂ(１.０１ＧＢ)的ｍｅｒｇｅｄＬｏｇ文件ꎮ图１㊀用于分析Ｗｉｎｄｏｗｓ防火墙日志的大数据安全性分析方法的阶段图２㊀用于创建Ｗｉｎｄｏｗｓ防火墙日志的ｍｅｒｇｅｄＬｏｇ文件的Ｗｉｎｄｏｗｓ批处理脚本㊀㊀把ｍｅｒｇｅｄＬｏｇ文件内容复制到ＥｍＥｄｉｔｏｒ(有些用户关闭了防火墙的功能ꎬ导致找不到ｍｅｒｇｅｄＬｏｇ文件)ꎬ但是ꎬ仍需要手动检查ｍｅｒｇｅｄＬｏｇ文件以用于各种目的ꎬ并根据Ｒ的要求进行对齐ꎬ如果ｍｅｒｇｅｄＬｏｇ文件不适合Ｒ格式ꎬ则Ｒ可能会生成错误消息ꎬ并且无法导入数据ꎬ因此ꎬ ｍｅｒｇｅｄＬｏｇ文件中的主要清理和编辑任务是检查两个字段之间的空格ꎬ并根据需要对齐ꎮ图３㊀在ＥｍＥｄｉｔｏｒ中清理和编辑ｍｅｒｇｅｄＬｏｇ文本文件２.２㊀使用ＥｍＥｄｉｔｏｒ清理和编辑ｍｅｒｇｅｄＬｏｇ文本文件通常ꎬ收集的数据可能不正确㊁不完整㊁格式不正确或重复ꎬ需要清理和编辑才能去除这些杂质[１６￣１７]ꎮ虽然日志文件是一个简单文本文件ꎬ但Ｎｏｔｅｐａｄ＋＋和其他桌面编辑器无法处理样品非常大的文本文件ꎬ而ＥｍＥｄｉｔｏｒ可以轻松处理高达２４８ＧＢ的文件大小[１８]ꎮ对于此分析ꎬ使用ＥｍＥｄｉｔｏｒ清理和编辑ｍｅｒｇｅｄＬｏｇ文件(大于１ＧＢ)ꎬ如图３所示ꎬ ｍｅｒｇｅｄＬｏｇ文件的创建方式与ｐｆｉｒｅｗａｌｌ.ｌｏｇ.ｏｌｄ的前五行相同ꎮ２.３㊀将ｍｅｒｇｅｄＬｏｇ文本文件转换为Ｒ表结构Ｒ支持基于Ｒ数据帧的表格式数据结构ꎬ因此ꎬ数据帧是Ｒ中的基本数据结构ꎬｒｅａｄ.ｔａｂｌｅ()以表格格式读取文件并从中创建数据帧ꎬ该函数的语法如公式１所示:数据框名称＝ｒｅａｄ.ｔａｂｌｅ(文件名ꎬ标题＝Ｆ/Ｔꎬｓｅｐ＝ )(１)其中标题是一个逻辑值ꎬ表示文件是否包含变量名并作为第一行ꎬ ｓｅｐ是字段分隔符ꎬ在该实现中ꎬ使用ｒｅａｄ.ｔａｂｌｅ()函数将合并的日志文件ｍｅｒｇｅｄＬｏｇ转换为表格类型的数据结构ꎬ如图４所示ꎮ图４㊀在Ｒ中创建ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ如果合并日志文件的结构ꎬ标题和内容准确ꎬ则在Ｒ中创建一个名为ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ的数据集ꎬ如图５所示ꎮ该数据集显示在ＲＳｔｕｄｉｏＩＤＥ的环境和历史窗格中ꎬ并包含１０８６６２４０个观测值和１７个类似于防火墙标题变量的变量ꎬ ｍｅｒｇｅｄ￣ＬｏｇＤａｔａＳｅｔ (参见图６)的实际表结构可以在脚本编辑器菜单中看到ꎮ通过ｓｔｒ命令可以看到该ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ的结构相关信息ꎬ如图７所示ꎮ这个ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ是直接从Ｗｉｎｄｏｗｓ防火墙合并日志文本文件创建的ꎬ因此ꎬ所有１７个变量的数据类型都是因子 ꎬ这种数据类型信息对于大多数统计分析来说非常重要ꎬ因为因子是Ｒ中的分类数据ꎬ对于许多计算模型ꎬ它需要转换为数值数据ꎮ２.４㊀使用ＣＩ技术对ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ进行安全性分析根据需求ꎬ不同用户的安全性分析的主要目的可能不同ꎬ此特定分析侧重于总结ｍｅｒｇｅｄＬｏｇ￣ＤａｔａＳｅｔ以提取重要信息ꎬ使用零假设和二项分析确定桌面的安全状态ꎬ根据目标协议和ＩＰ地址调查细节异常ꎬ设计智能系统来预测攻击风险ꎮ(１)用于安全性分析的Ｗｉｎｄｏｗｓ防火墙规则:基于规则的流量数据被收集在ｐｆｉｒｅｗａｌｌ.ｌｏｇ文件中ꎬ创建了两个入站规则来阻止特定流量的两台特定计算机ꎬ如图８所示ꎮ创建第一条规则是为了阻止计算机ꎬＩＰ地址为１９２.１６８.０.５０ꎬ仅用于ＩＣＭＰ数图５㊀使用观察数和变量数创建ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ据包ꎻ第二条规则用于计算机的ＩＰ地址１９２.１６８.０.５１ꎬ仅用于ＴＣＰ数据包ꎮ因此ꎬ在日志生成期间可以记录足够的丢弃活动ꎮ同样ꎬ为了停止主机端的某些活动(１９２.１６８.０.１５４)ꎬ还创建了一个出站规则来阻止传出的ＩＣＭＰ数据包到其他计算机ꎬ如图９所示ꎮ这些阻塞规则在防火墙中产生了足够的丢弃流量ꎮ(２)Ｗｉｎｄｏｗｓ防火墙日志的初步统计分析:Ｒ中最简单的数据分析命令是摘要命令ꎬ它提供有关给定数据集的合理统计信息ꎬ但是ꎬ它可能不足以进行详细调查或预测未来趋势ꎮ因此ꎬ根据研究的性质ꎬ可能需要一些高级分析包ꎬ如图１０所示ꎬｓｕｍ￣ｍａｒｙ命令显示了很少有关ｍｅｒｇｅｄＬｏｇ文件的统计信息ꎬ这对于进一步调查非常有用ꎬ此摘要包括与日期㊁时间㊁操作㊁协议㊁源地址㊁目标地址㊁源端口和目标端口相关的信息ꎬ这些信息非常清晰且易于理解ꎮ图６㊀Ｒ中ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ的表结构图７㊀创建了包含观察和变量数量的ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ图８㊀ＩＰ地址分别为１９２.１６８.０.５０和１９２.１６８.０.５１的传入ＩＣＭＰ和ＴＣＰ丢弃规则图９㊀主机ＩＰ地址１９２.１６８.０.１５４的传出ＩＣＭＰ丢弃规则图１０㊀ｍｅｒｇｅｄＬｏｇＤａｔａＳｅｔ的摘要分析㊀㊀(３)零假设和二项精确分析:所提出的摘要分析只是表面数据ꎬ防火墙日志变得非常巨大ꎬ普通用户很难从该防火墙日志中提取有意义的安全信息ꎮ用户的第一步是确定收集的流量数据是否接近正常/理想流量水平ꎬ因此ꎬ需要不同的统计分析来评估桌面的当前安全状态ꎬＲ中的零假设是最简单的分析ꎬ用于比较数据的统计显著性ꎬ而不会使分析与进一步的细节复杂化ꎬ任何防火墙的核心操作都是根据规则允许或丢弃数据包ꎬ为此ꎬ ｔａｂｌｅ() 函数显示每个因子级别组合的计数表ꎬ在图１１中ꎬｔａｂｌｅ()函数显示并简化了针对所有１０８６６２４０数据包的防火墙操作ꎬ其中７９５２１６０数据包是允许的 ꎬ２９１３８４０数据包是丢弃的ꎮ因此ꎬ基于允许的分组数(成功)ꎬ构造零假设以确定收集的业务状态/级别ꎮ图１１㊀允许㊁丢弃和丢失数据包的摘要在零假设中ꎬ当所有数据包(１０８６６２４０)可以允许检查两个样本之间的统计相似性时ꎬ将允许数据包的数量(７９５２１６０)与理想流量状况进行比较ꎬ以便可以使用其理想评估桌面安全级别交通状况ꎬ当显著性水平＝０.０５且置信水平＝９５％时ꎬｐｒｏｐ.ｔｅｓｔ()函数给出的ｐ值为２.２ˑ１０－１６(即ꎬＲ中的ｐ值<.Ｍａ￣ｃｈｉｎｅＭＹＭｄｏｕｂｌｅ.ｅｐｓ)ꎬ如图１２中所示ꎬ该值实际上接近于零并且远小于显著性水平的值(０.０５)ꎬ另外ꎬ值０不在置信区间(０.２６８４４０９和０.２６７９１３９)内ꎬ因此ꎬ相关性具有统计学意义ꎬ并且零假设被高度拒绝ꎮ该结果表明桌面当前的流量状况不正常ꎬ因此需要对攻击/威胁的类型进行进一步的详细调查ꎮ图１２㊀基于允许的流量确定桌面安全状态的空假设分析零假设检验的结果也通过Ｒ中的二项精确检验精确地验证ꎬ在图１２中ꎬ成功的概率是０.７３１８２２６ꎬ因此ꎬ使用ｂｉｎｏｍ.ｔｅｓｔ()函数计算二项精确值ꎬ如图１３所示ꎬ但是ꎬｐ值与ｐｒｏｐ.ｔｅｓｔ()函数计算的先前ｐ值相同ꎬ两个测试均拒绝零假设ꎬ显著性水平＝０.０５ꎬ置信水平＝９５％ꎬ因此ꎬ需要进行进一步的详细分析ꎬ以获得对桌面的风险和攻击的性质ꎮ(４)ＩＣＭＰ/ＴＣＰ/ＵＤＰ数据包和ＩＰ地址分析:零假设和二项分析导致进一步调查防火墙日志以确定安全漏洞的原因ꎬ在图１０所示的摘要分析结果中ꎬ可以容易地观察到协议和ＩＰ地址相关信息ꎬ并且可以用于分析原因ꎬ图１４显示了总ＩＣＭＰ㊁ＴＣＰ和ＵＤＰ的汇总表ꎮ图１３㊀二项精确分析ꎬ根据允许的流量确定桌面安全状态图１４㊀总ＩＣＭＰꎬＴＣＰ和ＵＤＰ数据包的摘要在Ｗｉｎｄｏｗｓ防火墙中ꎬ可用的协议选项是ＴＣＰ㊁的分组(参见图１１中的信息￣事件￣丢失)ꎮ图１５和１６显示了两个协议ＩＣＭＰ和ＴＣＰ以及两个ＩＰ地址为１９２.１６８.０.５０和１９２.１６８.０.５１的计算机系统的详细分析ꎬＩＰ地址为１９２.１６８.０.５０的系统在实验期间仅在最长时间内阻止ＩＣＭＰ数据包ꎬ但在整个持续时间内均未阻止ꎬ因此ꎬ图１５指出了几乎所有ＩＣＭＰ分组(３５０６４０)作为丢弃的分组ꎬ其中源ＩＰ地址是１９２.１６８.０.５０ꎬ为主机(１９２.１６８.０.１５４)编写了另一条规则来停止任何传出的ＩＣＭＰ数据包ꎬ因此ꎬ所有５３２８００数据包都被丢弃ꎬ试图发送到目标ＩＰ地址１９２.１６８.０.５０ꎬ但是ꎬ允许其他ＴＣＰ和ＵＤＰ数据包通过防火墙ꎬＩＰ地址为１９２.１６８.０.５１的系统被阻止ꎮ图１５㊀ＩＰ地址１９２.１６８.０.５０的协议摘要图１６㊀ＩＰ地址１９２.１６８.０.５１的协议摘要图１６示出几乎所有ＴＣＰ分组(１５０７６８０)作为丢弃分组ꎬ其中源ＩＰ地址是１９２.１６８.０.５１ꎬ先前为主机(１９２.１６８.０.１５４)编写的规则ꎬ以阻止任何传出的ＩＣＭＰ数据包在此处强制执行ꎬ因此ꎬ所有５２２７２０数据包都被丢弃ꎬ试图发送到目标ＩＰ地址１９２.１６８.０.５１ꎬ但是ꎬ允许其他ＴＣＰ和ＵＤＰ数据包通过防火墙ꎮ(５)设计用于预测攻击风险的模糊推理系统:分析通常需要建模和开发智能系统以用于未来的事件响应和预防目的[１９]ꎮＲ包含几个与人工神经网络㊁进化算法㊁模糊系统和混合智能系统相关的ＣＩ软件包ꎬ用于设计智能系统ꎮ在Ｒ中使用这些ＣＩ技术相对容易ꎬ使用集合包(参见图１７)设计模糊推理系统ꎬ以基于先前的分析来预测攻击的风险ꎬ如图１８㊁图１９㊁图２０所示ꎮ图１７㊀用于在Ｒ中设计模糊推理系统的集合包的安装图１８㊀在Ｒ中定义语言模糊变量图１９㊀在Ｒ中设计模糊规则库图２０㊀Ｒ中的结果模糊推理系统对ｍｅｒｇｅｄＬｏｇ文件及其数据集的详细分析表明ꎬ除了防火墙规则之外ꎬＩＣＭＰ和ＴＣＰ数据包的速率可以帮助系统预测未来的攻击风险ꎬ随后ꎬ对于该主机的基线ꎬ确定ＩＣＭＰ分组的范围(０~２０００分组/秒)和ＴＣＰ分组(０~８０００分组/秒)以确定正常和异常的业务状况ꎬ基线信息用于设计两个模糊输入变量ｉｃｍｐｒａｔｅ和ｔｃｐｒａｔｅꎬ其进一步的细节可以在文献[１０￣１３]中找到ꎬ基于这两个模糊输入变量ꎬ确定模糊输出变量攻击风险ꎬ以百分比(０~１００％)预测攻击风险ꎮ预测攻击的风险:此系统可与防火墙规则一起使用ꎬ以预测Ｗｉｎｄｏｗｓ防火墙中无法实现的攻击的可能性和级别ꎬ其进一步的细节可以在文献[１０￣１３]中找到ꎮＲ中模糊智能系统的这种简单易行的设计可以监控和预测攻击风险ꎬ这只是Ｒ强度及其对ＣＩ技术支持的一个例子ꎮ进化算法和混合智能系统也可以以相同的方式用于设计各种智能系统ꎬ另外ꎬ可以根据特定主机/网络的要求来调整和操纵基线分析和参数范围ꎮ２.５㊀使用Ｒ中的图表对安全性分析结果进行可视化解释Ｒ是一个强大的数据可视化工具ꎬ由于许多外部软件包ꎬ如ｇｇｐｌｏｔ２㊁ｖｃｄ或ｈｅｘｂｉｎꎬ用于增强信息的图形显示[２０]ꎮ使用简单的内置图形函数ｐｌｏｔ呈现了一些主要发现ꎬ然而ꎬ高级包ｇｇｐｌｏｔ２也可用于更具信息性和吸引力的表示ꎮ图２１表示绘图命令ꎬ图２２描述了其关于所有允许㊁丢弃和丢失分组的结果信息ꎬ其显示桌面允许７３％的分组与丢弃的２７％的分组相比ꎮ图２３表示绘制源ＩＰ地址及其相应动作的绘图命令ꎮ图２４显示了从特定源ＩＰ地址允许或丢弃了多少分组的绘图命令的结果图ꎮ红色和绿色分别显示该源ＩＰ地址的允许和丢弃数据包ꎮ图２１㊀绘制允许和丢弃数据包的绘图命令图２２㊀允许和丢弃数据包的图示图２３㊀用于绘制源ＩＰ地址和相应操作的绘图命令㊀㊀类似地ꎬ图２５表示绘制目的地ＩＰ地址及其相应动作的绘图命令ꎬ图２６指出了针对特定目的地ＩＰ地址允许或丢弃了多少分组的绘图命令的结果图ꎬ红色显示允许的数据包ꎬ青色显示该目标ＩＰ地址的丢弃数据包ꎬ在所有安全性分析中ꎬ分析的性质及其解释由用户/分析师确定ꎮ３㊀桌面用户的大数据可扩展性桌面用户的任何大数据分析方法都应该能够应对不断增加的数据量及其有效处理ꎬ今天的台式机包括多核处理器和增加的内存ꎬ因此ꎬ大数据分析方法应优化处理器和内存资源的使用ꎮＲ被用于提出的方法ꎬ但需要额外软件包的支持才能优化使用处理器和内存[２１￣２２]ꎮＲ被设计为一次只使用一个线程(处理器)ꎬ除非与多核/多线程库相关联ꎬ否则Ｒ的运行方式相同[２１]ꎮ为了利用多核ꎬＲ需要支持与高性能和并行计图２４㊀源ＩＰ地址和相应操作的图示图２５㊀用于绘制目标ＩＰ地址和相应操作的绘图命令算(ＨＰＰＣ)相关的附加软件包[２３]ꎮ在Ｒ中有几个可用于并行处理的包ꎬ例如并行㊁多核㊁Ｒｍｐｉ㊁ｐｂｄＭ￣ＰＩ㊁Ｒｂｏｒｉｓｔ㊁ｈ２ｏ㊁ｒａｎｄｏｍＦｏｒｅｓｔＳＲＣ㊁Ｒｄｓｍ和Ｒｈｐｃꎮ包并行基于包ｍｕｌ￣ｔｉｃｏｒｅ和ｓｎｏｗ构建ꎬ并提供了这些包的大部分功能的替代[２４]ꎮ程序包并行处理并行运行更大的计算块ꎬ典型的例子是在许多不同的数据集上评估相同的Ｒ函数ꎬ对于Ｗｉｎｄｏｗｓ桌面用户ꎬＭｉｃｒｏｓｏｆｔＲＯｐｅｎ包含多线程数学库以提高Ｒ的性能ꎬ并且适用于所有操作系统(Ｗｉｎｄｏｗｓ/ＵＮＩＸ/Ｍａｃ)[２５]ꎮ这些库使得几种常见的Ｒ操作(例如矩阵乘法/逆矩阵㊁矩阵分解和一些更高级别的矩阵操作)可以并行计算并使用所有可用的处理能力来减少计算时间[２６]ꎮ图２６㊀目标ＩＰ地址和相应操作的图示㊀㊀大型数据集也需要大量内存ꎬ如果文件大小与系统的现有存储器相比非常大ꎬ则可以使用ｆｆ包来执行有效和快速的数据处理ꎬ ｆｆ包提供了存储在磁盘上的数据结构ꎬ但它们就像在ＲＡＭ中一样ꎬ只透明地映射主内存中的一个部分(页面)[２７]ꎮ处理不断增加的数据量的另一个解决方案是大软件包系列ꎬ它由几个软件包组成ꎬ用于在大型数据集上执行任务ꎬ如ｂｉｇｍｅｍｏｒｙ[２８]㊁ｂｉｇａｎａｌｙｔｉｃｓ㊁ｂｉｇ￣ｔａｂｕｌａｔｅ㊁ｓｙｎｃｈｒｏｎｉｃｉｔｙ和ｂｉｇａｌｇｅｂｒａ[２２]ꎮ４　结论本文介绍了一种直观且廉价的大数据安全分析方法ꎬ该方法使用针对Ｗｉｎｄｏｗｓ桌面用户的计算智能(ＣＩ)技术ꎬ基于Ｗｉｎｄｏｗｓ批处理脚本ＥｍＥｄｉｔｏｒ和Ｒ的组合ꎮ这种安全分析方法是在１００６８８９１６０Ｂ(１.０１ＧＢ)的真实数据集上进行的ꎬ超过１０００万次观察ꎬ这些观察在Ｗｉｎｄｏｗｓ防火墙日志文件ｐｆｉｒｅｗａｌｌ.ｌｏｇ中收集并在３０天内整合到ｍｅｒｇｅｄ￣Ｌｏｇ文件中ꎮ这种面向桌面的安全分析可以成功地推断出桌面的安全状态ꎬ以及安全漏洞的来源和原因ꎮ在分析结果的基础上ꎬ设计了一个模糊推理系统来预测攻击风险并保护桌面ꎮ这种安全分析方法及其在适度桌面配置上的成功实施ꎬ显示了所提出方法的潜力ꎮ但是ꎬ这种特殊的实现仅限于基于某些防火墙规则㊁少数协议和ＩＰ地址的模拟数据ꎮ扩展规则和领域并收集外部流量以使这种方法成为一种通用的安全分析方法ꎬ是今后努力的方向ꎮ参考文献[１]Ｗ３ｓｃｈｏｏｌｓ.ｃｏｍ.ＯＳｐｌａｔｆｏｒｍｓｔａｔｉｓｔｉｃｓａｎｄｔｒｅｎｄｓ[ＥＢ/ＯＬ].(２０１６￣ˑˑ￣ˑˑ).ｈｔｔｐ://ｗｗｗ.ｗ３ｓｃｈｏｏｌｓ.ｃｏｍ/ｂｒｏｗｓｅｒｓ/ｂｒｏｗｓｅｒｓｏｓ.ａｓｐ?ｉｄ＝１００.[２]ＣＡＲＶＥＹＨ.Ｗｉｎｄｏｗｓｆｏｒｅｎｓｉｃａｎａｌｙｓｉｓｔｏｏｌｋｉｔ:ａｄｖａｎｃｅｄａ￣ｎａｌｙｓｉｓｔｅｃｈｎｉｑｕｅｓｆｏｒＷｉｎｄｏｗｓ８[Ｍ].Ａｍｓｔｅｒｄａｍ:Ｅｌｓｅｖｉ￣ｅｒꎬ２０１４.[３]ＣＡＶＯＵＫＩＡＮＡꎬＪＯＮＡＳＳＪ.Ｐｒｉｖａｃｙｂｙｄｅｓｉｇｎｉｎｔｈｅａｇｅｏｆｂｉｇｄａｔａ.Ｉｎｆｏｒｍａｔｉｏｎａｎｄｐｒｉｖａｃｙｃｏｍｍｉｓｓｉｏｎｅｒｏｆｏｎｔａｒ￣ｉｏ[Ｍ].Ｃａｎａｄａꎬ２０１２.[４]ＯＡＮＣＥＡＢꎬＤＲＡＧＯＥＳＣＵＳＲＭ.ＩｎｔｅｇｒａｔｉｎｇＲａｎｄｈａ￣ｄｏｏｐｆｏｒＢｉｇｄａｔａａｎａｌｙｓｉｓ[ＥＢ/ＯＬ].(２０１４￣０７￣１８).ｈｔ￣ｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１４０７.４９０８.[５]Ｃｒａｎ.ｒ￣ｐｒｏｊｅｃｔ.ｏｒｇ.ＴｈｅｃｏｍｐｒｅｈｅｎｓｉｖｅＲａｒｃｈｉｖｅｎｅｔ￣ｗｏｒｋ[ＥＢ/ＯＬ].(２０１２￣０５￣１０).ｈｔｔｐｓ://ｃｒａｎ.ｒ￣ｐｒｏｊｅｃｔ.ｏｒｇ/.[６]Ｍｉｃｒｏｓｏｆｔ.ｃｏｍ.Ｏｖｅｒｖｉｅｗｏｆｗｉｎｄｏｗｓｆｉｒｅｗａｌｌｗｉｔｈａｄｖａｎｃｅｄｔｅｃｈｎｅｔ.ｍｉｃｒｏｓｏｆｔ.ｃｏｍ/ｌｉｂｒａｒｙ/６ｆｆ０ｅ３２０￣０３６９￣４９６ａ￣８ｆ１ｆ￣０ｂ７２２４ｃ７ｆ８５７.ａｓｐｘ.[７]ＺＡＤＥＨＬＡ.Ｆｕｚｚｙｓｅｔｓ[Ｊ].Ｉｎｆｏｒｍａｔｉｏｎ＆Ｃｏｎｔｒｏｌꎬ１９６５ꎬ８(３):３３８￣３５３.[８]ＮＡＩＫＮꎬＤＩＡＯＲꎬＣＨＡＩＱꎬｅｔａｌ.Ｔｏｗａｒｄｓｄｙｎａｍｉｃｆｕｚｚｙｒｕｌｅｉｎｔｅｒｐｏｌａｔｉｏｎ[Ｃ].ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＦｕｚｚｙＳｙｓｔｅｍｓ.ＩＥＥＥꎬ２０１３.[９]ＮＡＩＫＮꎬＤＩＡＯＲꎬＳＨＥＮＱ.Ｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ￣ａｉｄｅｄｄｙ￣ｎａｍｉｃｆｕｚｚｙｒｕｌｅｉｎｔｅｒｐｏｌａｔｉｏｎ[Ｃ].ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＦｕｚｚｙＳｙｓｔｅｍｓ.ＩＥＥＥꎬ２０１４.[１０]ＮＡＩＫＮ.Ｆｕｚｚｙｉｎｆｅｒｅｎｃｅｂａｓｅｄｉｎｔｒｕｓｉｏｎｄｅｔｅｃｔｉｏｎｓｙｓ￣ｔｅｍ:ＦＩ￣Ｓｎｏｒｔ[Ｃ].ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤｅ￣ｐｅｎｄａｂｌｅꎬＡｕｔｏｎｏｍｉｃａｎｄＳｅｃｕｒｅＣｏｍｐｕｔｉｎｇꎬ２０１５. [１１]ＮＡＩＫＮꎬＪＥＮＫＩＮＳＰ.Ｆｕｚｚｙｒｅａｓｏｎｉｎｇｂａｓｅｄｗｉｎｄｏｗｓｆｉｒｅ￣ｗａｌｌｆｏｒｐｒｅｖｅｎｔｉｎｇｄｅｎｉａｌｏｆｓｅｒｖｉｃｅａｔｔａｃｋ[Ｃ].ＩＥＥＥＩｎ￣ｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＦｕｚｚｙＳｙｓｔｅｍｓꎬ２０１６. [１２]ＮＡＩＫＮꎬＤＩＡＯＲꎬＳＨＥＮＱ.Ａｐｐｌｉｃａｔｉｏｎｏｆｄｙｎａｍｉｃｆｕｚｚｙｒｕｌｅｉｎ￣ｔｅｒｐｏｌａｔｉｏｎｆｏｒｉｎｔｒｕｓｉｏｎｄｅｔｅｃｔｉｏｎ:Ｄ￣ＦＲＩ￣Ｓｎｏｒｔ[Ｃ].ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＦｕｚｚｙＳｙｓｔｅｍｓꎬ２０１６. [１３]ＮＡＩＫＮꎬＪＥＮＫＩＮＳＰ.Ｅｎｈａｎｃｉｎｇｗｉｎｄｏｗｓｆｉｒｅｗａｌｌｓｅｃｕｒｉｔｙｕｓｉｎｇｆｕｚｚｙｒｅａｓｏｎｉｎｇ[Ｃ].ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤｅｐｅｎｄａｂｌｅꎬＡｕｔｏｎｏｍｉｃａｎｄＳｅｃｕｒｅＣｏｍｐｕｔｉｎｇꎬ２０１６. [１４]ＭＡＭＤＡＮＩＥＨꎬＡＳＳＩＬＩＮＡＳ.Ａｎｅｘｐｅｒｉｍｅｎｔｉｎｌｉｎｇｕｉｓｔｉｃｓｙｎｔｈｅｓｉｓｗｉｔｈａｆｕｚｚｙｌｏｇｉｃｃｏｎｔｒｏｌｌｅｒ[Ｊ].ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＭａｎ￣ＭａｃｈｉｎｅＳｔｕｄｉｅｓꎬ１９７５ꎬ７(１):１￣１３. [１５]ＴＡＫＡＧＩＴꎬＳＵＧＥＮＯＭ.Ｆｕｚｚｙｉｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｓｙｓｔｅｍｓａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎｓｔｏｍｏｄｅｌｉｎｇａｎｄｃｏｎｔｒｏｌ[Ｃ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｙｓｔｅｍｓꎬＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓꎬ１９８５. [１６]ＦＩＳＨＥＲＤꎬＤＥＬＩＮＥＲꎬＣＺＥＲＷＩＮＳＫＩＭꎬｅｔａｌ.Ｉｎｔｅｒａｃ￣ｔｉｏｎｓｗｉｔｈＢｉｇｄａｔａａｎａｌｙｔｉｃｓ[Ｃ].Ｉｎｔｅｒａｃｔｉｏｎｓꎬ２０１２. [１７]ＮＡＪＡＦＡＢＡＤＩＭＭꎬＶＩＬＬＡＮＵＳＴＲＥＦꎬＫＨＯＳＨＧＯＦＴＡ￣ＡＲＴＭꎬｅｔａｌ.Ｄｅｅｐｌｅａｒｎｉｎｇａｐｐｌｉｃａｔｉｏｎｓａｎｄｃｈａｌ￣ｌｅｎｇｅｓｉｎＢｉｇｄａｔａａｎａｌｙｔｉｃｓ[Ｊ].ＢｉｇＤａｔａꎬ２０１５(２):１￣２２. [１８]Ｅｍｅｄｉｔｏｒ.ｃｏｍ.Ｔｅｘｔｅｄｉｔｏｒｆｏｒｗｉｎｄｏｗｓ[ＥＢ/ＯＬ].(２０１５￣ˑˑ￣ˑˑ).ｈｔｔｐｓ://ｗｗｗ.ｅｍｅｄｉｔｏｒ.ｃｏｍ/.[１９]ＡＬＦＡＲＯＪＧꎬＢＯＵＬＡＨＩＡ￣ＣＵＰＰＥＮＳＮꎬＣＵＰＰＥＮＳＦ.Ｃｏｍｐｌｅｔｅａｎａｌｙｓｉｓｏｆｃｏｎｆｉｇｕｒａｔｉｏｎｒｕｌｅｓｔｏｇｕａｒａｎｔｅｅｒｅｌｉａ￣ｂｌｅｎｅｔｗｏｒｋｓｅｃｕｒｉｔｙｐｏｌｉｃｉｅｓ[Ｊ].ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｅｃｕｒｉｔｙꎬ２００８(７):１０２￣１２３.[２０]ＣＨＯＷꎬＬＩＭＹꎬＬＥＥＨꎬｅｔａｌ.Ｂｉｇｄａｔａａｎａｌｙｓｉｓｗｉｔｈｉｎ￣ｔｅｒａｃｔｉｖｅｖｉｓｕａｌｉｚａｔｉｏｎｕｓｉｎｇＲｐａｃｋａｇｅｓ[Ｃ].Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＢｉｇＤａｔａＳｃｉｅｎｃｅａｎｄＣｏｍｐｕｔｉｎｇ.ＡＣＭꎬ２０１４.[２１]ＲＯＳＡＲＩＯＳＲＲ.ＴａｋｉｎｇＲｔｏｔｈｅｌｉｍｉｔꎬＰａｒｔＩ:Ｐａｒａｌｌｅｌｉｚａ￣ｔｉｏｎ[ＥＢ/ＯＬ].(２０１０￣０７￣２７).ｈｔｔｐ://ｗｗｗ.ｂｙｔｅｍｉｎｉｎｇ.ｃｏｍ/ｗｐ￣ｃｏｎｔｅｎｔ/ｕｐｌｏａｄｓ/２０１０/０７/ｒｈｐｃ.ｐｄｆ. [２２]ＴａｋｉｎｇＲｔｏｔｈｅｌｉｍｉｔꎬＰａｒｔＩＩ:Ｗｏｒｋｉｎｇｗｉｔｈｌａｒｇｅｄａｔａ￣ｓｅｔｓ[ＥＢ/ＯＬ].(２０１０￣０８￣１７).ｈｔｔｐ://ｗｗｗ.ｂｙｔｅｍｉｎ￣ｉｎｇ.ｃｏｍ/ｗｐ￣ｃｏｎｔｅｎｔ/ｕｐｌｏａｄｓ/２０１０/０７/ｒｈｐｃ.ｐｄｆ. [２３]ＥＤＤＥＬＢＵＥＴＴＥＬＩＤ.Ｃｒａｎｔａｓｋｖｉｅｗ:ｈｉｇｈ￣ｐｅｒｆｏｒｍａｎｃｅａｎｄｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇｗｉｔｈＲ[ＥＢ/ＯＬ].(２０１６￣１０￣１０).ｈｔｔｐｓ://ｃｒａｎ.ｒ￣ｐｒｏｊｅｃｔ.ｏｒｇ/ｗｅｂ/ｐａｃｋａｇｅｓ/ｂｉｇｍｅｍｏｒｙ/ｉｎ￣ｄｅｘ.ｈｔｍｌ.[２４]Ｒ￣ｃｏｒｅ.Ｐａｃｋａｇｅｐａｒａｌｌｅｌ[ＥＢ/ＯＬ].(２０１５￣１２￣０４).ｈｔ￣ｔｐｓ://ｓｔａｔ.ｅｔｈｚ.ｃｈ/Ｒ￣ｍａｎｕａｌ/Ｒ￣ｄｅｖｅｌ/ｌｉｂｒａｒｙ/ｐａｒａｌｌｅｌ/ｄｏｃ/ｐａｒａｌｌｅｌ.ｐｄｆ.[２５]Ｍｒａｎ.ｍｉｃｒｏｓｏｆｔ.ｃｏｍ.ＭｉｃｒｏｓｏｆｔＲｏｐｅｎ:ＴｈｅｅｎｈａｎｃｅｄＲｄｉｓｔｒｉｂｕｔｉｏｎ[ＥＢ/ＯＬ].(２０１６￣０９￣０１).ｈｔｔｐｓ://ｍｒａｎ.ｍｉ￣ｃｒｏｓｏｆｔ.ｃｏｍ/ｏｐｅｎ/.[２６]ＡｂｏｕｔｍｉｃｒｏｓｏｆｔＲｏｐｅｎ:ｔｈｅｅｎｈａｎｃｅｄＲｄｉｓｔｒｉｂｕｔｉｏｎ[ＥＢ/ＯＬ].(２０１６￣０９￣０１).ｈｔｔｐｓ://ｍｒａｎ.ｒｅｖｏｌｕｔｉｏｎａｎａｌｙｔｉｃｓ.ｃｏｍ/ｒｒｏ/. [２７]Ｃｒａｎ.ｒ￣ｐｒｏｊｅｃｔ.ｏｒｇ.Ｆｆ:ｍｅｍｏｒｙ￣ｅｆｆｉｃｉｅｎｔｓｔｏｒａｇｅｏｆｌａｒｇｅｄａｔａｏｎｄｉｓｋａｎｄｆａｓｔａｃｃｅｓｓｆｕｎｃｔｉｏｎｓ[ＥＢ/ＯＬ].(２０１４￣０４￣０９).ｈｔｔｐｓ://ｃｒａｎ.ｒ￣ｐｒｏｊｅｃｔ.ｏｒｇ/ｗｅｂ/ｐａｃｋａｇｅｓ/ｆｆ/ｉｎ￣ｄｅｘ.ｈｔｍｌ.[２８]ＫＡＮＥＭＪꎬＥＭＥＲＳＯＮＳＪＷꎬＨＡＶＥＲＴＹＰꎬｅｔａｌ.Ｂｉｇ￣ｍｅｍｏｒｙ:ｍａｎａｇｅｍａｓｓｉｖｅｍａｔｒｉｃｅｓｗｉｔｈｓｈａｒｅｄｍｅｍｏｒｙａｎｄｍｅｍｏｒｙ￣ｍａｐｐｅｄｆｉｌｅｓ[ＥＢ/ＯＬ].(２０１６￣０３￣２８).ｈｔ￣ｔｐｓ://ｃｒａｎ.ｒ￣ｐｒｏｊｅｃｔ.ｏｒｇ/ｗｅｂ/ｐａｃｋａｇｅｓ/ｂｉｇｍｅｍｏｒｙ/ｉｎ￣ｄｅｘ.ｈｔｍｌ.(收稿日期:２０１９￣０４￣２９)作者简介:陈立军(１９７４－)ꎬ男ꎬ硕士ꎬ讲师ꎬ主要研究方向:大数据㊁信息安全㊁网络安全ꎮＥ￣ｍａｉｌ:３７２１５８２８６＠ｑｑ.ｃｏｍ张屹(１９７２￣)ꎬ男ꎬ博士ꎬ副教授ꎬ主要研究方向:软件工程ꎮ蒋慧勇(１９８１￣)ꎬ男ꎬ硕士ꎬ主要研究方向:互联网应用ꎮ。