DAS下一种基于生成检测查询的数据有效性验证方法

合集下载

2019年数据库系统工程师下午真题及答案

2019年数据库系统工程师下午真题及答案

2019年数据库系统工程师下午真题及答案1、系统的总体特性是系统整体上的属性,系统的这些特性通常是很难提前预测的,只有当所有子系统和元素被整合形成完全的系统之后才能表现出来。

定义一个系统、组成一个系统或者抽象出一个系统,()决定了系统的功能。

[单选题] *A 完整性B 目标性(正确答案)C 精确性D 安全性答案解析:定义一个系统、组成一个系统或者抽象出一个系统,都有明确的目标或者目的,目标性决定了系统的功能。

2、信息化从“小”到“大”分层以下5个层次,()是国民经济信息化的基础,涉及生产制造系统、ERP、CRM、SCM等 [单选题] *A 企业信息化(正确答案)B 产业信息化C 国民经济信息化D 社会生活信息化答案解析:企业信息化是指企业在产品的设计、开发、生产、管理、经营等多个环节中广泛利用信息技术,辅助生产制造,优化工作流程,管理客户关系,建设企业信息管理系统,培养信息化人才并建设完善信息化管理制度的过程。

企业信息化是国民经济信息化的基础,涉及生产制造系统、ERP、CRM、SCM等3、()的特点,使得信息消费更注重良好的用户体验,而不必关心信息技术细节。

[单选题] *A 通用技术B 智能化技术C 遥感和传感技术D 集成化和平台化(正确答案)答案解析:集成化和平台化的特点,使得信息消费更注重良好的用户体验,而不必关心信息技术细节。

4、根据《2006-2020年国家信息化发展战略》,工业和信息化部会同国务院有关部门于2013年9月编制了《信息化发展规划》,作为指导今后一个时期加快推动我国信息化发展的行动纲领。

其具体目标下列说法错误的是:() [单选题] *A 促进经济增长方式的根本转变B 实现信息技术自主创新、信息产业发展的跨越。

C 提升信息技术普及水平、信息资源开发利用水平和信息安全保障水平。

(正确答案)D 增强政府公共服务能力、社会主义先进文化传播能力、中国特色的军事变革能力和国民信息技术应用能力。

DAS中一种XML查询完全性验证算法(1)

DAS中一种XML查询完全性验证算法(1)
correctness and completeness of client query’S results under the situation that a third—party offers query service.The basic idea is to build Merkle Hash tree twice to verify the correctness and completeness of the results.
中查找每棵子树的入口,并把子树的标识按照编码
先后顺序记录在路径表PathTable的相应行.(代
码①~⑤行).
2)路径表PathTable中的每行都包含0个或
多个不同的标识,形成标识组.每个标识组通过
MHT求得一个Hash值,把该值记录在路径表
PathTable的相应行.对于只有0个标识的行,将
Hash值设为o(代码⑥~⑧行).
收稿日期:2009—06—19 基金项目:国家“八六三”高技术研究发展计划基金项目(2009AA012150);天津市自然科学基金项目(07JCYBJCl4400)
万方数据
64
计算机研究与发展2009,46(增刊)
对XMI。数据树的结构进行签名并提供相应的验证 方法.这两种方法都没有解决查询完全性的问题:服 务器返回的结果是否全部包含了对应查询语句 (XPath或XQuery)所应得到的全部结果,并且没有 多余的非查询结果被返回.
由于目前针对外包数据的安全研究面临很多挑 战[9],其中查询结果的完全性验证问题尤其突出.本 文针对外包XML数据的完全性验证进行研究,下
面对所研究的问题给出描述性定义. 定义1.XML查询完全性验证. 令D={Dl,D2,…,D。}为Data Owner(数据

测量数据的有效性检验方法

测量数据的有效性检验方法

测量数据的有效性检验方法导言:数据是科学研究和决策制定的基础,而数据的有效性则决定着研究结论的可信度和决策的准确性。

因此,对测量数据的有效性进行检验是非常重要的。

本文将介绍一些常见的测量数据的有效性检验方法。

一、校准和调试校准是指通过使用已知标准来确定测量仪器或设备的准确度。

对于测量数据的有效性检验而言,校准是首要的一步。

校准需要使用经过验证和标定的标准物体或设备,将其与待校准的测量仪器进行比对,以保证测量仪器的准确性和可靠性。

调试则是对测量设备进行适应性和性能测试,以确认其功能和性能满足要求。

二、可重复性与一致性检验可重复性和一致性是衡量测量数据的稳定性和精确性的重要指标。

可重复性是指在相同条件下,连续多次进行测量得到的结果的变异程度。

一致性则是指不同测量仪器或不同操作员对同一样本进行测量时得到的结果的一致程度。

可使用方差分析(ANOVA)等统计方法对同一测量数据进行分析,以判断测量数据的可重复性和一致性。

三、相关性分析相关性分析是一种常见的测量数据有效性检验方法,用于考察两个或多个变量之间的关系。

通过计算相关系数可以衡量变量之间的相关性强度,并验证测量数据的有效性。

常用的相关性系数包括皮尔逊相关系数和斯皮尔曼等级相关系数。

如果相关系数接近于1或-1,则表明两个变量之间存在较强的线性相关性,从而增加了测量数据的可靠性。

四、信度检验信度是指测量工具或评价指标在重复使用中的稳定性和一致性,是测量数据有效性的关键方面之一。

常用的信度检验方法包括重测信度、平行测试信度和内部一致性信度。

重测信度是指在相同条件下,同一测量工具对同一样本进行重复测量时的结果一致性。

平行测试信度则是指不同测量工具在同一样本上进行测试得到的结果的一致性。

内部一致性信度是指在评价指标多个维度或测量项之间的一致性。

通过这些信度检验方法,可以评估测量工具或评价指标的稳定性和可靠性,确保测量数据的有效性。

五、因素分析因素分析是一种常用的数据降维方法,用于确定一组测量数据背后的潜在因素或维度。

分布式天线系统MIMO信道容量分析

分布式天线系统MIMO信道容量分析

分布式天线系统MIMO信道容量分析一、内容综述随着无线通信技术的不断发展,分布式天线系统(Distributed Antenna System,DAS)已经成为现代通信系统中的重要组成部分。

特别是在MIMO(多输入多输出)技术的应用背景下,分布式天线系统为提高系统性能和频谱效率提供了有力支持。

本文将对分布式天线系统的MIMO信道容量分析进行全面梳理,旨在为相关领域的研究者和工程师提供一个理论参考和实践指导。

首先本文将介绍分布式天线系统的基本概念、组成结构以及其在MIMO通信中的优势。

在此基础上,针对MIMO信道容量分析的基本原理和方法进行详细阐述,包括信道容量的定义、计算公式、性能指标等。

此外本文还将重点讨论分布式天线系统在MIMO通信中的信道建模方法,如香农费诺方程、高斯谢泼德方程等,以及这些模型在实际应用中的局限性和改进策略。

其次本文将对分布式天线系统的MIMO信道容量进行深入研究,包括单用户和多用户两种场景下的信道容量分析。

针对单用户场景,本文将探讨分布式天线系统如何通过引入阵列自适应技术和空间分集技术来提高信道容量;而对于多用户场景,本文将研究分布式天线系统如何利用波束形成技术、空时分组码(SpaceTime Block Coding,STBC)等技术来实现多用户同时传输和共享信道资源,从而提高整体系统性能。

本文将结合国内外相关研究成果,对分布式天线系统的MIMO信道容量分析进行总结和展望。

通过对现有理论研究和实际应用的分析,本文将提出一些有针对性的建议和发展方向,以期为进一步推动分布式天线系统在MIMO通信中的应用和发展提供理论支持和技术指导。

1.1 背景介绍随着无线通信技术的飞速发展,多输入多输出(MIMO)技术已经成为现代无线通信系统的重要组成部分。

MIMO技术通过在发射和接收天线之间引入多个天线,极大地提高了无线通信系统的频谱效率、抗干扰能力和数据传输速率。

然而随着MIMO系统容量的提高,信道容量分析变得越来越复杂,尤其是在分布式天线系统中。

论文写作中的数据有效性验证与信度检验技巧

论文写作中的数据有效性验证与信度检验技巧

论文写作中的数据有效性验证与信度检验技巧在论文写作中,数据的有效性验证和信度检验是至关重要的步骤。

只有通过科学可靠的方法,才能确保研究结果的可信度和准确性。

本文将介绍一些常用的数据有效性验证和信度检验技巧。

一、数据有效性验证技巧1. 数据收集的可靠性:在论文中,数据的来源必须是可靠的。

确保数据来源的可靠性,可以通过选择权威的数据库、采用公认的研究工具和方法、进行实地调查等方式。

2. 数据样本的代表性:为了确保数据的有效性,样本的代表性至关重要。

在选择样本时,应该根据研究目的和研究对象的特点,采用随机抽样或者分层抽样的方法,以确保样本能够准确地代表总体。

3. 数据清洗与筛选:在数据收集后,需要对数据进行清洗和筛选,去除异常值和无效数据。

可以通过统计软件进行数据清洗,排除不合理的数据,确保分析结果的准确性。

二、信度检验技巧1. 测试再测试法:通过在不同时间或者不同情境下对同一样本进行测试,来验证测量工具的信度。

如果不同测试结果之间相关性较高,则说明测量工具具有较高的信度。

2. 半数分测试法:将测量工具分为两部分,分别测试同一样本,然后计算两次测试结果的相关性。

如果相关性较高,说明测量工具具有较高的信度。

3. 同质性检验:通过计算测量工具中各项指标之间的相关性,来验证测量工具的信度。

如果各项指标之间相关性较高,则说明测量工具具有较高的信度。

三、数据有效性验证与信度检验的注意事项1. 样本量的合理性:样本量的大小直接影响到数据分析结果的可靠性。

在进行数据分析之前,需要确保样本量足够大,以保证结果的可信度。

2. 统计方法的选择:不同的研究问题需要使用不同的统计方法进行数据分析。

在选择统计方法时,需要确保所选方法能够准确地反映研究结果,避免过度解读或低估结果的情况。

3. 结果的解释与讨论:在论文中,需要对数据有效性验证和信度检验的结果进行解释和讨论。

解释结果时,要避免过度解读或者片面理解,可以结合相关理论或者前人研究进行分析。

配电自动化系统中通信网络的规划与组建

配电自动化系统中通信网络的规划与组建

配电自动化系统中通信网络的规划与组建一、本文概述随着电力行业的持续发展和智能化转型的深入,配电自动化系统作为智能电网的重要组成部分,对于提升电网运行效率、保障能源供应安全、实现节能减排等方面具有举足轻重的地位。

在配电自动化系统中,通信网络是实现系统各功能单元之间信息传递和控制的关键,其规划与组建的合理性直接影响到系统的运行效果。

对配电自动化系统中通信网络的规划与组建进行深入研究,对于推动配电自动化技术的发展和应用具有重要意义。

本文旨在探讨配电自动化系统中通信网络的规划与组建问题。

概述配电自动化系统的基本架构和功能需求,分析通信网络在其中的作用详细讨论通信网络的规划原则、关键技术及组网方案,包括网络拓扑结构、传输技术选择、设备配置等方面结合具体案例,分析通信网络规划与组建的实践经验,为配电自动化系统中通信网络的优化升级提供参考和借鉴。

通过本文的研究,期望能够为配电自动化系统中通信网络的规划与组建提供理论支持和实践指导,推动配电自动化技术的进一步发展,为电力系统的智能化升级贡献力量。

二、配电自动化系统中通信网络的基础知识配电自动化系统中的通信网络是实现系统智能化、自动化的关键所在。

它负责在系统各组成部分之间传递信息,确保数据实时、准确、可靠地流动。

理解通信网络的基础知识对于规划和组建配电自动化系统至关重要。

通信协议与标准:配电自动化系统中的通信网络必须遵循一定的通信协议和标准,以确保各设备之间能够正确、高效地进行信息交换。

这些协议和标准包括但不限于IEC 61DLT 860等,它们规定了数据格式、传输方式、设备接口等方面的要求。

通信方式:配电自动化系统中的通信网络可以采用多种通信方式,如有线通信、无线通信、光纤通信等。

每种通信方式都有其优缺点,需要根据实际需求和条件进行选择。

例如,有线通信稳定可靠,但布线复杂无线通信灵活方便,但可能受到环境干扰。

网络拓扑结构:网络拓扑结构决定了通信网络中各设备之间的连接方式和逻辑关系。

如何进行测绘数据的有效性验证

如何进行测绘数据的有效性验证

如何进行测绘数据的有效性验证测绘数据的有效性验证在现代社会中具有极其重要的意义。

随着科技的发展和各行业的发展,测绘数据在国土规划、城市建设、环境保护等方面扮演着不可或缺的角色。

然而,由于数据的获取和处理过程中存在一定的误差和偏差,我们需要借助有效性验证来确保数据的准确性和可靠性,以便更好地应用于实践。

首先,我们需要明确有效性验证的目的。

有效性验证的目的是确认测绘数据的准确性、完整性和一致性,以便其可以能够支持相关的决策和研究。

它包括检验测绘数据的来源、采集方法、处理过程和结果,确定其是否符合实际情况,并具有可靠性和有效性。

其次,我们可以采用多种方法进行测绘数据的有效性验证。

一种常用的方法是与实地进行比对。

通过与实地景物进行对照,可以验证测绘数据的准确性。

例如,在进行地图制作时,我们可以与实地进行比对,观察是否存在重要的误差或遗漏。

同时,我们还可以使用GPS技术等工具进行验证,以确定数据的几何精度和位置准确性。

另外,我们也可以采用统计学方法进行有效性验证。

通过对测绘数据进行统计分析,可以识别出数据中的异常点和离群值,对数据的质量进行评估。

例如,我们可以使用平均值、方差、回归分析等方法来分析数据的分布和趋势,从而判断数据的可靠性。

此外,我们还可以借助其他的数据进行有效性验证。

通过与其他数据源进行比对,可以验证测绘数据的一致性。

例如,我们可以与其他测绘数据、地理信息系统数据或遥感数据进行对比,以确保数据的一致性和可信度。

同时,也可以通过与历史数据进行比对,来评估数据的持续性和稳定性。

在进行有效性验证时,我们应注重数据的质量管理。

首先,应确保数据的来源可靠,避免采用不准确或不完整的数据。

其次,应建立规范的数据采集和处理流程,以确保数据的一致性和准确性。

同时,应注意数据的误差和偏差,并进行修正和校正,以提高数据的质量。

此外,应制定数据质量评估标准和指标,对数据进行科学评估,并不断改进和优化数据的质量管理体系。

iData_定量检测系统方法学性能验证实验的基本方法_张葵

iData_定量检测系统方法学性能验证实验的基本方法_张葵

文章编号:1001-764X (2009)05-0321-03 中图分类号:R 446 文献标识码:A·专家论坛· 作者简介:张葵,1961年生,女,主任技师,硕士研究生导师,主要从事临床化学和实验室管理工作。

定量检测系统方法学性能验证实验的基本方法张葵(南京大学医学院附属鼓楼医院,南京210008)关键词:定量检测系统;方法学;性能验证 为确保临床实验室检验结果的准确与可靠,美国《临床实验室改进法案修正案》(C l i n i c a l L a b o r a t o -r y I m p r o v e m e n t A m e n d m e n t 88,C L I A ′88)规定,临床实验室在更换检测系统或仪器(相同或不同的型号)、增加新项目或改变检测试剂盒的厂商时,在实验室出具临床检验结果前,应验证产品说明书提供的性能指标[1]。

医学实验室认可的专用准则———I S O 15189《医学实验室质量和能力的专用要求》要求申请认可的实验室应对设备、检测系统或方法的主要分析性能进行验证,证实其能够达到临床检测所要求的标准[2]。

我国2006年出台的《医疗机构临床实验室管理办法》中也指出:需对检测系统进行有效性的评价。

本文对定量检测系统方法学性能验证实验方法作一简要介绍。

1 配套检测系统的方法学性能验证实验 检测系统是指检测项目所涉及的仪器、试剂、校准品、质量控制、操作程序、保养计划等组合。

目前,国际上的知名厂商均能提供完整的检测系统,系统的分析性能均由美国F D A 确认。

2003年生效的美国《临床实验室修正法案最终法规》指出,配套检测系统投入临床检测之前,必须对厂商提供的精密度(p r e c i s i o n )、准确度(a c c u r a c y )、可报告范围(r e p o r t -a b l e r a n g e )、参考区间(r e f e r e n c e r a n g e )4项性能指标进行验证[1]。

报告中的数据验证与结果验证方法

报告中的数据验证与结果验证方法

报告中的数据验证与结果验证方法导言:在现今的科技发达时代,数据的重要性日益凸显。

各行业的报告中大量的数据被用来支持决策,评估项目的可行性以及验证研究的结果。

然而,数据的准确性成为了一个至关重要的问题,因为错误的数据可能导致错误的结论和错误的决策。

为了确保报告中的数据和结果的可靠性,采用合适的数据验证和结果验证方法是必要的。

本文将探讨报告中的数据验证和结果验证方法,以确保数据的准确性和结果的可信度。

数据验证方法:1. 数据来源验证:数据来源验证是确保所使用的数据来自可信、可靠的来源的一种方法。

在报告中,需要明确列出数据的来源,包括数据的原始来源,采集方式以及采集时间等信息。

此外,通过验证数据的来源是否可信、是否经过严格的收集和处理过程,可以进一步提高数据的可靠性。

2. 数据完整性验证:数据的完整性是指数据集中是否包含了所有必要的数据,并且不包含无关的数据。

在报告中,数据的完整性验证是通过对数据集进行审查和分析来实现的。

可以检查数据是否遗漏了某些关键信息,或者是否包含了无关的信息。

通过验证数据的完整性,可以确保所使用的数据是全面、准确的。

3. 数据一致性验证:数据的一致性是指数据在不同的来源、时间点或者维度上是否保持一致。

在报告中,数据一致性验证可以通过比较不同数据源的数据来实现。

可以比较数据之间的差异、趋势和变化,以判断数据的一致性。

如果数据之间存在较大的差异,可能需要进一步调查和核实。

结果验证方法:4. 复核数据计算:结果验证的一个重要步骤是复核数据的计算过程。

通过重新计算或者使用不同的计算方法,可以验证结果的准确性。

在报告中,可以明确列出计算方法,并提供详细的计算过程。

通过对计算过程进行复核,可以减少数据计算错误的可能性。

5. 使用相同数据进行再分析:结果验证的另一种方法是使用相同的数据进行再分析。

通过独立地重复数据分析过程,可以验证结果的一致性和可靠性。

在报告中,可以提供数据的详细信息和分析方法,以便其他人可以进行相同的分析。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

ISSN 1000-9825, CODEN RUXUEW E-mail: jos@Journal of Software, Vol.20, Supplement, December 2009, pp.154−164 © by Institute of Software, the Chinese Academy of Sciences. All rights reserved. Tel/Fax: +86-10-62562563DAS下一种基于生成检测查询的数据有效性验证方法∗闫巧芝1,2, 王洁萍1,2, 杜小勇1,2+1(教育部数据工程与知识工程重点实验室(中国人民大学),北京 100872)2(中国人民大学信息学院,北京 100872)Data Integrity Authentication Approach Based on Validating Queries in DAS ParadigmYAN Qiao-Zhi1,2, WANG Jie-Ping1,2, DU Xiao-Yong1,2+1(Key Laboratory of Data Engineer and Knowledge Engineer (Remin University of China), MOE, Beijing 100872, China)2(School of Information, Renmin University of China, Beijing 100872, China)+ Corresponding author: duyong@Yan QZ, Wang JP, Du XY. Data integrity authentication approach based on validating queries in DASparadigm. Journal of Software, 2009,20(Suppl.):154−164. /1000-9825/09019.htmAbstract: In database-as-a-service (DAS) paradigm, data owners delegate their data to a third-party: Databaseservice provider (DSP). Compared with traditional DBMS, DAS provides Web-based data access to relieve heavydatabase management routines. To guarantee quality of database service, most previous work has focus on dataprivacy and data integrity. This paper focuses on authentication of data integrity. All previous approaches for dataintegrity authentication require the DSP either to provide extra information or to store extra data. In dynamicscenario, the authentication data should be updated correspondingly, which is inefficient to deploy in real life. Thispaper proposes a data integrity auditing approach based on validating queries. In this approach, validating queriesare generated from previous queries sent by the user. According to the result of validating queries and based on therelationship between previous queries and validating queries, the client can achieve the integrity auditing effectivelyand efficiently based on the probability. Experimental results confirm the effectiveness of the approach.Key words: DAS; data security; data integrity; validating query; relationship auditing摘 要: 在外包数据库服务(database-as-a-service,简称DAS)中,数据拥有者将数据外包给第三方:服务提供商(database service provider,简称DSP).与传统的DBMS相比,DAS通过提供基于Web的数据访问来节省数据库管理开销.为了保证DSP的服务质量,之前大部分工作关注于对数据隐秘性和数据有效性的研究.目前验证数据有效性的方法均要求DSP提供额外信息或储存额外数据,且每次更新都需要验证数据做相应调整,这在实际部署中是很低效的.为此提出了一种基于生成检测查询的数据有效性验证方法:通过用户发出过的多个查询生成检测查询,客户端根据检测查询的执行结果,并利用多个查询与检测查询的关系高效、有效地完成基于概率的有效性验证.通过实验验证了该方法的可行性.关键词: DAS;数据安全;数据有效性;检测查询;关系验证∗ Supported by the Key Project of the Ministry of Education of China under Grant No.708004 (国家教育部重点项目); the Project ofNational Research Foundation for the Doctoral Program of Higher Education of China under Grant No.200800020001 (国家教育部博士点基金)Received 2009-05-01; Accepted 2009-07-20闫巧芝 等:DAS 下一种基于生成检测查询的数据有效性验证方法 155对于企业而言,数据库管理是一项关键且繁重的工作,企业需要硬件设备、网络和指定的技术人员来维护自己的数据库系统,为了降低数据维护成本,提高数据管理质量,产生了一种新的数据库管理模式——DAS 模式:在该模式下,企业作为数据拥有者将数据外包给服务提供商(DSP),所有用户的数据访问操作均转向DSP,由DSP 为用户提供远程的数据存储、更新和查询服务(如图1所示).Fig.1 DAS system model 图1 DAS 系统模式数据安全问题是DAS 模式下一个不可回避的问题,一方面,外包数据涉及企业的机密信息,外包之前需要将数据经过加密处理,保证数据的隐秘性.另一方面,DSP 可能会对数据进行篡改,为了防止该类行为,用户需要进行数据验证,确保查询结果的有效性.之前关于保证数据隐秘性的工作已较为深入,现在人们开始关注如何保证数据的有效性.目前的有效性验证方法主要有3类:基于数字签名的验证[8]、基于数据结构的验证[6,10]和基于概率的验 证[11−13]:这些方法都是通过客户端对DSP 返回的额外信息或额外数据的分析来验证查询结果的有效性,它们都要求DSP 维护额外的数据结构或额外数据做到:第一,增加了DSP 的空间开销和网络传输开销,随着并发处理的增多,DSP 的额外负荷也在增加.第二,当用户进行更新操作时,服务端或客户端需要重新调整数据结构或数据以维持验证机制.第三,增加额外数据的方法还会对查询性能产生影响;为了区分数据,需要元组增加属性列,这虽有助于保证数据的正确性,但也增加了客户端的计算开销和服务端的存储开销;另外,数据分布会导致某些查询结果中不含额外数据,这样的查询便不能得到有效性验证,而对用户不需验证的查询也会返回额外数据,即用户的验证不是自主的.在DAS 应用中,很多企业将数据外包,并通过可信客户端完成加密、解密和过滤数据等工作,也就是说可信客户端需包含一个小的查询执行器.基于该应用和既有方法存在的问题,我们提出了一种基于生成检测查询的数据有效性验证方法.该方法的整体思路是:通过用户发出过的多个查询生成一个检测查询,客户端通过检测查询的执行结果,利用多个查询与检测查询的关系,高效有效的实现基于概率的有效性验证.我们需解决3个关键问题:首先:如何保证每条记录的正确性;第二:如何生成有效的检测查询;第三:如何通过生成的检测查询验证多个查询的完整性.本文对这些问题分别进行了解决.同时,对涉及到的检测查询发送形式和时机等问题在文中也进行了说明,最后,从概率上作了安全性说明.我们的贡献总结如下:(1) 提出了一个新的有效性验证方法,使DSP 不需要为提供验证做任何额外工作,客户端仅需花费较小的计算开销和可控的传输开销便可完成有效性验证.(2) 我们对一定形式的查询(查询属性可以是加密属性也可以是公开属性)提供有效性验证,允许用户进行任何更新操作,且客户端与服务器端都不需要为此作任何调整.(3) 提出了有效的检测查询生成算法,分析了其安全性,通过实验进行了验证.同时关系验证方法,保证了验证执行的有效性.(4) 用户可以自主选择验证对象,验证时机以及验证频度.本文第1节讨论相关工作.第2节对验证方法进行详细介绍.第3节对验证机制进行安全性说明.第4节通过实验模拟检测查询的生成算法,对实验结果进行分析.第5节对工作进行总结,提出后续研究的目标.156 Journal of Software软件学报 V ol.20, Supplement, December 2009 1 相关工作在数据库服务外包中,主要解决的安全问题包括如何保证数据的隐秘性和有效性.针对前者已有很多研究工作,对保证数据有效性的研究也逐渐增多.数据隐秘性方面的研究:文献[1]分析了使用普通加密方法加密时,加密粒度对系统效率的影响,文献[2]提出了一种使加密数据支持灵活查询的特殊索引方式,文献[3]研究了顺序保持加密带来的系统效率提升.文献[4,5]探讨了攻击者通过挖掘数据关联规则破坏数据隐秘性的问题.验证数据有效性主要指用户在提交一个查询后,首先检查DSP返回的查询结果中每一个元组是否均属于原始数据库(正确性),然后还需要检查服务提供商是否返回了所有的结果(完整性)(也有研究开始关注验证数据是否是最新更新的(freshness)).我们从验证方法上对相关工作作如下介绍:数据有效性,基于数字签名和数据结构的研究:文献[6]提出了利用Merkle Hash树[7]验证正确性的方法.文献[8]对几种基于数字签名验证数据正确性的方法进行了比较,其中有提到完整性问题,但并未给出完整解决方案.文献[9]采用链式数字签名的方式对简单查询提供完整性验证.文献[6,10]探讨了基于Merkle Hash树验证完整性的方法,由于Merkle Hash树根节点也是采用的数字签名,因此面临和数字签名方法同样的问题:空间、带宽消耗大,以及操作代价和更新维护代价也比较大.数据有效性,基于概率的研究:Sion[11]提出了Chanlenge Token方法,用来检查DSP是否在整个数据库上完全执行了一组查询,但该方法不能解决恶意DSP执行完查询后,恶意删除查询结果的问题.基于该问题,谢敏和王海讯等人先后提出了不同形式的通过额外数据进行完整性验证的方法.文献[12,13]提出了向DSP插入伪数据的方法:用户通过验证查询结果中是否包含所有已知的伪数据来判断DSP是否对结果进行了恶意删除,同时支持并可以验证数据的更新操作.文献[14]提出了二重加密的方法:将原始数据用第1种加密模式加密后,从中抽取部分数据用第2种模式加密,将所有加密数据存放到DSP,用户的查询也可以有不同的加密模式,通过对查询结果中二重加密数据的分析,实现完整性验证(该方法需要查询属性都是加密的).总的来看,目前的完整性验证方法都要求服务提供商维护额外的数据结构或额外数据才能进行验证,这就增加了DSP的空间开销和网络传输开销,随着并发处理的增多,DSP的额外负荷也在增加.并且当用户进行更新操作时,服务端或客户端需要重新调整数据结构或数据来维持验证机制.我们的有效性验证方法:相较于之前的方法我们方法最明显的优点是:服务提供商不需要为提供验证做任何额外工作且适用于任何数据存储模式;客户端与服务器端都不需要为用户进行的更新操作此做任何调整;客户端只需通过较少的计算开销和可控的传输开销便可实现数据有效性验证,并且用户可以自主选择验证对象,验证时机以及验证频度.但因为我们的方法是基于概率的,因此有一定的失败率,文中进行了安全性分析.(本文主要介绍数据正确性和完整性的验证,对验证数据是否是最新更新的即DSP是否即时完成更新操作的问题将在后续工作中介绍).2 基于生成检测查询的数据有效性验证方法在介绍我们的验证方法之前.首先讨论DSP可能存在的攻击,可将其分为:被动攻击.主动攻击.偷懒攻击.被动攻击指DSP试图非法访问未被授权的数据.主动攻击指DSP试图对存储数据进行非法的插入、修改和删除操作.偷懒攻击指不完全执行一组查询.只返回部分结果或延迟更新以减少开销.提高性能.防止被动攻击涉及的是数据隐秘性研究.后两种攻击涉及的是数据有效性(正确性和完整性)研究.2.1 保证数据隐秘性和正确性DAS情况下,为了防止DSP的被动攻击,数据拥有者可将数据进行元组级加密再存放到DSP[1,2]来保证数据的隐秘性.为了能进一步防止DSP破解加密方法后对数据进行篡改(指主动攻击的非法插入、修改行为).保证数据的t正确性,可通过把数字签名作为属性值添加到元组里的方法[12,13]来实现:给每条元组t增加一个属性值:info闫巧芝 等:DAS 下一种基于生成检测查询的数据有效性验证方法 157(,);info t H t e =其中H 为One-way 哈希函数[15],e 为仅数据拥有者和用户才知道的密钥,用户根据返回的元组属性值计算出的,并将它与元组内所含的进行比较,如果不一致则说明存在数据篡改,即服务提供商对原始数据进行了修改或者是插入了伪造数据.info t info t 支持加密数据上灵活查询的研究工作[1−5]已比较深入.我们的有效性验证方法是建立在既有研究基础上的.既有研究已能保证数据的隐秘性和正确性,如何验证数据完整性,即如何防止恶意删除(主动攻击中的恶意删除数据的行为)和偷懒攻击,我们在第2.2节进行详细说明. 2.2 数据完整性验证本文主要针对恶意删除行为来对我们的验证方法进行说明.该方法也支持偷懒攻击中的不完全执行情况:DSP 只执行一组查询中的部分查询,造成查询结果集缺失元组(可将缺失元组看作被恶意删除的元组,同样通过本文验证方法检测结果的完整性.由于篇幅原因.本文不再单独详述).另外.如何防止偷懒攻击中的延迟更新将作为我们的后续工作进行研究. 2.2.1 基本假设、定义假设1. DSP 恶意删除的是查询结果集中的元组.不考虑对原始数据的删除.假设1的依据:如果DSP 删除的是原始数据,也就意味着记录的永久性删除,长期以来,数据拥有者或用户总可以通过一定手段发现,对于DSP 来说这种被揭穿的风险很大,因此我们不考虑DSP 删除原始数据的情况,考虑的是DSP 在正确执行完一组查询后.从查询结果集中恶意删除元组的行为(下文中的“攻击”指的是该种行为).假设2. DSP 的恶意删除对象(元组)是随机的.从DSP 实际可操作性上考虑.假设DSP 从查询结果集中恶意删除的元组是随机选择的(根据数据和查询的分布,选择删除对象的非随机情况,我们在后续工作中会做进一步研究).假设3. 与之前的研究[7,8]类似,我们验证的对象是具有统一模式的查询,具体形式为SELECT*FROM T WHERE precicate (1)T 为储存在DSP 上的任一张提供查询的用户表;precicate 中每一个子条件均遵循a i cond v i 的形式.其中a i 表示DSP 存储表T 的任一提供查询的属性;v i 表示该属性域内任一值;cond 表示=,>,<,≥,≤.例:SELECT*FROM T s WHERE (其中a 12(13)((8))k a a E ≤≤∨=1为公开属性,a 2为加密属性.注:允许用户进行任何更新操作和任何形式的查询,但仅对同一表上进行统一模式的查询(1)提供验证. 定义1. 逃逸率:DSP 进行了攻击(对查询结果进行了恶意删除)且没被检测到的概率.2.2.2 问题分析对同一张表的任意两个简单查询q 1,q 2(满足(1)模式),其结果12(),()q q ρρ可能存在的关系为:包含、重合、相交、无交集,如图2所示.我们的完整性验证思路是:从用户的多个查询Q 中生成一个检测查询q ,因检测查询的结果生成多个子结果,每个子结果(()i q ρ′)和其对应的验证对象((iq )ρ)应当满足关系R (R 为A,B,C,D 中某个关系).通过验证两者间是否满足R ,来验证Q 结果的完整性.因此我们希望生成这样的检测查询:此查询下的R 关系有着4种关系中较低的逃逸率和较高的验证效率.因此,我们首先比较A,B, C,D 下的验证过程.假设(),()i q q Fig.2 Relationships between results图2 两结果间关系图i ρρ′中均被恶意删除了元组,且被删除元组数分别为m ,n .()i q ρ′用来验证()i q ρ的完整,通过比较(),()i q q i ρρ′是否满足应有关系R (R =〈A,B,C,D 〉),来验证是否存在恶意删除行为.就图2中4种关系的逃逸率分别说明如下:f P158Journal of Software 软件学报 V ol.20, Supplement, December 2009i 关系A:如果(),()i q q ρρ′满足A 关系,验证过程设计如图3所示.Fig.3 Inclusion relation auditing algorithm图3 包含关系验证算法由图3的验证过程可知:()i q ρ存在删除元组时,()i q ρ′对()i q ρ验证失败的情形为()i q ρ中被删除的元组包含于()i q ρ′中被删除的元组,则逃逸率()()1i i nm f q m q P C C ρρ−′−′=× (2)关系B:如果(),()i q q i ρρ′满足关系B,则验证过程如图4所示.ε为用户定义的完整可信度,ε0为常数百分比,用户通过设定ε,可以决定是否终止验证,当用户设定为0εε>时,发生验证失败的情况为(3)111222()(),,()()i i i t q t q t t t q t q ρρρρ′∈∧∉⎧∃⎨′∈∧∉⎩满足i 即两次查询均有被恶意删除了相同数量的元组.当0εε<时,由图4的算法可得:()i q ρ存在删除元组而()i q ρ′未检测到的情况为()q ρ1中被删除的元组和2()q ρ中被删除的元组恰好相同,则()()11i i f nmq q P C C ρρ′==(4)关系C,D:对于关系D,显然无法通过()i q ρ′验证()i q ρ是否完整;而关系C 的逃逸率显然是高于关系B 的(推导较简单,篇幅原因,不再细述).比较A,B:由f P 可知,对于A 因为()()i i q q ρρ′>,则()1i nmq m C ρ−′−>,故A 的逃逸率高于B,且对验证过程进行比较,可以看出A 关系下,计算开销大于B.因此,我们希望R 为关系B.由式(3)可得:(1)(2) (1)()(()1)...(()1)()mf i i i i m m m m P q q q m q ρρρρ⎛⎞−−=≤⎜⎟⎜⎟−−+⎝⎠(5)当查询结果元组数目较大,删除元组相对较少即:()i q ρ>>m 时,趋于0.f P 但上述重合关系验证算法(如图4所示)如果不能在行−5终止,就需要逐条验证,这样验证效率是非常低的,因此我们希望生成这样的检测查询:通过该检测查询得到的验证对象之间均满足关系B,在保证只有极低的逃逸率的条件下,只比较验证对象间元组个数是否相等,便能做出完整性判断.如何生成这种检测查询并完成验证,我们在下一节进行了详细介绍.闫巧芝 等:DAS 下一种基于生成检测查询的数据有效性验证方法 159Fig.4 Equality relation auditing algorithm图4 重合关系验证算法2.2.3 基于生成检测查询的完整性验证定义2. 查询结果大小:查询结果中所含的元组数目. 定义3. 验证频度:单位时间内生成检测查询的次数.检测查询是通过用户的多个查询来生成的,这多个查询可以来自用户的不同组查询,这就意味着,用户可以选择验证的对象,验证时机以及验证频度.我们假设验证对象来自同一组查询,对我们的完整性验证方法作如下介绍:符号说明:(1) 1,...,u Q q q =:用户向DSP 发出的一组查询; (2) 1,...,k Q s s ′=:从Q 中抽取出的部分查询; (3) 1(),...,()k C c s c s =:Q ′中各查询对应的查询条件; (4) q :生成的检测查询;(5) :检测查询q 所对应的查询条件;()c q (6) 1()(),...,()u Q q q ρρρ=:DSP 返回的Q 的查询结果集; (7) 1()(),...,()k Q s s ρρρ′=:从Q 中抽取出的查询对应的结果集;(8) ()q ρ:DSP 返回的查询q 的结果; (9) t :用户自定义阈值,控制检测查询结果大小的上限. 生成检测查询:检测查询q 的生成过程可分两步理解.第1步:St11,...,,...,u k Q q q Q s s ′=⎯⎯→=.160Journal of Software 软件学报 V ol.20, Supplement, December 2009()()Q t Q ρρ′≤ (6)1()= ()u i i Q ρρ=∑q (7)1()= ()ki i Q ρρ=′∑s (8)k 尽可能大 (9)1,,t u ⎛⎤∈⎜1t ⎥⎝⎦为用户自定义阈值且 (10)第2步:.Q q ′→由′得各查询对应的查询条件;Q 1(),...,()k C c 得:c =.s c s =St=⎧⎪⎪⎪⎪⎨⎪⎪⎪⎪⎩ 1()...()k c s c s ∨∨(11)1()(()...())k c q Merge c s c s =∨∨进而生成检测查询q . 生成算法的理论说明:满足条件St 的检测查询生成算法设计如图5所示.Fig.5 Generating validating query algorithm图5 检测查询生成算法这样做是考虑到如下几点:(1) 传输和查询开销角度:通过一个检测查询q 验证多个查询的完整性,减小了验证开销;用户通过自定义闫巧芝 等:DAS 下一种基于生成检测查询的数据有效性验证方法 161阈值t 可以调节检测查询结果的大小,控制传输和查询开销.(2) 安全角度:q 由Q 中抽取的查询生成,而抽取是随机的(通过图5中的第5行:Randperm()生成随机序列).随机抽取的查询集Q ′跟原查询序列无特定关系,从而防止了泄密.例如:假设将原查询集按结果大小排列,Q ′由大到小顺序选择部分查询,那么DSP 在长期执行过程中,就会探测到检测查询的生成跟Q 的特定关系,进而只攻击那些结果小的查询,则验证时攻击将难以被探测到.检测查询的执行时机:检测查询q 是由Q 中某些查询生成的,查询条件上存在一定关系,为防止DSP 探测出q 为检测查询,用户可根据实际情况自主决定验证时间,可将q 和其他查询一起作为新一组查询发送到DSP,q 的返回结果集在对Q 验证的同时,也能一定程度上验证的执行是否存在攻击,例如:DSP 正确执行了Q ,但对中的查询进行了攻击,如果q 属于被攻击查询,则进行验证时会被探测到.因此,保持q 的隐秘性有助于双向验证.t Q t Q t Q 另外,因为DSP 的破坏是随机的,即使探测出q 为检测查询,对验证机制的影响并不大.因为DSP 要使对q 的攻击对应于之前对Q 的攻击是难以操作的(第4节进行了说明).但从双向验证角度考虑,也为了最大限度的降低逃逸率,我们希望保持q 的隐秘性,因此我们通过Merge ()规则(式(8),图5中的第18行)对q 的查询条件进行了合并.Merge ()规则定义动机:除了减少开销上的原因外,参与生成q 的查询1,...,k s s 的查询条件取‘或’操作后,可能存在q 身份 的泄密.例如:假设表T 上提供查询属性a ;表示a =2,表示a =2∨b <5;则生成条件C = ,则由于a =2出现了两次,即使查询经过了加密,加密后也会出现两次,DSP 可能从查询条件上分辨出q 为检测查询,破坏q 的隐秘性.1()c s 2()c s (2)a =∨(2)(5..a b =∨<).v v v 定义规则:对C 的各只含∨操作的中每个a ()i c s i cond v i (式(1)),查找同种属性,对每种属性均作如下处理:(1) 出现多次,则合并为1次.cond a (2) 和同时出现,且,1 cond a v2 cond a 21v v >(i) cond 为>或≥,则合并为; (ii) cond 为<或≤,则合并为; 2cond a v 1cond a v (3) 和同时出现且,11 cond a v 22 cond a 21=v v (i) ;(ii) 12cond cond >为且为<12cond cond <>为且为,两种情况均合并为;1=a v !(4) 和同时出现,,(情形3除外),则删除所有.11 cond a v 22 cond a v v cond v v >≥<或且221cond v v 21v v ≥12cond cond >≥<≤为或且为或 cond a v (5) 和同时出现,(i) ,(ii) 1=a v 22 cond a 221<≤>为或且3l r 4cond cond v a v ,两种情况均合并为.22 cond a v (6) 和同时出现,为12 cond cond l r v a v l cond <≤或,为.两区间有交集,则对和用规则2.(i) 合并;对和用规则2.(ii)合并. cond r >≥或1234[,],[,]v v v v 1l cond v a 3l condv a v 2cond r a v 4cond r a 验证过程:根据第 2.2.2节问题分析中的结论,我们通过验证对象间所满足的关系进行验证:中被抽取的查询序列记为Q ′1,...,k s s ,其对应的结果集为1()(),...,()k Q s s ρρρ′=,因为=()c q 1(()...())k Merge c s c s ∨∨则()q ρ与()Q ρ′非严格满足关系B,因为1(),...,()k s s ρρ结果集间可能存在相同元组,故1()()= ()ki i q Q q ρρρ=′′≤∑客户端利用小的查询执行器,将1,...,k s s 在()q ρ上执行,得到1(),...,()k s s ρρ′′,则()i s ρ′与()i s ρ严格满足关系B.用户设定ε使0εε>,对每对<()i s ρ′,()i s ρ>执行图4算法(行1~5),只需验证每对结果集大小是否都相等便可验证完整性.这样做只需花费较小的计算开销,提高了验证效率并且是安全的.如果个别用户想最大限度的验证结果集的完整性,则可通过调整ε值,使得0εε<,对<()i s ρ′,()i s ρ>执行图4算法.完整性验证方法的安全性在第4节进行了说明.生成算法的有效性分析:162Journal of Software 软件学报 V ol.20, Supplement, December 2009定义4. 无效检测查询:如果Q 被攻击,但被攻击的查询均未被Q ′抽取,则生成的为无效检测查询.为了说明检测查询生成算法的有效性,我们从概率的角度进行说明.由假设2我们知道DSP 的恶意删除对象是随机的,则从长时间和整体上看,可做如下假设:(1) 假设查询对象表T 上提供的查询属性的数值满足均匀分布;(2) Q 为一组等宽查询,Q 执行后的结果集大小记为N ,即()Q ρ=N ,被删除元组数记为N δ(δ为由DSP 的攻 击程度决定的比例),被删元组在均匀分布,则N u δ≥时,认为每个查询均存在被删除元组,即各查询均被攻击.N u δ<时,被攻击查询个数为.N δ生成无效检测查询的概率记为,则:0P ① 当N u δ≥时,;00P =② 当N u δ<,(k u N )δ>−时,; 00P =③ 当N u δ<,(k u N )δ≤−时,0()(1)...(1)(1)...(1)k u N k u C u N u N u N k P C u u u k δδδδ−−−−−−+==−−+ku N u δ−⎛⎞≤⎜⎟⎝⎠.由1()= ()ki i Q s tN ≤ρρ=′∑(等宽查询时k ()i s tN ρ≤),并且k 为最大值(式(6)~式(9))可知:t 越大,k 越大,因此,通过调节t 的大小可减小,且当0P ()k u N δ>−时.00P =通过以上分析可知:我们的检测查询生成算法生成无效查询的几率是很低,并且是可以通过用户调节保证检测查询生成的有效性.我们通过实验模拟实现了该算法,并对结果进行了分析(见第5节).3 安全性证明我们通过基于概率的分析,来证明验证方法的安全性:即在生成了有效检测查询的情况下,根据查询结果(()q ρ),应用我们的验证方法,可以对验证对象(()Q ρ)的完整性做出正确判断.首先,假设Q 被攻击,并生成了有效的检测查询q ,为验证完整性,将q 同其他查询一起发到DSP,记为2,,...,t Q q q q ′′=u ,则用我们的验证方法,攻击成功时需满足以下条件:(1) 被攻击且q 被攻击;t Q (2) 设置0εε>时,1,...,k s s 中每个()i s ρ被删除的元组数目与各查询在()q ρ上执行后对应的()i s ρ′缺少的 元组数目相同(参见第2.2.2节中式(2)的情形),此情况概率记为(注:删除的元组数目可能为0,即对于没被攻击的查询3p ()i s ρ′应为完整的结果).在设置0εε<时,每个()i s ρ缺少的元组(即被恶意删除的元组),与执行q 时被恶意删除的元组完全相同,此情况概率记为.4p 假设任意一组查询被攻击的概率为,且其中单个查询被攻击的概率设为,则满足条件1时的概率为(,均由DSP 的攻击行为决定).1p 2p 1p 2p 1p 2p 31(()=())ki i i p p s s ρρ=′=∑(()i s ρ′为i s 在()q ρ上执行后的结果集).当0εε>时,逃逸率;123P p p p =由于对每组查询来说,删除是随机的,对DSP 来说,使1,...,k s s 中每个查询都满足()=()i i s s ρρ′是难以操作的,值越小,P 越小至趋于0.即便如此,如果用户认为P 不在安全范围内,则可调整ε使3p 0εε<,进一步降低逃逸率:由第2.2.2节中的分析及式(3)、式(4)可知=4p ()1mq C ρ()mm q ρ⎛⎞≤⎜⎜⎝⎠⎟⎟(m 为删除元组数);当()q ρ>>m 时,趋于0,由可知,P 趋于0.4p 124=P p p p 综上所述,可以得到如下结论:如果DSP 对一组查询进行了攻击,且用户生成了有效检测查询,则通过我们的验证方法便可做出正确的完整性判断.。

相关文档
最新文档