多单位合作挖掘的隐私保护问题研究

# 167 #
码学技术的方法, 如安全多方计算方法, 即参与计算的 各方只能获得 自己 所提供 的输入 数据 以及最 终结果, 而对于其他参与者 的数据 他们 一无所 知[ 6] ; 基于 重构 技术的方法, 即 从被随 机扰 乱的伪 装数 据中重 构原始 数据的分布[ 7] 。
2 分布式决策树隐私保护方法
算法: 水平数据分布的垂直属性数据交换 输入: 各参与单位的数据集 输出: 所有单位合作挖掘的决策树 Begin 步骤 1. 与 其它 单位 沟通, 并依 据数据 比例, 决定 本身所需进行运算的属性。 步骤 2. 对 非自己所运 算的属性进行 数据统计, 通 过广播传送给其它单位。 步骤 3. 将收到 其 它单 位所 传来 的 同样 属性 数据 做统计, 并运算此属性的 Gain 值。 步骤 4. 将 步骤 3 所得的 Gain 值广 播传给 其它单 位。 步骤 5. 接收其它单位步骤 4 传来的 Gain 值, 并决 定何属性作为分割的属性。 步骤 6. 根据 步骤 5 的属 性作为分类依 据, 对于其 下每一分支剩余的非自己运算的属性统计值传给其它 单位; 其它单位在步骤 5 所得的分类属 性下, 将接收到 的属性数据进行统计, 计算此属性的 Gain 值; 将步骤 2 的 Gain 值传送给其它单位; 决定何属 性为该 分支底下 的分类节点。 步骤 7. 重复步骤 6, 直 到数 据无 法继 续进行 分割 运算为止。 E nd 算法对于分类的节点采用信息增 益率( Gain) 来进
果会与将所有数据集中时的情况相同。
3 安全性与通讯量分析
3. 1 安全性分析 在分布式环境下, 进 行合作挖掘
时, 必须与其它 单位进 行数 据交换 才能构 建出 完整的
决策树。在此过程中, 有些内容是必须交换的, 如 Gain 值、属性的数据 笔数 等, 最后 建构完 成时, 每个合 作挖
掘单位都可得到完整的决策树信息。
组
合为
H
3 8
=
C
10 8
=
45, 将 4 笔 N o 分给 Hot、M ild、Cold,
其排列组合为
H
3 4
=
C
6 4
=
15, 结果如下。
# 168 测对方 Yes 数据的所有可能: ( 0, 0, 8) 、( 0, 1,
7) 、( 0, 2, 6) 、( 0, 3, 5) 、( 0, 4, 4) 、( 0, 5, 3) 、( 0, 6, 2) 、( 0,
据特征, 根 据所 传 数据 的 笔数 会 有不 同 的排 列 组合。
假 设存在一属性 A , 其分类共有 a 种结果, 同时存在一
目标属性 Y , 其目标类别为 Y 1、Y 2 , Yk , 共 k 种结果, 其中一方得到整体的 Gain 值以及整体目标类别分类数
据总笔 数为 Dy 1、Dy 2 ,Dyk 。当 某一方 进行推测 时, 主 要是通过估算出 对方属 性的 可能变 化量, 可以 通过将
b. 数据挖掘算法。进行 挖掘时, 同步考虑 数据或 规则的安全性, 并针对 数据 保护的 情况进 行算 法的安 全性考虑, 设计 隐私保 护挖 掘演算 法以达 到隐 私保护 的目的, 如: 决策树分类算法、关联规则挖 掘算法、聚类 算法、粗糙集算法以及贝叶斯网络算法等。
c. 数据 及规 则 的隐 藏。这 个角 度主 要 考虑 需要 隐藏的是原始数据还是规则。其目的是通 过使用修正 原始数据的算法, 使得在进行数据挖掘之 后, 属于隐私 的数据依然保持隐藏而未被发现。
第 28 卷 第 10 期 2009 年 10 月
情报杂志
JOU R NA L O F IN T ELL IG EN CE
Vol. 28 N o. 10 O ct. 2009
多单位合作挖掘的隐私保护问题研究*
A Study of Privacy Preserving in Multi- Unit Cooperation Mining
它单位获取, 同时又能达到准确无误差的 共同挖掘结果。 关键词 隐私保护 分布式决策树挖掘 安全性 通讯量
中图分类号 T P309. 2
文献标识码 A
文章编号 1002- 1965( 2009) 10- 0166- 04
针对目前 竞争激 烈的 市场环 境, 企 业间通 过多方 合作挖掘, 共 同创造 价值 的模式 日益 盛行。但各 种数 据挖掘工具在 从海量 数据 中获取 有用信 息的 同时, 也 对数据的安全产生 了威胁[ 1- 2] , 如果 在挖 掘过程 中不 采取任何数据 保护措 施, 将 可能造 成各 参与挖 掘单位 隐私信息的 泄露。因 此, 如何 在保护 数据 隐私的 情况 下挖掘出有用信息是企业间进行合作挖掘时必须解决 的问 题。 目 前 已 有 不 少 基 于 隐 私 保 护 的 挖 掘 方 法[ 3- 4] , 这些方法或者是将原始数据进 行扰乱, 但可能 会造成挖掘结果产生很大的偏差, 或者 采用加密、多单 位运算等方式进行, 但容易造成通讯成 本的大量增加, 影响挖掘的 效率。因 此, 为了 解决隐 私保 护挖掘 的问 题, 本文提出了 一个在 分布 式环境 下的 决策树 隐私保 护挖掘方法, 其 中主要 考虑 不同单 位间 进行决 策信息 的交换, 在避免 耗费大 量通 讯成本 的前 提下创 造出合 作挖掘时的最大利益; 同时设计相应的 隐私解决方案, 保护企业所 隐含 的信息, 不被无 关单 位所获 知。通过 此方法, 不仅能确保各参与挖掘单位的 数据隐私, 还可 以有效准确地 获得整 体数 据的挖 掘结果, 达到 安全多 方挖掘的目的。
收稿日期: 2009- 02- 17
修回日期: 2009- 04- 13
基金项目: 广东省自然科学基金项目/ 网格服务隐私保护技术研究0 ( 编号: 06023961) 。
作者简介: 刘 松( 1968- ) , 男, 副教授, 研究方向为数据挖掘和信息安全。
第 10 期
刘 松: 多单位合作挖掘的隐私保护问题研 究
2, 0) 、( 7, 0, 1) 、( 7, 1, 0) 、( 8, 0, 0) 。
b. 推测对方 N o 数据的 所有可 能: ( 0, 0, 4 ) 、( 0, 1,
后, 则可利用其 本身的 数据 来对其 它单位 的情 况进行
推测, 主要包括: 两个单位和三个以上单 位的情况。由
于开始进行了 整体数 据笔数 的交 换, 因此 推测 其它单
位的情况时可 以通过 排列组 合来 完成, 具 体的 安全性
分析如下所示:
31111 两单位合作时。在两单位合 作的情况下,
若要通过 Gain 值 与属 性的 数据 笔数来 推测 对方 的数
d. 数据修 改。为 了确 保被 公开 数据 的 隐私 安全 性, 原始数据在 被公 开之前 需要经 过修 改, 进行 伪装, 数据修改方案需要和隐私保护策略相结 合。常用的数 据修改方法 包 括: 扰 乱、阻塞、聚合/ 合 并、交换、抽样 等。
e. 隐私 保 护技 术。这 个角 度主 要考 虑 的是 修改 数据所采用的技术, 它是五个分类标准中 最重要的, 因 为它是隐私保护程度的直接度量。从这个 角度可以分 为: 基于启发/ 推导 式技 术的方 法, 如自 适应 地进 行数 据更改, 只改变部分选中数值而非所有 数值[ 5] ; 基于密
7, 1 ) 、( 0, 8, 0) 、( 1, 0, 7) 、( 1, 1, 6) 、( 1, 2, 5) 、( 1, 3, 4 ) 、
( 1, 4, 3) 、( 1, 5, 2) 、( 1, 6, 1) 、( 1, 7, 0) 、( 2, 0, 6 ) 、( 2, 1, 5) 、( 2, 2, 4) 、( 2, 3, 3) 、( 2, 4, 2) 、( 2, 5, 1) 、( 2, 6, 0) 、( 3,
决策树建构 时, 首先 必须决 定哪 个属性 拥有 最大 的 Gain 值。因 此必 须将 本身 数据 笔数 与其 它单 位交
换, 当运算完成后每个单位 再将运算 该属性的 Gain 值
传送给其它 单位。此 时, 参与 运算的 每个 单位都 能得 到该层属性的 Gain 值, 在得到其它单位传来的 Gain 值
1 保护隐私的数据挖掘技术概述
数据挖掘隐私保护的目的主要是为了防止无关人 员获得原始 数据 或挖 掘结 果, V erykios 等人[ 1] 于 2004 年针对基于隐 私保护 的数 据挖掘 技术进 行了 分类, 分 别从以下几个方面进行了分析:
a. 数据 分 布。目前 数 据的 分布 方式 可 分为 集中 式和分布式 两大类 型。其中 在分布 式环 境下, 数 据分 布又可分为水平分割和垂直分割两种。当 数据分布于 不同单位时, 在水平分割的情况下, 每个单 位的数据库 中拥有一样的类别属性, 但各自拥有不同 的数据内容。 在垂直分割的 情况下, 每个 单位所 拥有的 栏位 数几乎 不相同, 但大多拥有相同或相关的数据记录。
Y es、No( Y1、Y 2) , 假设由 另外单 位可 得知另 一个 单位 传 来的 8 笔 Y es、4 笔 N o( D 1r 、D 2r) , 则此时会将这些数 据分给 Hot、M ild、Cold 底 下的 Yes 和 No 进行 排 列组
合, 将 8 笔 Yes 分给 3 个特征( Hot 、M ild、Cold) , 其排列
0, 5 ) 、( 3, 1, 4) 、( 3, 2, 3) 、( 3, 3, 2) 、( 3, 4, 1) 、( 3, 5, 0 ) 、
( 4, 0, 4) 、( 4, 1, 3) 、( 4, 2, 2) 、( 4, 3, 1) 、( 4, 4, 0 ) 、( 5, 0,
3) 、( 5, 1, 2) 、( 5, 2, 1) 、( 5, 3, 0) 、( 6, 0, 2) 、( 6, 1, 1) 、( 6,
在分布式水 平数据 库环 境下, 每 个单 位的数 据库 都存在有相同或相似的属性, 进行数据 交换时, 可以采 用垂直属性 为单 位, 建立 数据交 换的 模式。将属 性进 行分配, 每个单位运算特定的属性, 如单位 1 运算 A 属 性、单位 2 运算 B 属性等。 其它单 位则 将非本 单位所 运算的数据 传送至 该属性运 算的单 位, 如单位 1 传送 属性 B 的数据给 单位 2、单位 2 传送属 性 A 的 数据给 单位 1 等, 同 时运算 该特定属 性的单 位也接收 其它单 位传来的数据, 接着每 个单 位将运 算完 的结果 进行交 换, 完成交换后即可找出本阶段最合适 的属性, 并传送 给其它单位, 接着再 进行 下一阶 段的 运算。通过 这种 将不同属性的 数据交 由不 同单位 进行共 同运 算, 并将 运算完的结果进行交换的方法可以不需要交换全部数 据, 即可建构出最后的决策树。