数据挖掘1-

Part I:1. Suppose that the data for analysis include the attribute age. The age values for the data tuples are (in increasingv order):13,15,16,16,19,20,20,21,22,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70. (a) use min-max normalization to transform the value 35 for age onto the rang[0.0,1.0].(b) use z-score normalization to transform the value 35 for age ,where the standard deviation of age is 12.94 years.(c) Use normalization by decimal scaling to transform the value 35 for age. (d) Comment on which method you would prefer to use for the given data ,giving reasons sa to why.(a) Given that the minmum age value is 13 and the maxmun value is 70, we cantransform the value 35 for age onto the rang[0.0,1.0] by min-max normalization as follows:min '(max min )min max min 3513(10)070130.39age age age ageage agev v new new new -=-+--=-+-=(b) Given that the standard deviation of age is 12.94 years ，we may use z-scorenormalization to transform the value 35 for age:80929.9627age == 3529.96'0.3912.94agev agev σ--===(c) By decimal scaling normalization,we transform the value 35 for age as 35'0.35(max(')1)10100j v v j v ===<为使得的最小整数(d) 我更倾向于使用小数定标规范化。

对于最小-最大规范化。

如果今后的输入值落在age 的原始数据至于之外，该方法可能会面临“越界”错误，而z-dcore 规范化则额外计算并保存平均值和标准差这两个参数。

由于age 的值基本上都是不超过二位数，因而j 可以统一取2，即用100初每个数即可。

2.A database has four transaction. Let min_sup=60%and min_conf=80%.(a) At the granularity of item_category(eg.item;could be “milk ”),for the following rule template,123,(,)(,)(,)[,]X transaction buys X item buys X item buys X item s c ∀∈∧⇒ List the frequent k itemset - for the largest k and all of the strong association rules (with their support s and confidence c)containing the frequentk itemset - for the largest k .相对支持度为min_sup=60%，那么可以求得绝对支持度为 min_sup=0.64 2.4⨯={ milk,cheese }，{ cheese,bread }，{ milk, bread }，{ milk }，{ cheese }，{ bread }。

得出关联规则如下，每个都列出置信度：milk cheese bread 3/3100%confidence ∧⇒== cheese bread milk 3/3100%confidence ∧⇒== milk bread cheese 3/475%confidence ∧⇒== milk bread cheese 3/475%confidence ⇒∧== cheese milk bread 3/3100%confidence ⇒∧== bread milk cheese3/475%confidence ⇒∧==已知最小置信度为min_conf=80%，故强关联规则有：,(,milk)(,cheese)(,bread)[75%,100%]X transaction buys X buys X buys X s c ∀∈∧⇒==,(,cheese)(,bread)(,milk)[75%,100%]X transaction buys X buys X buys X s c ∀∈∧⇒== ,(,cheese)(,milk)(,bread)[75%,100%]X transaction buys X buys X buys X s c ∀∈⇒∧==(b) At the granularity of brand-item_category(e.g. item; could be “sunset-milk ”), for the following rule temple,123,(,)(,)(,)X customer buys X item buys X item buys X item ∀∈∧⇒List the frequent k itemset - for the largest k . Note:do not print any rule.从1L 可以看出，k 最大为1，故频繁k 项集为l ={ Wonder-bread }3. When mining cross-level association rules, suppose it is found that the itemset“{IBM home computer, printer}”dose not satisfy minimum support. Can this information be used to prune the mining of a “descendent”itemset such as“{IBM home computer, /b printer}”? Given a general rule explaining how this information may be used for pruning the search space.如果对于所有层使用一致的最小支持度，根据祖先是其后代超集的知识，采用Aprioti性质：频繁项集的所有非空子集也必须是频繁的，在这种情况下，如果祖先不满足最小支持度，那么我们可以停止对其后代的探查。

如果在较低层使用递减的最小支持度，即每个抽象层都有自己的最小支持度，且抽象层越低，对应的阈值越小，此时有可能在祖先不满足最小支持度的前提下，但是其后代却满足，此时Aprioti性质不能成立，我们不能停止对其后代的探查。

4. 假定数据仓库中包含4个维：date, product, vendor, location；和两个度量：sale_number和sales_cost。

(a) 画出该数据仓库的星形模式图(b) 由基本方体[date, product, vendor, location]开始，列出vendor Wal-Mart每年在Los Angles的所有sales_cost。

(c) 对于数据仓库，位图索引是有用的。

以该立方体为例，简略讨论使用位图索引结构的优点和问题。

(a)数据仓库的星形模式图(b)所需的OLAP操作：沿着Date维由Day上卷到year；对vendor=Wal-Mart进行切片；沿着Location 维由Street上卷到City；对City=Los Angles切片；最后沿着product维由每种产品上卷到all。

(c)该立方体一共有四个维（或属性），只需要为这四个为分别维护一张位图索引表，当属性的域的基数较小时，因为比较、连接和聚集操作都变成了位运算，大大减少了处理时间。

由于用来表示具体事务的字符串可以用单个二进位表示，位图索引显著降低了空间和I/O开销。

但是如果属性的域的基数很大时，可能会浪费存储空间来存储大量的数据0.5. 下面是一个超市某种商品连续24个月的销售数据（单位为百元）21,16,19,24,27,23,22,21,20,17,16,20,23,22,18,24,26, 25,20,26,23,21,15,17(a)对以上数据进行深度为6的Equal-depth binning，然后分别采用bin median及bin boundaries两种方法进行平滑。

(b)请写出采用min-max方法，将16和23规范化到[0，1] 区间后的结果。

对24个月的销售数据排序后为15，16，16，17，17，18，19，20，20，20，21，21，21，22，22，23，23，23，24，24，25，26，26，27(a)划分为（等深）箱：箱1：15，16，16，17，17，18箱2：19，20，20，20，21，21箱3：21，22，22，23，23，23箱4：24，24，25，26，26，27用bin median进行平滑：箱1：16.5，16.5，16.5，16.5，16.5，16.5箱2：20,，20，20，20，20，20箱3：22.5，22.5，22.5，22.5，22.5，22.5箱4：25.5，25.5，25.5，25.5，25.5，20.5 用bin boundaries 进行平滑： 箱1：15，15，15，18，18，18 箱2：19，19，19，19，21，21 箱3：21，21，21，23，23，23 箱4：24，24，24，27，27，27 (b)对16采用min-max 方法规范化min '(max min )min max min 1615(10)027150.08age age age ageage agev v new new new -=-+--=-+-=对23采用min-max 方法规范化min '(max min )min max min 2315(10)027150.67age age age ageage agev v new new new -=-+--=-+-=6. Consider the data set shown in Table 1, （min_sup = 40%, min_conf=75%） (a) Find all frequent itemsets using Apriori and FP-growth, respectively,bytreating each transaction ID as a market basket. Compare the efficiency of the two mining processes.(b) Use the results in part (a) to compute the confidence for the association rules {a,d}→{e} and {e}→{a, d}. Is confidence a symmetric measure?(c) List all of the strong association rules (with support s and confidence c)matching the following metarule, where X is a variable representing customers, and item i denotes variables representing items (e.g. “A”, “B”,etc.):Table 1. Example of market basket transactions.(a)⑴Apriori1.扫描数据库，对每个候选1项集计数得C12.由min_sup = 40%可知最小支持度计数为0.4*10=4，从而确定频繁1项集L1，它满足最小支持度计数的C1中的所有候选项集组成：L13.令L1与自身连接产生候选2项集的集合C2，由于C2中的候选2项集的每个子集必定是频繁的，所以不需要删除操作。