数据挖掘三大要素

数据挖掘三大要素

目录

一、数据挖掘中的三种角色 (1)

1. D ATA A NALYZER：数据分析员。 (1)

2. R ESEARCH S CIENTIST：研究科学家。 (1)

3. S OFTWARE D EVELOPER：软件开发工程师。 (1)

二、数据的质量 (1)

案例一：数据的标准 (1)

案例二：数据的准确 (2)

三、数据的业务场景 (3)

四、数据的分析结果 (3)

五、总结 (4)

数据就像一个王座一样，象征着一种权力和征服，但登上去的路途一样令人胆颤。

一、数据挖掘中的三种角色

1.Data Analyzer：数据分析员。

这类人的人主要是分析数据的，从数据中找到一些规则，并且为了数据模型的找不同场景的Training Data。另外，这些人也是把一些脏数据洗干净的人。

2.Research Scientist：研究科学家。

这种角色主要是根据不同的需求来建立数据模型的。他们把自己戏称为不近人间烟火的奇异性物种，就像《生活大爆炸》里的那个Sheldon一样。这些人基本上玩的是数据上的科学。这种角色技术含量最难高。

3.Software Developer：软件开发工程师。

主要是把Scientist建立的数据模型给实现出来，交给Data Analyzer去玩。这些人通常更懂的各种机器学习的算法。

二、数据的质量

目前所流行的Buzz Word——大数据是相当误导人的。数据不分大小，只分好坏。

下面分几个案例来说明：

案例一：数据的标准

在Amazon里，所有的商品都有一个唯一的ID，叫ASIN——Amazon Single Identify Number，这个ID是用来标识商品的唯一性的（来自于条形码）。也就是说，无论是你把商品描述成什么样，只要ASIN一样，这就是完完全全一模一样的商品。

这样，就不像淘宝一样，当你搜索一个iPhone，你会出现一堆各种各样的iPhone，有的叫“超值iPhone”，有的叫“苹果iPhone”，有的叫“智能手机iPhone”，有的叫“iPhone白色/黑色”……，这些同一个商品不同的描述是商家为了吸引用户。但是带来的问题有两点：

1）用户体验不好。以商品为中心的业务模型，对于消费者来说，体验明显好于以商家为中心的业务模型。

2）只要你不能正确读懂（识别）数据，你后面的什么算法，什么模型统统没用。所以，只要你玩数据，你就会发现，如果数据的标准没有建立起来，干什么都没用。数据标准是数据质量的第一道关卡，没这个玩意，你就什么也别玩了。所谓

数据的标准，为数据做唯一标识只是其中最最基础的一步，数据的标准还单单只是这个，更重要的是把数据的标准抽象成数学向量，没有数学向量，后面也无法挖掘。

所以，你会看到，洗数据的大量的工作就是在把杂乱无章的数据归并聚合，这就是在建立数据标准。这里面绝对少不了人肉的工作。无非就是：聪明的人在数据产生之前就定义好标准，并在数据产生之时就在干数据清洗的工作；一般的人是在数据产生并大量堆积之后，才来干这个事。

案例二：数据的准确

1.第一个是假/错地址

有的商家作弊或是用户做测试。所以地址是错的，比如，直接就输入“该地址不存在”，“13243234asdfasdi”之类的。这类的地址是可以被程序识别出来的。

还有很难被我的程序所识别出来的。比如：“宇宙路地球小区”之类的。但这类地址可以被人为识别出来。

还有连人都识别不出来的，比如：“北京市东四环中路23号南航大厦5楼540室”，这个地址根本不存在。

2.第二个是真地址

因为用户写法不标准，所以很难处理，比如：缩写：“建国门外大街”和“建外大街”，“中国工商银行”和“工行”；错别字：“潮阳门”，“通慧河”；颠倒：“东四环中路朝阳公园”和“朝阳公园（靠东四环）”；别名：有的人写的是开发商的小区名“东恒国际”，有的则是写行政的地名“八里庄东里”这样的例子多得不能再多了。可见数据如果不准确，会增加你处理的难度。有个比喻非常好，玩数据的就像是在挖金矿一样，如果含金量高，那么，挖掘的难度就小，也就容易出效果，如果含金量低，那么挖掘的难度就大，效果就差。

两个案例，旨在说明——

1)数据没有大小之分，只有含金量大的数据和垃圾量大的数据之分。

2)数据清洗是一件多么重要的工作，这也是一件人肉工作量很大的工作。

所以，这个工作最好是在数据产生的时候就一点一滴的完成。

有一个观点：如果数据准确度在60%的时候，你干出来的事，一定会被用户骂！如果数据准确度在80%左右，那么用户会说，还不错！只有数据准确度到了90%的时候，用户才会觉得真牛B。但是从数据准确度从80%到90%要付出的成本要比60%到80%的付出大得多得多。大多数据的数据挖掘团队都会止步于70%这个地方。因为，再往后，这就是一件相当累的活。

三、数据的业务场景

有多少数据挖掘团队真正意识到了业务场景和数据挖掘的重要关系？我们需要知道，根本不可能做出能够满足所有业务的数据挖掘和分析模型。

推荐音乐视频，和电子商务中的推荐商品的场景完全不一样。电商中，只要你买了一个东西没有退货，那么，有很大的概率我可以相信你是喜欢这个东西的，然后，对于音乐和视频，你完全不能通过用户听了这首歌或是看了这个视频就武断地觉得用户是喜欢这首歌和这个视频的，所以，我们可以看到，推荐算法在不同的业务场景下的实现难度也完全不一样。

说到推荐算法，推荐就是一种按不同维度的排序的算法。比如，推荐有两种（不是按用户关系和按物品关系这两种），一种是共性化推荐，结果就是推荐了流行的东西，这也许是好的，但这也许会是用户已知的东西，比如，到了北京，我想找个饭馆，你总是给我推荐烤鸭，我想去个地方，你总是给我推荐天安门故宫天坛（因为大多数人来北京就是吃烤鸭，就是去天安门的），这些我不都知道了嘛，还要你来推荐？另外，共性化的东西通常是可以被水军刷的；另一种是一种是个性化推荐，这个需要分析用户的个体喜好，好的就是总是给我喜欢的，不好的就是也许我的口味会随我的年龄和环境所改变，而且，总是推荐符合用户口味的，不能帮用户发掘新鲜点。比如，我喜欢吃辣的，你总是给我推荐川菜和湘菜，时间长了我也会觉得烦的。

推荐有时并不是民主投票，而是专业用户或资深玩家的建议；推荐有时并不是推荐流行的，而是推荐新鲜而我不知道的。你可以看到，不同的业务场景，不同的产品形态下的玩法可能完全不一样，

数据挖掘不是人工智能，而且差得还太远。不要觉得数据挖掘什么事都能干，找到一个合适的业务场景和产品形态，比什么都重要。

四、数据的分析结果

很多的玩大数据的，基本上干的是数据统计的事，从多个不同的维度来统计数据的表现。最简单最常见的统计就是像网站统计这样的事。比如：PV是多少，UV是多少，来路是哪里，浏览器、操作系统、地理、搜索引擎的分布，等等。

唠叨一句，千万不要以为，你一天有十几个T的日志就是数据了，也不要以为你会用hadoop/MapReduce分析一下日志，这就是数据挖掘了，说得难听一点，你在做的只不过是一个统计的工作。那几个T的Raw Data，基本上来说没什么意义，只能叫日志，连数据都算不上，只有你统计出来的这些数据才是有点意义的，才能叫数据。

当一个用户在面对着自己网店的数据的时候，比如：每千人有5个人下单，