大数据 第2章 数据获取与处理

常用方法： 1）“删除重复项功能” 2）“高级筛选”对话框中有“选择不重复的记录”复选
框 3）使用“COUNTIF”函数
实例应用：剔除重复值
小李是某品牌纸杯在成都的代理商，经过半年的努力， 他终于成功拿下了该市19家小卖部的纸杯销售代理权。 为更好的销售自己的产品，需要检查这些合作客户的合 格率。如果合格率在85%以上，则可每月检查一次，如果 合格率低于85%，需指定新的方案来管理客户。
1）右击“市场部”工作表标签，单机“移动或复制”选 项，在弹出的对话框中选择“移至最后”选项，并勾选 “建立副本”复选框，单击“确定”。
2）修改工作表标签。将复制后的工作表标签名称改为 “汇总表”，清空数据区域B2:D5.
3）使用合并计算功能。在汇总表中选取B2:D5，在“数据 工具”组中单击“合并计算”。
• 你是否了解其他数据公 司？
• 主要出售哪些类型的数 据呢？
• 科研数据库？
数据资产的获取——通过特殊形式引数据
要建立企业自己的数据资产，就要将外部数据纳入自己 的数据库中，通过上面两种方式获得的数据需要及时记 录下来以备日后使用。
以EXCEL为例：
对于某些特殊形式的数据，有简便的记录方法，例如： 网站上中的表格数据可以通过Excel中的数据导入功能来 记录。
4）添加引用位置。依次选择几个部门工作表中的B2:D5单 元格区域并分别点击“添加”按钮。最后点击确定。
5）合并计算结果
6）计算各项的合计值。
决策分析：通过综合分析，要控制公司的费用支出，应重 点关注第四季度的销售费用支出。
按标签汇总各类数据
案例描述：小张是某服装品牌的成都区域经理，每月底各 区都会上交自己区域的销售数据，整合在一张工作表中。 小张想通过这张表查看各区不同类型商品的销售额。（数 据资料）
筛选的过程就是缩小数据可选择的范围，增大用户获取 有效信息的机会。
举例：
根据条件进行筛选 清除重复值
根据条件进行筛选
案例描述：小王是一名汽车经销商，目前不知道该选择什 么样的品牌和车型，通过了解市场形势，有了销量和价格 数据，决定自己经销的汽车品牌和车型要满足以下几个条 件：
1）最低参考价高于10万元且低于30万元 2）3月销量达到4000辆以上 3）本年累计销量在20000辆以上
数据资产的获取——通过自身积累攒数据
数据积累是一个漫长的过程，需要企业管理者长期不断的 关注社会动态、了解行业资讯，也需要综合使用上面三种 方式。
积累数据的基础在于拥有不同的数据来源渠道。
其他说明：
海量交易数据：
企业内部的经营交易信息主要包括联机交易数据 和联机分析数据，是结构化的、通过关系数据库 进行管理和访问的静态、历史数据。通过这些数 据，我们能了解过去发生了什么。
海量交互数据： 源于Facebook、Twitter、微信，微博及其他来源的
社交媒体数据构成。它包括了传送的海量多媒体文 件、Web文本和点击流数据、科学信息、电子邮件等 等。可以告诉我们未来会发生什么。
马云成功预测2008 年经济危机
• “2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采 购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间 从询盘上推断出世界贸易发生变化了。”
下载某年3月SUV销售数据，如何筛选？（数据资料）
方法1：利用普通筛选方式逐步筛选。
方法2：高级筛选。 1）设置条件区域
2）启用高级筛选功能
2）决策分析 从筛选结果可以看出，满足小王条件的汽车型号有多个，
其中一些车型的品牌是相同的，因此小王可根据筛选结果 找出“品牌”关键词重复次数最多的汽车品牌。 将“品牌”关键词做升序或者降序，让相同的品牌关键词 连续出现，就能轻易选择出具体品牌。 本例中，小王最终选择了“本田”品牌。
可用‘1’表示合格，‘0’表示不合格。 数据资料
不剔除重复值： “=COUNTIF(G2:G23,1)/COUNT(G2:G23)” 合格率为86%（×）
剔除重复值 1）查看是否有重复值 2）设置突出显示的格式 开始——条件格式，先选中要检查的资料
3）删除重复值
3）查看新的计算结果 合格率：84% 决策分析：小李需重新设置管理方案
说明： 1. 将多个条件编辑在同一行表示“且”， 2. 将多个条件编辑在不同行表示“或”。
剔除重复值
无论是外部数据还是内部数据，都难免会存在重复值， 特别是未加工过的一些数据，数据来源渠道的多样性也 会导致数据的重复累加。
重复值的存在对决策有重大影响，它会放大或缩小数据 的真实结果。所以在整理数据时，剔除重复值是必不可 少的步骤。
导入数据步骤： 1. 找到Excel数据栏； 2. 获取外部数据部分点击“自网站”；
3. 输入网址点击“转到”。
4.点击表格左上角的 ，然后点击新建web查询对话框 右下角的“导入”按钮；（Excel 版本不同）
5. 选择存放数据的位置，点击“确定”； 6. 美化导入的数据。
以SPSS为例
数据对企业的价值是不言而喻的，正因如此，越来越多的 第三方数据平台应运而生，它们通过为企业提供行业或公 司数据来获取收益。
如专门提供零售数据的联商网子项目——联商数据中心就 是一个收费查询网站。
专业搜集和维护数据的组织：
邓白氏（Dun & Bradstreet） 彭博（Bloomberg） 道琼斯公司(Dow Jones & Company) 。。。。 相关行业协会和组织 政府部门
源于各类传感器，如摄像头，可穿戴设备，智能 家电，工业设备等。它包括了多种环境信息，人 体运动记录，操作记录等等。这一部分数据规模 将更加庞大。
交易数据
数据抽取与集成工具，ETL 主动抽取，源与目的都非常明确
交互数据
网络爬虫，数据收集程序ห้องสมุดไป่ตู้ 主动爬取，源与目的不太明确
传感器数据
传感器传送 被动传送
第2章 数据的获取与处理
数据资产的获取
从企业的角度出发，数据可分为内部数据和外部数据：
内部数据是企业在自身经营过程中产生的，可以通过信息 技术挖掘获取；
外部数据要通过看、买、引等不同手段来获取。
大数据时代，企业面临的第一个难题，就是如何从冗余的 资料中获得企业需要的信息，形成自己的数据资产。
内部数据大多是通过专业的系统生成或手工记录得到的，
所以，内部数据重在后期处理上；下面对外部数据的获取
方式进行学习。
数据资产的获取——通过专业网站看数据
现阶段国内针对某个行业提供专业数据的网络平台，以电 子商务领域的居多，如电子商务媒体——亿邦动力网，伴 随淘宝兴起的——卖家网等等。
数据资产的获取——通过收费渠道买数据
数据汇总
汇总格式相同的多张工作表数据
案例描述：张经理让小华统计公司各部门在每个季度的费 用支出情况，下图是统计结果，共五张工作表（数据资 料）。
张经理看了小华制作的表格后，认为数据不够完善，希望 有一张能反映公司所有部门全年费用支出情况的数据表， 以便据此调整和控制下一年的费用支出。
方法：使用“数据工具”中的“合并计算”功能。
需用到“数据透 视表”功能。
还可以更改值的显示方式，如可右击鼠标，改为百分比形 式。
决策分析：以专卖店为例，可见裤子和鞋子的销售额比例 较低，可制定策略加以提升。
小结
掌握： 数据收集 数据筛选 数据汇总
作业
将所讲解的步骤自己实际操作一遍 能够自己导入并简单处理相关数据
网络爬虫
运用Python获取数据（选学）
请大家试安装Python; pip很重要，提供了对Python 包的查找、下载、安装、卸
载的功能, Python 2.7.9 + 或 Python 3.4+ 以上版本都自 带 pip 工具； 建议安装Python 3.4+ 以上版本
数据的筛选
数据质量有很多方面问题
从 IT （ Information Technology ） 时 代 到 DT （ Data Technology）时代的进步，对数据的利用越来越受到重 视，数据分析已经成为企业决策的新助手。
然而并不是所有的数据都能带来价值，相反，一些无效 的数据还会影响管理者的正确决策。
因此，如何对所收集的数据进行筛选，去伪存真，才是 真正实现数据价值的关键。
• 通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿 里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保 持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为 数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘 数据的下降，自然导致买盘的下降。
海量传感器数据：