第1章 数据分析概论

• 探索性数据分析以及验证性数据分析 1、属于高级数据分析 2、常见的分析方法有： （1）相关分析：是研究现象之间是否存在 某种依存关系，并对具体有依存关系的现象探讨 其相关方向以及相关程度，是研究随机变量之间 的相关关系的一种统计方法。
例如，以X和Y分别记一个人的身高和体重，或分别记每公 顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又 没有确切到可由其中的一个去精确地决定另一个的程度， 这就是相关关系。
（2）因子分析：是指研究从变量群中提取共 性因子的统计技术。最早由英国心理学家C.E. 斯 皮尔曼提出。他发现学生的各科成绩之间存在着 一定的相关性，一科成绩好的学生，往往其他各 科成绩也比较好，从而推想是否存在某些潜在的 共性因子，或称某些一般智力条件影响着学生的 学习成绩。因子分析可在许多变量中找出隐藏的 具有代表性的因子。将相同本质的变量归入一个 因子，可减少变量的数目，还可检验变量间关系 的假设。
几何平均数 n个正实数乘积的n次算术根。给定n个正实数 a1，a2，…， an，其几何平均数为(a1*a2*……*an)^(1/n)。特别是,两个 正数a，b的几何平均数c＝(a*b)^(1/2)是a与b的比例中项。 任意n个正数a1，a2 ，…，an的几何平均数不大于这n个 数的算术平均数，即(a1*a2*……*an)^(1/n)≤（a1＋a2 ＋…＋an）/n 。这个不等式在研究其他不等式或极值等问 题时常起特殊作用。
2 、作图法
作图法可以最醒目地表达物理量间的变化关 系。从图线上还可以简便求出实验需要的某些结 果（如直线的斜率和截距值等），读出没有进行 观测的对应点（内插法），或在一定条件下从图 线的延伸部分读到测量范围以外的对应点（外推 法）。此外，还可以把某些复杂的函数关系，通 过一定的变换用直线图表示出来。
• 4、学习财务、统计、投资、金融和企业管 理等相关专业的在校应届学生。 • 5、在企事业单位从事市场调查与宣传工作 的人士以及具有策划与决策工作职能要求 的人士。 • 6、在不同领域尝试创业以及在投资、金融、 资本运营、房地产和企业管理领域发展的 各界人士。
二、职业要求
• • • • • 1、懂业务 2、懂管理 3、懂分析 4、懂工具 5、懂设计
三、类型
在统计学领域，有些人将数据分析划分为描述性统计 分析、探索性数据分析以及验证性数据分析。 其中，探索性数据分析侧重于在数据之中发现新的特 征，而验证性数据分析则侧重于已有假设的证实或证伪。
数据分析
描述性数 据分析 探索性数 据分析 验证性数 据分析
• 描述性数据分析 1、属于初级数据分析。 2、常见的分析方法有： （ 1 ）对比分析法：也叫对比法或比较分析 法，是通过实际数与基数的对比来提示实际数与 基数之间的差异，借以了解经济活动的成绩和问 题的一种分析方法。 （ 2 ）平均分析法：利用平均指标对获得的 数据进行分析的方法。平均指标又称平均数，反 应在一定时间、地点条件下某一数量特征的一般 水平。
第一节 数据分析
• 一、数据分析的概念 • 二、数据分析的目的 • 三、数据分析的方法 • 四、数据分析的类型
第一节 数据分析 一、数据分析的概念
数据分析是指用适当的统计分析方法 对收集来的大量数据进行分析，将它们加 以汇总和理解并消化，以求最大化地开发 数据的功能，发挥数据的作用。 数据分析是为了提取有用信息和形成 结论而对数据加以详细研究和概括总结的 过程。数据也称观测值，是实验、测量、 观察、调查等的结果，常以数量的形式给 出。
（3）交叉分析法：又称立体分析法，是在纵 向分析法和横向分析法的基础上，从交叉、立体 的角度出发，由浅入深、由低级到高级的一种分 析方法。这种方法虽然复杂，但它弥补了“各自 为政”分析方法所带来的偏差。
例如：A公司净资产收益率为0.35%，营业利润率为 0.74%，每股收益为0.009(元)。 而假设B公司净资产收益率为 10%，营业利润率为 12%， 每股收益为0.57(元)。 这些指标反映出B公司优于A公司。但是假设A公司自己和 自己比，则上述各项指标都在逐年上升，而B公司自己和 自己比，则上述各项指标都在逐年下降。因此，从长远趋 势考虑，可以购买A公司的股票。
为此,IBM公司为其提供了一套解决方案, 组件包括:IBM Cognos 8 BI、IBM Initiate Master Data Service和IBM Unica。采用 该方案后，Suncorp-Metway 公司至少在 以下三项业务方面取得显著成效： 1、显著增加了市场份额，但没有增加营销开 支； 2、每年大约能够节省1000万美元的集成与相 关成本；
第一章 数据分析概论
走进数据分析
Suncorp-Metway使用数据分析实现智慧营销 Suncorp-Metway是澳大利亚一家提供 普通保险、银行业、寿险和理财服务的多元 化金融服务集团 , 旗下拥有 5 个业务部门，管 理着 14 类商品，由公司及共享服务部门提供 支持,其在澳大利亚和新西兰的运营业务与900 多万名客户有合作关系。 该公司过去十年间的合并与收购 , 使客户 群增长了200%,这极大增加了客户群数据管理 的复杂性,如果解决不好,必将对公司利润产生 负面影响。
• 就行业而言，数据分析师的价值与此类似。 就新闻出版行业而言，无论在任何时代， 媒体运营者能否准确、详细和及时地了解 受众状况和变化趋势，都是媒体成败的关 键。数据分析师在这方面大有可为。
职业分析
• 数据分析师分布在不同行业中，专门从事 行业数据搜集、整理、分析，并依据数据 做出行业研究、评估和预测。数据分析师 需要敏锐的数字洞察力，因此，统计、会 计、保险、工程经济、金融、数学、计算 机等专业的同学对这个行业有明显优势， 但其他行业的同学如果对这个职业感兴趣， 通过日常学习，掌握一些统计必备技能， 亦可以从事此类工作。
三、基本素质
• • • • 1、态度严谨负责 2、好奇心强烈 3、逻辑思维清晰 4、勇于创新
第五节 数据分析中常用的指标和术语
• • • • • • • 1、平均数 2、绝对数与相对数 3、百分比与百分点 4、频数与频率 5、比例与比率 6、倍数与番数 7、同比与环比
1、平均数
• 算术平均数 算术平均数是指在一组数据中所有数据之和再除以数据的个数。它是反 映数据集中趋势的一项指标。 公式为： 平均数=(a1+a2+…+an)/n
• 2、原因分析 进一步确定业务变动的具体原因。 原因分析一般通过专题分析完成，根据 企业运营情况，针对某一现状进行原因分 析。
• 3、预测分析 对企业未来发展趋势进行预测，为制定 企业运营目标及策略提供有效的参考与决 策依据，以保证企业的可持续健康发展。 预测分析一般通过专题分析来完成， 通常在制定企业嫉妒、年度计划是进行。 预测分析开展的频率没有现状分析和原因 分析高。
主要工作领域及岗位
• 1、从事投资项目审核审批和招商引资、项 目评估、投资决策等工作的政府机构、企 业的相关领导以及从业人员。 • 2、在银行或非银行金融机构、投资管理公 司、投资管理顾问公司从事风险投资、产 业投资、信贷和投资管理等方面工作的专 业从业人员。 • 3、会计师事务所、资产评估事务所及税务 师事务所、律师相关专业人员。
二、数据分析的目的ຫໍສະໝຸດ Baidu
数据分析的目的是把隐藏在一大批看似 杂乱无章的数据背后的信息集中、提炼出 来，总结出所研究对象的内在规律，帮助 管理者在实际工作中进行判断和决策 ，以 便采取适当的策略和行动。
三、数据分析的方法
• 1、列表法
• 2、作图法
1、列表法
将实验数据按一定规律用列表方式表达出来 是记录和处理实验数据最常用的方法。表格的设 计要求对应关系清楚、简单明了、有利于发现相 关量之间的物理关系；此外还要求在标题栏中注 明物理量名称、符号、数量级和单位等；根据需 要还可以列出除原始数据以外的计算栏目和统计 栏目等。最后还要求写明表格名称、主要测量仪 器的型号、量程和准确度等级、有关环境条件参 数如温度、湿度等。
• 据统计数据表明，在今后的五年内，我国 将需要 6 万名持有 项目数据分析师 证书的 项目分析专业人才。政府经济部门、金融 机构、投资公司以及企业对项目数据分析 师的需求正在与日俱增。注册项目数据分 析师（CPDA）职业的年薪会迅速提升到20 万以上。 • 项目数据分析师的报考要求其中一项是有 一年以上工作经验，不建议在校学生报考 此专业证书。
• 2、确定分析项目
• 要确定分析项目，主要的还要看我们收集 和分析数据的目的是什么，根据这个目标， 来确定什么样的条件可以达到这个目标。 比如一个旅游网站的好坏或者要排到前几 名，并不仅仅是看网站做的怎么样，主要 的还要看用户体验和SEO相关数据。
• 3、数据收集
• 比如收集一个省份的旅游网站时，我们要 找出TOP5，收集起来的网站就不要超过10 个，当然这10个网站也是我们根据收集和 分析的条件筛选出来的比较好的。把收集 好的网站都放到Excel表格里，方法以此类 推，收集完所有需要的数据。
• 4、数据分析
• 数据分析就要有说明，这样别人在看到这 份数据的时候才知道怎么回事。
5、美化表格
• 数据分析完毕，出来的表格可以美化一下， 比如调一下格式，变个颜色等。这样加上 数据分析说明，更能让人一目了然。
第四节 数据分析师的职业发展
一、前景 在互联网时代，与传统的数据分析师相 比，互联网时代的数据分析师面临的不是 数据匮乏，而是数据过剩。因此，互联网 时代的数据分析师必须学会借助技术手段 进行高效的数据处理。更为重要的是，互 联网时代的数据分析师要不断在数据研究 的方法论方面进行创新和突破。例如，结 合传统的消费心理学理论，构建丰富的互 联网信息消费行为模型。
• •
加权平均数 若n个数x1，x2，……xn的权分别为w1，w2，……wn， 则这n个数的加权平均数是 (x1w1+x2w2+……+xnwn)/(w1+w2+……+wn)
薪资介绍
• 数据分析师存在于很多行业，一般在传统 行业中工资较为固定，薪资范围在30006000之间，在互联网行业中数据分析师的 薪资幅度较大，在比较知名的互联网行业 和大型保险公司中，优秀的数据分析师月 薪数万不成问题。
专业证书
• 目前全国的数据分析行业的认证有项目数 据分析师。 • 项目数据分析师（CERTIFIED PROJECTS DATA ANALYST）简称：CPDA ，是专业 从事投资项目财务数据分析的高级决策人 通过掌握的大量行业数据以及科学的计算 工具，为投资机构做出正确的项目投资决 策。 • CPDA 由中国商业联合会数据分析专业委 员会，国家工信部颁发的项目数据分析师 职业技术证书。
3、避免向同一户家庭重复邮寄相同信函并 且消除冗余系统，从而同时降低直接邮寄 与运营成本。
由此可见，Suncorp-Metway公司通 过该方案将此前多个孤立来源的数据集成 起来，实现智慧营销，对控制成本，增加 利润起到非常积极的作用。
目录
第一节 第二节 第三节 第四节 第五节 数据分析 数据分析的步骤 数据分析需要注意的问题 数据分析师的职业发展 数据分析中常用的指标和术语
第二节 数据分析的步骤
• • • • • • 一、明确分析目的和思路 二、数据收集 三、数据处理 四、数据分析 五、数据展现 六、报告撰写
第三节 数据分析需要注意的问题
• 1.确定收集条件
• 先确定硬性的条件，要收集的是自己行业 的，竞争对手的，还是很多行业的，再根 据最终的分析项目和目标来确定收集时的 一些条件。防止在收集的时候，收集了很 多用不到的信息。
（3）回归分析：是在掌握大量观察数据的基 础上，利用数理统计方法建立因变量与自变量之 间的回归关系函数表达式（称回归方程式）。
四、数据分析的作用
• 1、现状分析 （1）帮助管理者了解企业现阶段的整体运 营情况； （2）帮助管理者了解企业各项业务的构成、 企业各项业务的发展及变动情况以及企业 运行状况。 现状分析一般通过日常通报来完成。如 日报、周报、月报等形式。