Python大数据分析与挖掘实战 第1章Python基础
Python广告数据挖掘与分析实战
读书笔记
读书笔记
这是一部营销和广告数据挖掘与分析的实战指南，横跨技术和业务两个维度，理论与实践相结合。
目录分析
1.2 Anaconda安装
1.1 Python介绍
1.3 PyCharm安装 及环境配置
1.4为什么建议 使用Python
1.5本章小结
1.1 Python介绍
1.1.1 Python的由来 1.1.2 Python的特点
6.2 GBDT
6.2.1 GBDT算法思想 6.2.2 GBDT算法原理 6.2.3 Scikit-learn GBDT类库介绍 6.2.4使用Scikit-learn类库实现GBDT算法
6.3 XGBoost
6.3.1 XGBoost算法思想 6.3.2 XGBoost算法原理 6.3.3 XGBoost算法的优点 6.3.4 XGBoost类库参数 6.3.5使用Scikit-learn类库实现XGBoost算法
6.4 Stacking
6.4.1 Stacking算法思想 6.4.2 Stacking算法原理 6.4.3 Stacking算法实现
6.5 LR+GBDT
6.5.1 LR+GBDT原理 6.5.2 LR+GBDT在广告CTR中的应用 6.5.3 LR+GBDT算法实现
6.6 FM
6.6.1 FM的原理 6.6.2 FM的改进 6.6.3 FM的Python实现
2.2.1伯努利分布 2.2.2均匀分布 2.2.3二项分布 2.2.4正态分布 2.2.5泊松分布 2.2.6指数分布
2.3异常值诊断
2.3.1三倍标准差法 2.3.2箱形图分析法
2.4数据相关性
2.4.1 Pearson相关系数 2.4.2 Spearman秩相关系数
python数据分析课后习题精选全文完整版
python数据分析课后习题B. 数据合并按照合并轴⽅向主要分为左连接、右连接、内连接和外连接C. 预处理过程主要包括数据清洗、数据合并、数据标准化和数据转换，它们之间存在交叉，没有严格的先后关系D. 数据标准化的主要对象是类别型的特征3. (单选题)以下关于缺失值检测的说法中，正确的是(B)。
A. null 和 notnull 可以对缺失值进⾏处理B. dropna⽅法既可以删除观测记录，亦可以删除特征C. fillna⽅法中⽤来替换缺失值的值只能是数据框D. pandas 库中的interpolate 模块包含了多种插值⽅法4. (单选题)关于标准差标准化，下列说法中错误的是(B)。
A. 经过该⽅法处理后的数据均值为0，标准差为1B. 可能会改变数据的分布情况C.Python中可⾃定义该⽅法实现函数:def StandardScaler(data):data=(data-data.mean())/data.std()return dataD. 计算公式为X*=(X-`X)/σ5. (单选题)以下关于pandas数据预处理说法正确的是(D)。
A. pandas没有做哑变量的函数B. 在不导⼈其他库的情况下，仅仅使⽤pandas 就可实现聚类分析离散化C. pandas 可以实现所有的数据预处理操作D. cut 函数默认情况下做的是等宽法离散化6. (单选题)以下关于异常值检测的说法中错误的是(D)。
A. 3σ原则利⽤了统计学中⼩概率事件的原理B. 使⽤箱线图⽅法时要求数据服从或近似服从正态分布C. 基于聚类的⽅法可以进⾏离群点检测D. 基于分类的⽅法可以进⾏离群点检测7. (单选题)有⼀份数据，需要查看数据的类型，并将部分数据做强制类型转换，以及对数值型数据做基本的描述性分析。
下列的步骤和⽅法正确的是(A)。
A. dtypes 查看类型，astype 转换类别，describe 描述性统计B. astype 查看类型，dtypes转换类别，describe描述性统计C. describe查看类型，astype转换类别，dtypes描述性统计D. dtypes 查看类型，describe 转换类别，astype 描述性统计8. (单选题)下列与标准化⽅法有关的说法中错误的是(A)。
《大数据分析与挖掘》课程教学大纲
《大数据分析与挖掘》课程教学大纲一、课程基本信息课程代码：16054103课程名称：大数据分析与挖掘英文名称：Big data analysis and mining课程类别：专业选修课学时：48(理论课：32, 实验课：16)学 分：3适用对象: 软件工程专业、计算机科学与技术考核方式：考查先修课程：多媒体技术、程序设计、软件工程二、课程简介本课程从大数据挖掘分析技术实战的角度，结合理论和实践，全方位地介绍基于Python语言的大数据挖掘算法的原理与使用。
本课程涉及的主题包括基础篇和实战篇两部分， 其中基础篇包括：数据挖掘基础，Python数据分析简介，数据探索，数据预处理和挖掘建模；实战篇包括：电力窃漏电用户自动识别，航空公司客户价值分析，中医证型关联规则挖掘，基于水色图像的水质评价，家用电器用户行为分析与事件识别，应用系统负载分析与磁盘容量预测和电子商务网站用户行为分析及服务推荐。
本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论基于Python语言机器学习模型解决方案的深入课程。
教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。
通过本课程学习，目的是让学生能够扎实地掌握大数据分析挖掘的理论与应用。
This course introduces the principle and application of big data mining algorithm based on Python language comprehensively from the perspective of big data mining analysis technology practice, combining theory and practice. This course covers two parts, the basic part and the practical part. The basic part includes: basic data mining, introduction to Python data analysis, data exploration, data preprocessing and mining modeling. Practical article included: electric power leakage automatic identification of the user, airlines customer value analysis, TCM syndrome association rule mining, based on water quality evaluation of color image, household electrical appliancesuser behavior analysis and event identification, load analysis and application system disk capacity prediction and e-commerce website user behavior analysis and recommendation service.This course is not a general theoretical, conceptual introduction, but rather an in-depth discussion of problem solving based on the Python language machine learning model. Teachers have in-depth theoretical research and practical experience in the above areas. In the course, they will study these problems together with students, and build experimental environment for practical research on key points to deepen their understanding of these solutions. Through the study of this course, students are expected to master the application of big data analysis and mining.三、课程性质与教学目的本课程是软件工程和计算机科学与技术专业的选修课。
《Python大数据分析与挖掘案例实战》教学大纲
《python大数据分析与挖掘案例实战》课程教学大纲课程代码：学分：6学时：96（其中：讲课学时：71 实践或实验学时：25 ）先修课程：数学分析、高等代数、概率统计、金融基础知识、Python程序设计基础、Python 大数据分析与挖掘基础适用专业：信息与计算科学建议教材：黄恒秋主编.Python大数据分析与挖掘实战(微课版)[M]. 北京：人民邮电出版社.2019.开课系部：数学与计算机科学学院一、课程的性质与任务课程性质：专业方向选修课。
课程任务：大数据时代，数据成为决策最为重要的参考之一，数据分析行业迈入了一个全新的阶段。
通过学习本课程，使得学生在掌握Python科学计算、数据处理、数据可视化、挖掘建模、机器学习与深度学习等基本技能基础上，进一步地扩展应用到金融、地理信息、交通、文本、图像、GUI应用开发等实际问题或具体领域。
本课程为Python在大数据常见领域的具体应用，也是Python在职业技能的重要组成部分，从而使得学生具备一定的行业应用背景及就业技能。
二、课程的基本内容及要求本课程教学时数为96学时，6学分；实验25学时,1.56学分。
第7章基于财务与交易数据的量化投资分析1.课程教学内容：（1）上市公司综合评价、优质股票选择、量化投资等基本概念；（2）基于总体规模与效率指标的主成分分析综合评价方法；（3）股票技术指标分析及程序计算（4）数据预处理及训练、测试样本划分、逻辑回归模型应用（5）量化投资策略设计实现及结果分析。
2.课程的重点、难点：（1）重点：业务数据理解、指标数据的选择、预处理、程序实现；（2）难点：业务数据理解、模型的理解、场景应用。
3.课程教学要求：（1）了解上市公司综合评价的基本概念及模型、股票技术分析指标概念及计算方法；（2）理解业务数据、指标数据选取、预处理、量化投资设计的基本原理、原则及流程；（3）掌握指标数据选取、预处理、程序实现、量化投资策略设计实现的全部流程。
python数据分析基础
数据分析数据类型一维数据由对等关系的有序或无序数据构成，采用线性方式组织。
（列表、数组和集合）列表：数据类型可以不同（3.1413, 'pi', 3.1404, [3.1401,3.1349], '3.1376'）数组：数据类型相同（3.1413, 3.1398, 3.1404, 3.1401, 3.1349, 3.1376）二维数据由多个一维数据构成，是一维数据的组合形式。
（表格）多维数据由一维或二维数据在新维度上扩展形成。
高维数据仅利用最基本的二元关系展示数据间的复杂结构。
（键值对）NumpyNumpy是一个开源的Python科学计算基础库，包含：1)一个强大的N维数组对象ndarray；2)广播功能函数；3)整合C/C++/Fortran代码的工具；4)线性代数、傅里叶变换、随机数生成等功能。
Numpy是SciPy、Pandas等数据处理或科学计算库的基础。
Numpy的引用：import numpy as np（别名可以省略或更改，建议使用上述约定的别名）N维数组对象：ndarray1)数组对象可以去掉元素间运算所需的循环，使一维向量更像单个数据；2)设置专门的数组对象，经过优化，可以提升这类应用的运算速度；（一个维度所有数据的类型往往相同）3)数组对象采用相同的数据类型，有助于节省运算和存储空间；4)ndarray是一个多维数组对象，由两部分构成：实际的数据；描述这些数据的元数据（数据维度、数据类型等）。
ndarray数组一般要求所有元素类型相同（同质），数组下标从0开始。
np.array()生成一个ndarray数组。
（ndarray在程序中的别名是:array）轴(axis): 保存数据的维度；秩(rank)：轴的数量ndarray对象的属性.ndim 秩，即轴的数量或维度的数量.shape ndarray对象的尺度，对于矩阵，n行m列.size ndarray对象元素的个数，相当于.shape中n*m的值.dtype ndarray对象的元素类型.itemsize ndarray对象中每个元素的大小，以字节为单位ndarray的元素类型bool 布尔类型，True或Falseintc 与C语言中的int类型一致，一般是int32或int64intp 用于索引的整数，与C语言中ssize_t一致，int32或int64 int8 字节长度的整数，取值：[‐128, 127]int16 16位长度的整数，取值：[‐32768, 32767]int32 32位长度的整数，取值：[‐231, 231‐1]int64 64位长度的整数，取值：[‐263, 263‐1]uint8 8位无符号整数，取值：[0, 255]uint16 16位无符号整数，取值：[0, 65535]uint32 32位无符号整数，取值：[0, 232‐1]uint64 32位无符号整数，取值：[0, 264‐1]float16 16位半精度浮点数：1位符号位，5位指数，10位尾数float32 32位半精度浮点数：1位符号位，8位指数，23位尾数float64 64位半精度浮点数：1位符号位，11位指数，52位尾数complex64 复数类型，实部和虚部都是32位浮点数complex128 复数类型，实部和虚部都是64位浮点数实部(.real) + j虚部(.imag)ndarray数组可以由非同质对象构成（array([ [0,1,2,3,4], [9,8,7,6] ])），非同质ndarray对象无法有效发挥NumPy优势，尽量避免使用。
Python数据分析与挖掘实战-数据预处理
4
重复值处理
➢ pandas提供了一个名为drop_duplicates的去重方法。该方法只对DataFrame或Series类型有效。 ➢ drop_duplicates()方法的基本使用格式和参数说明如下：
24
多表合并
➢ 除了concat函数之外，pandas库的append()方法也可以用于纵向合并两张表，append()方法的基本使用 格式和常用参数说明如下：
• pandas.DataFrame.append(other, ignore_index=False, verify_integrity= False)
•
if i not in list2:
•
list2.append(i)
•
return list2
• names = list(data['品牌名称']) # 提取品牌名称
• name = delRep(names) # 使用自定义的去重函数去重
3
重复值处理
➢ 除了利用列表去重之外，还可以利用集合（set）元素为唯一的特性去重：
使用固定值
将缺失的属性值用一个常量替换
最近临插补 回归方法 插值法
在记录中找到与缺失样本最接近的样本的该属性值插补
对带有缺失值的变量，根据已有数据和与其有关的其他变量（因变量）的数
据建立拟合模型来预测缺失的属性值
插值法是利用已知点建立合适的插值函数
数值 f (xi )近似代替
《Python金融数据挖掘与分析实战》—教学教案
元组与列表类似，也是Python中一种常用的数据结构，不同之处在于元组中的元素不能修改，元组采用圆括号括起来进行定义。示例代码如下：
t1=(1,2,3,4,6)
t2=(1,2,'kl')
t3=('h1','h2','h3')
1.4.5 集合的定义
集合也是Python中的数据结构，它是一种不重复元素的序列，用大括号括起来进行定义。示例代码如下：
{'LY', 'SE', 'KR'}
{'LY', 'SE', 'KR'}
从执行结果可以看出，集合保持了元素的唯一性，对于重复的元素只取一个。
1.4.6 字典的定义
字典是Python中一种按键值定义的数据结构，其中键必须唯一，但值不必。字典用大括号括起来进行定义。字典中的元素由键和值两部分组成，键在前值在后，键和值之间用冒号(:)来区分，元素之间用逗号隔开。键可以是数值、字符，值可以是数值、字符或者其他Python数据结构（比如列表、元组等）。示例代码如下：
d1={1:'h',2:[1,2,'k'],3:9}
d2={'a':2,'b':'ky'}
d3={'q1':[90,100],'k2':'kkk'}
1.5 Python相关的公有方法
Python的公有方法是指Python中大部分的数据结构均可以通用的一种数据操作方法。下面主要介绍索引、切片、求长度、统计、成员身份确认、变量删除等常用的数据操作方法
《Python基础课件PPT》
模块和包的使用
模块的定义
模块是Python中一个独立 的文件，里面可以定义变 量、函数、类等，可以通 过import关键字引入到其 他文件中使用。
标准库和第三方库
Python内置了大量的标准 库，也有大量的优秀的第 三方库，可以方便地完成 各种任务，如网络爬虫、 数据分析、Web开发等。
包的定义和使用
字符串操作和正则表达式
1
字符串的定义
在Python中字符串是用来表示文本数
字符串的格式化
2
据的，可以使用单引号或双引号来定 义一个字符串变量。
通过格式化字符串，我们可以方便地
将变量的值插入到一个字符串中，格
式化字符串的方法有多种，如C语言
3
正则表达式
风格、format()函数、f字符串等。
正则表达式是一种用来匹配字符串的
Python基础课件PPT
Python是一门简单易学的编程语言，具有结构清晰、代码简洁、可读性强等 特点。本课程将从Python基础入门、常用库模块、Web开发、机器学习等方 面全面介绍Python语言的应用。
Python介绍及环境搭建
Python简介
环境搭建
Python是一门数据科学领域广 泛使用的编程语言，它为程序 员提供了强大的工具集，可以 方便地进行数据处理和分析过使用re模
块来支持正则表达式的处理。
文件操作和异常处理
文件打开和关闭
Python可以用open()函数打 开文件，并通过close()方法 关闭文件。
文件的读写操作
Python提供了多种方式读写 文件，包括文本文件、二进 制文件和csv格式文件。
异常处理
异常处理机制可以让程序在 遇到错误时不会立即终止， 而是能够进行相应的处理， 保证程序的稳定性和健壮性。
python基础教程PPT课件
模块与包的使用
模块的创建与导入
模块是一个包含Python代码的文件，通过import语句可以导入模块中的函数和类。
包的创建与使用
包是一个包含多个模块的文件夹，通过import语句可以导入包中的模块。
模块和包的搜索路径
Python解释器会在指定的搜索路径中查找模块和包。
异常处理与调试
01
异常的定义与抛出
1. 数据结构：Pandas提供了多种数据结构
2. 数据处理：Pandas提供了丰富的数据处理函 数。如筛选、排序、聚合、分组等
3. 数据导入导出：Pandas支持多种数据格式的 导入和导出。如CSV、Excel、SQL数据库等
4. 数据可视化：Pandas与Matplotlib库结合 使用，可以方便地将数据处理结果进行可视化 展示。
02
try-except语句块
Python中的异常是由语法或运行时错 误引起的异常情况。
使用try-except语句块可以捕获和处 理异常。
03
logging模块与调试
使用logging模块记录程序运行时的 信息，通过设置不同的日志级别可以 输出不同级别的日志信息，方便调试 程序。
文件操作与数据处理
如何跟上Python发展的步伐
01
关注Python社区的最新动态
Python社区非常活跃，你可以通过参加社区活动、阅读社区新闻和博
客来了解最新的Python动态和技术。
02
学习Python的新特性
Python不断推出新的版本和特性，了解和学习这些新特性和版本可以
帮助你更好地跟上Python的发展步伐。
03
实践
只有通过实践才能真正掌握Python。你可以通过编写代码、参与项目
Python 数据分析与应用 第1章 Python 数据分析概述 图文
数据隐含信息
程。
数据分析的流程
典型的数据分析的流程
需求分析
业务部门 财务部门 生产部门
数据获取 网络爬虫 历史数据 实时数据
数据预处理 数据合并 数据清洗 数据标准化 数据变换
分析与建模
对比分析 分组分析 交叉分析 回归分析 智能推荐 关联规则 分类模型 聚类模型
模型评价与优化
聚类模型评价 分类模型评价 回归模型评价
➢ scipy.optimize
函数优化器（最小化器）以及根查找算法
➢ scipy.signal
信号处理工具
➢ scipy.sparse
稀疏矩阵和稀疏线性系统求解器
➢ scipy.special
SPECFUN（这是一个实现了许多常用数学函数的 Fortran 库）的包装器
➢ scipy.stats
检验连续和离散概率分布、各种统计检验方法，以及更好的描述统计法
数据变换后使得整体数据变为干净整齐，可以直接用于分析建模这一过程的总称。 ➢ 分析与建模：分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法
和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论 的过程。 ➢ 模型评价与优化：模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用 不同的指标评价其性能优劣的过程。 ➢ 部署：部署是指将通过了正式应用数据分析结果与结论应用至实际生产系统的过程。
数据挖掘
析、分组分析、交叉分析和回归分析等分析方法，
对
分
交
回
对收集来的数据进行处理与分析，提取有价值的信
比 分
组 分
叉 分
归 分
… …
析
析
Python大数据基础与实战（范晖）课后题答案
Python⼤数据基础与实战（范晖）课后题答案课后题答案第1章1.解释性、⾯向对象、动态数据类型、吉多·范罗苏姆2.Python3.包、模块、语句4.B5. C6. 使⽤pip⼯具来安装扩展库，指令为：pip install 库⽂件名。
⽤pip命令管理Python扩展库需要在命令提⽰符环境中进⾏，并且需要切换⾄pip所在⽬录。
7. ⾸先将.py源⽂件和python.exe⽂件关联，将.pyw源⽂件和pythonw.exe关联。
然后双击源⽂件即可执⾏。
8. 常⽤的有三种⽅式，分别为●import 模块名[as 别名]●from 模块名import 对象名[ as 别名]●from math import *9.Python被称为⼈⼯智能的专⽤语⾔，Python下众多的开源框架对⼈⼯智能应⽤领域提供了强⼤的⽀持，如计算机视觉库OpenCV、机器学习框架TensorFlow等。
借助于Django、web2py等框架，可以快速开发⽹站应⽤程序。
数据分析可以使⽤numpy、pandas、matplotlib、scipy等库。
第2章1.Python采⽤的是基于值的内存管理⽅式，如果为不同变量赋值相同值，则在内存中只有⼀份该值，多个变量指向同⼀块内存地址id()2.在Python中/表⽰普通除法（也叫真除法），结果是实数，⽽//表⽰整除，得到的结果是整数，并且⾃动向下取整。
3.x = input('请输⼊3位以上的数字：')if len(x) >= 3:x = int(x)print('结果是：',x // 100)else:print('输⼊错误!')4.x = input("input a number:")a,b,c = map(int,x)print("result is:{0}\t{1}\t{2}".format(a,b,c))5.sum()6.True7.198.False9.(True, 5）10.True11.512.513.1:2:314.x = input("input three numbers:")a,b,c = map(int,x.split())print("sorted result is:",sorted((a,b,c)))第3章1.import randomx = [random.randint(0,200) for i in range(100)] #第⼀种实现：使⽤集合s = set(x)for v in s:print(v, ':', x.count(v))#第⼆种实现：使⽤字典d = dict()for v in x:d[v] = d.get(v,0) + 1for k, v in d.items():print(k, v, sep=':')2.x = input("input a list:")x = eval(x)p = input("input two positon:")begin,end = map(int,p.split())print(x[begin:end+1])3.[6 for i in range(10) ]4.import randomx = [random.randint(0,100) for i in range(20)] print(x)x[:10] = sorted(x[:10])x[10:] = sorted(x[10:], reverse=True)print(x)5. []6. [18, 19]7. ([1, 3], [2])8. 当列表增加或删除元素时，列表对象⾃动进⾏内存扩展或收缩，从⽽保证元素之间没有缝隙，但这涉及到列表元素的移动，效率较低，应尽量从列表尾部进⾏元素的增加与删除操作以提⾼处理速度。
Python数据分析、挖掘与可视化-教学大纲
一、课程概况课程名称：Python数据分析、挖掘与可视化课程编号：课程性质：限制性选修考核方式：考查建议学时：48+16前导课程：线性代数、高等数学适用专业：计算机科学与技术、数据科学、统计、金融、管理等理工科和商科专业二、教学目的和要求通过本课程的学习，使得学生能够理解Python的编程模式，熟练运用Python 内置函数与运算符、列表、元组、字典、集合等基本数据类型以及相关列表推导式、切片、序列解包等语法来解决实际问题，熟练掌握Python分支结构、循环结构、函数设计以及类的设计与使用，掌握numpy数组运算和矩阵运算、pandas 基本数据结构以及数据分析与处理、机器学习基本算法原理以及sklearn实现、matplotlib数据可视化与科学计算可视化。
能够根据问题性质和特点选择合适的机器学习算法，能够根据数据特点选择合适的可视化方式。
三、教学内容以及重点、难点第1章 Python开发环境搭建与编码规范1.1 Python开发环境搭建与使用教学内容：在Python官方网站下载安装包并安装，下载并安装Anaconda3，IDLE、Jupyter Notebook、Spyder简单使用，使用pip和conda命令安装扩展库。
重点、难点：系统环境变量path的设置，安装扩展库。
1.2 Python编码规范教学内容：缩进对业务逻辑的影响，变量命名规则。
重点、难点：缩进的作用。
1.3 标准库、扩展库对象的导入与使用教学内容：导入标准库与扩展库对象的几种形式及其区别，导入标准库和扩展库的顺序。
重点、难点：导入标准库与扩展库对象的几种形式及其区别。
第2章数据类型、运算符与内置函数2.1 常用内置数据类型教学内容：整数、实数、复数、列表、元组、字典、集合、字符串等常用数据类型。
重点、难点：数字大小没有限制，实数计算会有误差，字典的键和集合中的元素不允许重复并且必须为不可变类型的数据，包含一个元素的元组必须有逗号。
Python大数据分析与挖掘实战 第1章Python基础
5
③根据安装向导，单击选择同意安
装协议“I Agree”按钮、选择安装类 型“All Users”、设置好安装路径，继 续单击Next按钮，如图1-3所示。
④在该步骤中有两个选项，安装向导默认为第二 个选项，即向Anaconda系统中安装Python的版本号， 图1-3中为3.6这个版本。第一个选项为可选项，即向 安装的计算机系统中添加Anaconda环境变量，也建 议读者选择该选项。设置好这两个选项后，单击 “Intsall”即可进入安装进程，如图1-4所示。
行业PPT模板：/hangye/ PPT素材下载：/sucai/ PPT图表下载：/tubiao/ PPT教程： /powerpoint/ Excel教程：/excel/ PPT课件下载：/kejian/ 试卷下载：/shiti/
Python开发环境众多
• 不同的开发环境其配置难度与复杂度也不尽相同，最常用的有PyCharm、Spyder。特别是Spyder，它在成功 安装了Python的集成发行版本Anaconda之后就自带上了，而且界面友好。对于初学者或者不想在环境配置方面 花太多时间的读者，可以选择Anaconda安装，本书也是采用Anaconda。
python具有简单易学开源解释性面向对象可扩展性和丰富的支撑库等特点?其应用也非常广泛包括科学计算数据处理与分析图形图像与文本处理数据库与网络编程网络爬虫机器学习多媒体应用图形用户界面系统开发等
第1章 Python基础
Part 1 1.1 Python概述背景
PPT模板下载：/moban/ 节日PPT模板：/jieri/ PPT背景图片：/beijing/ 优秀PPT下载：/xiazai/ Word教程： /word/ 资料下载：/ziliao/ 范文下载：/fanwen/ 教案下载：/jiaoan/ 字体下载：/ziti/
Python数据分析基础学习笔记_2019.04.02
Python数据分析基础学习笔记曾建2019.04.25目录1.Python基础知识 (1)1.1.Python简介 (1)1.2.解释型与编绎型 (1)1.3.搭建环境 (2)1.4.环境变量Path (2)1.5.IDE (3)1.6.Pycharm安装 (3)1.7.语法特点 (4)1.7.1.注释 (4)1.7.2.缩进 (5)1.7.3.语句断行 (5)1.7.4.编码规范 (6)1.7.5.命名规范 (6)1.7.6.保留字与标识符 (6)1.8.基本数据类型 (8)1.8.1.数字 (8)1.8.2.字符串 (8)1.8.3.布尔类型 (11)1.8.4.类型转换 (11)1.8.5.基本输入输出 (11)1.9.运算符 (12)1.9.1.算术运算符 (12)1.9.2.赋值运算符 (13)1.9.3.关系运算符 (14)1.9.4.逻辑运算符 (14)1.9.5.位运算符 (14)1.9.6.优先级 (15)1.10.条件表达式 (15)2.流程控制 (16)2.1.程序结构 (16)2.2.选择语句 (16)2.3.循环语句 (18)2.3.1.while循环 (18)2.3.2.for循环 (19)2.3.3.循环嵌套 (19)2.3.4.结束循环 (20)3.数据结构 (21)3.1.序列 (21)3.1.1.索引 (22)3.1.2.切片 (22)3.1.3.相加 (22)3.1.4.相乘 (22)3.1.5.成员检查 (22)3.1.6.计算长度和最大最小值 (23)3.2.列表 (23)3.2.1.创建列表 (23)3.2.2.遍历列表 (24)3.2.3.更新列表 (24)3.2.4.列表统计计算 (25)3.2.5.列表排序 (26)3.2.6.列表推导式 (26)3.2.7.列表的常用函数 (27)3.2.8.二维列表 (27)3.3.元组 (28)3.3.1.元组与列表的区别 (28)3.3.2.创建元组 (29)3.3.3.访问元组 (29)3.3.4.修改元组 (30)3.3.5.元组推导式 (30)3.4.字典 (30)3.4.1.创建字典 (31)3.4.2.访问字典 (32)3.4.3.更新字典 (33)3.4.4.合并字典 (33)3.4.5.字典推导式 (33)3.5.集合 (33)3.5.1.创建集合 (33)3.5.2.添加删除元素 (34)3.5.3.集合运算 (34)3.6.字符串 (35)3.6.1.拼接字符串 (35)3.6.2.计算字符串长度 (35)3.6.3.截取字符串 (35)3.6.4.检索字符串 (36)3.6.5.大小写转换 (36)3.6.6.去空格 (36)3.6.7.分割 (37)3.6.8.格式化字符串 (37)4.函数 (38)4.1.定义函数 (38)4.2.调用函数 (38)4.3.参数传递 (38)4.4.返回值 (40)4.5.变量的作用域 (41)4.6.匿名函数 (41)5.面向对象 (41)5.1.对象与类 (41)5.2.面向对象的特点 (42)5.2.1.封装 (42)5.2.2.继承 (42)5.2.3.多态 (42)5.3.类的定义 (43)5.4.创建实例 (43)5.4.1.__init__()方法 (43)5.4.2.实例方法 (43)5.4.3.数据成员 (44)5.5.访问限制 (44)5.6.属性 (45)5.7.继承 (45)5.8.重写 (45)6.模块 (45)6.1.自定义模块 (46)6.2.模块搜索目录 (46)6.3.常用标准模块 (46)6.4.第三方模块 (47)6.5.包 (47)7.异常处理 (47)8.多维数组 (49)8.1.Numpy模块 (49)8.2.数组创建 (49)8.3.数组生成函数 (51)8.4.数据类型 (52)8.5.数组访问 (53)8.6.数组属性 (54)8.7.数组形状 (55)8.8.排序 (57)8.9.基本运算 (57)8.9.1.四则运算 (57)8.9.2.比较运算 (58)8.9.3.广播运算 (59)8.10.常用函数 (59)8.10.1.数学函数 (59)8.10.2.统计函数 (60)8.11.线性代数 (60)8.12.随机模块 (60)9.数据处理 (61)9.1.Pandas (61)9.2.序列 (62)9.2.1.构建 (62)9.2.3.追加 (64)9.2.4.删除 (65)9.2.5.更新 (65)9.2.6.排序 (65)9.3.数据框 (66)9.3.1.构建 (66)9.3.2.访问 (67)9.3.3.增加 (68)9.3.4.删除 (69)9.3.5.更新 (70)9.3.6.显示数据 (70)9.4.基本操作 (71)9.4.1.重建索引 (71)9.5.数据导入 (72)9.5.1.文本数据 (72)9.5.2.电子表格数据 (73)9.5.3.数据库数据 (74)9.6.数据导出 (74)9.7.类型转换 (76)9.8.数据清洗 (76)9.8.1.重复值处理 (76)9.8.2.缺失值处理 (77)9.8.3.异常值处理 (79)9.9.数据抽取 (80)9.9.1.字段抽取 (80)9.9.2.字段拆分 (80)9.9.3.重置索引 (81)9.9.4.条件抽取数据 (81)9.9.5.索引抽取数据 (81)9.10.数据修改 (82)9.11.重置索引 (83)9.12.透视表 (83)9.13.合并连接 (85)9.14.分组聚合 (86)10.数据基本分析 (87)10.1.基本统计分析 (87)10.2.分组分析 (88)10.3.分布分析 (89)10.4.交叉分析 (91)10.5.结构分析 (92)10.6.相关分析 (94)11.数据可视化 (95)11.1.离散型变量 (95)11.1.2.条形图 (98)11.2.数值型变量 (101)11.2.1.直方图 (101)11.2.2.核密度图 (104)11.2.3.箱线图 (106)11.2.4.小提琴图 (106)11.2.5.折线图 (106)11.3.关系型数据 (108)11.3.1.散点图 (109)11.3.2.气泡图 (112)11.3.3.热力图 (113)12.上机作业题 (115)12.1.数值交换 (115)12.2.三数比较大小 (116)12.3.计算人体健康BMI (116)12.4.计算闰年 (117)12.5.回文 (117)12.6.九九乘法表 (118)12.7.自然数求和 (118)12.8.计算阶乘和 (118)12.9.鸡兔同笼 (119)12.10.百人分百饼 (119)12.11.最大最小值 (119)12.12.换零钱 (120)12.13.登录功能 (121)12.14.修改密码功能 (121)12.15.质因数分解 (122)12.16.冒泡排序 (123)12.17.约瑟夫问题 (123)12.18.递归求自然数和 (124)12.19.兔子数目 (124)12.20.猜幸运数字 (125)12.21.押大小游戏 (126)12.22.五猴分桃 (127)12.23.打印全年的日历 (128)1.Python基础知识1.1.Python简介Python是1989年荷兰人Guido van Rossum发明的，它是一种面向对象的解释型高级编程语言。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
行业PPT模板：/hangye/ PPT素材下载：/sucai/ PPT图表下载：/tubiao/ PPT教程： /powerpoint/ Excel教程：/excel/ PPT课件下载：/kejian/ 试卷下载：/shiti/
行业PPT模板：/hangye/ PPT素材下载：/sucai/ PPT图表下载：/tubiao/ PPT教程： /powerpoint/ Excel教程：/excel/ PPT课件下载：/kejian/ 试卷下载：/shiti/
②从图1-1中可以看出Anaconda有众多版 本，也支持常见的操作系统。本书选择 Anaconda3-5.0.1-Windows-x86.exe 这 个 版 本，32位操作系统。其次，对下载成功的 安装包进行安装。双击下载成功的安装包， 在弹出安装向导界面中单击Next按钮，如 图1-2所示。
图1-1
图1-2
PБайду номын сангаасrt 1
1.2.1
Python安装及启动——安装 PPT模板下载：/moban/ 节日PPT模板：/jieri/ PPT背景图片：/beijing/ 优秀PPT下载：/xiazai/ Word教程： /word/ 资料下载：/ziliao/ 范文下载：/fanwen/ 教案下载：/jiaoan/ 字体下载：/ziti/
第1章 Python基础
Part 1 1.1 Python概述背景
PPT模板下载：/moban/ 节日PPT模板：/jieri/ PPT背景图片：/beijing/ 优秀PPT下载：/xiazai/ Word教程： /word/ 资料下载：/ziliao/ 范文下载：/fanwen/ 教案下载：/jiaoan/ 字体下载：/ziti/
Python具有简单易学、开源、解释性、面向对象、可扩展性和丰富的支 撑库等特点
• 其应用也非常广泛，包括科学计算、数据处理与分析、图形图像与文本处理、数据库与网络编程、网络爬虫、 机器学习、多媒体应用、图形用户界面、系统开发等。目前Python有两个版本：Python2和Python3，但是它们 之间不完全兼容，而且Python3功能更加强大，代表了Python的未来，建议学习Python3。
行业PPT模板：/hangye/ PPT素材下载：/sucai/ PPT图表下载：/tubiao/ PPT教程： /powerpoint/ Excel教程：/excel/ PPT课件下载：/kejian/ 试卷下载：/shiti/
2
Python 是一种面向对象的脚本语言
• 由荷兰研究员Guido van Rossum于1989年发明，并于1991年公开发行第一个版本。由于其功能强大和采用开 源方式发行，Python发展迅猛，用户越来越多，逐渐形成了一个强大的社区力量。如今，Python已经成为最受 欢迎的程序设计语言之一。2011年1月，它被TIOBE编程语言排行榜评为2010年度语言。随着人工智能与大数据 技术的不断发展，Python的使用率正呈高速增长。
Part 1 1.2 Python安装及启动
PPT模板下载：/moban/ 节日PPT模板：/jieri/ PPT背景图片：/beijing/ 优秀PPT下载：/xiazai/ Word教程： /word/ 资料下载：/ziliao/ 范文下载：/fanwen/ 教案下载：/jiaoan/ 字体下载：/ziti/
Python安装
安装发行版 Anaconda 形成集成开 发环境 Spyder ……
启动与界面认识
简单易学 界面友好 程序编写及执 行均在Spyder 中完成 ……
安装拓展包
打开Andconda Prompt 命令窗口 输入安装命令 ……
3
入门基 本操作
Part 1
1.2.1
Python安装及启动——安装 PPT模板下载：/moban/ 节日PPT模板：/jieri/ PPT背景图片：/beijing/ 优秀PPT下载：/xiazai/ Word教程： /word/ 资料下载：/ziliao/ 范文下载：/fanwen/ 教案下载：/jiaoan/ 字体下载：/ziti/
Python开发环境众多
• 不同的开发环境其配置难度与复杂度也不尽相同，最常用的有PyCharm、Spyder。特别是Spyder，它在成功 安装了Python的集成发行版本Anaconda之后就自带上了，而且界面友好。对于初学者或者不想在环境配置方面 花太多时间的读者，可以选择Anaconda安装，本书也是采用Anaconda。
4
①这里推荐Python的发行版Anaconda， 它集成了众多Python常用包，并自带简单 易学且界面友好的集成开发环境Spyder。 Anaconda安装包可以从官网或者清华镜像 站点中下载。下面介绍如何从清华镜像站 点中获取安装包并进行安装的具体过程。 首先登录清华镜像站点网址，如图1-1所 示。