9.Python科学计算与数据处理

15
合并数据集
DataFrame还有一个join实例方法，它能 更为方便地实现按索引合并。它还可用于合并 多个带有相同或相似索引的DataFrame对象， 而不管它们之间有没有重叠的列。
>>>left2.join(right2,how='outer')
由于一些历史原因（早期版本的pandas) ，DataFrame的join方法是在连接键上做左连 接。它还支持参数DataFrame的索引跟调用者 DataFrame的某个列之间的连接：
11
合并数据集
参数 说明
on
用于连接的列名。必须存在于左右两个DataFrame对象 中。如果未指定，且其他连接键也未指定，则以left和 right列名的交集作为连接键 left_on 左侧DataFrame中用作连接键的列 right_on 右侧DataFrame中用作连接键的列 leftjndex 将左侧的行索引用作其连接键 rightjndex 类似于leftjndex sort 根据连接键对合并后的数据进行排序，默认为True。有 时在处理大数据集时，禁用该选项可获得更好的性能 suffixes 字符串值元组，用于追加到重叠列名的末尾，默认为 (‘_x’, ’_y’).例如，如果左右两个DataFrame对象都有 data ，则结果中就会出现“data一x” 和 “data一y” copy 设置为False,可以在某些特殊情况下避免将数据复制到结 果数据结构中。默认总是复制
数据集的合并(merge)或连接(join)运算是通 过一个或多个键将行链接起来的。这些运算是关 系型数据库的核心。pandas的merge函数是对数 据应用这些算法的主要切入点。 以一个简单的例子开始：
>>>from pandas import Series, DataFrame >>>import pandas as pd >>> df1 = DataFrame({'key': ['b', 'b', 'a','c','a','a','b'], 'data1': range(7)}) >>>df2 = DataFrame({'key': ['a', 'b', 'd'], 'data2': range(3)})
12
合并数据集
索引上的合并
有时DataFrame中的连接键位于其索引中 。在这种情况下，你可以传入left_index=True 或right_index=True (或两个都传）以说明索 引应该被用作连接键：
>>> pd.merge(left, right, on='key1', suffixes=('_left', '_right')) >>>left1 = DataFrame({'key':['a','b','a','a','b','c'], 'value': range(6)}) >>>right1 = DataFrame({'group_val': [3.5,7]}, index=['a','b']) >>>left1 >>>right1 >>>pd.merge(left1, right1, left_on='key',right_index=True)
6
合并数据集
这是一种多对一的合并。df1中的数据有多 个被标记为a和b的行，而df2中key列的每个值 则仅对应一行。对这些对象调用merge即可得到 ：
>>>df1 >>>df2 >>>pd.merge(df1, df2)

注意，并没有指明要用哪个列迸行连接。如 果没有指定，merge就会将重叠列的列名当做键 。不过，最好显式指定一下：
pandas
—数据规整化
1
目录
合并数据集
数据库风格的DataFrame合并 索引上的合并 轴向连接 合并重叠数据
重塑和轴向旋转
重塑层次化索引 将“长格式”旋转为“宽格式”
2
目录
数据转换
移除重复数据 利用函数或映射进行数据转换 替换值 重命名轴索引 离散化和面元划分 检测和过滤异常值 排列和随机采样 计算指标/哑变量
13
合并数据集
由于默认的merge方法是求取连接键的交 集，因此可通过外连接的方式得到它们的并集 ：>>> pd.merge(left1, right1, left_on='key',
right_index=True, how='outer')
对于层次化索引的数据，稍微复杂些 ：
>>>lefth = DataFrame({'key1': ['Ohio','Ohio','Ohio','Nevada','Nevada'], 'key2': [2000, 2001, 2002, 2001, 2002], 'data': np.arange(5.)}) >>>righth = DataFrame(np.arange(12).reshape((6, 2)), index=[['Nevada', 'Nevada', 'Ohio', 'Ohio', 'Ohio', 'Ohio'], [2001, 2000, 2000, 2000, 2001, 2002]], columns=['event1', 'event2']) >>> lefth >>> righth
多对多的合并操作非常简单，无需额外的 工作。如下所示：
>>> df1 = DataFrame({'key': ['b','b','a','c','a','b'], 'data1': range(6)}) >>>df2 = DataFrame({'key': ['a','b','a','b','d'], 'data2': range(5)}) >>>df1 >>> pd.merge(df1, df2, on='key', how='left')
3
数据分析和建模方面的大量编程工作都是 用在数据准备上的：加载、清理、转换以及重 塑。有时候，存放在文件或数据库中的数据并 不能满足数据处理应用的要求。pandas和 Python标准库提供了一组高级的、灵活的、高 效的核心函数和算法，它们能够轻松地将数据 规整化为正确的形式。
4
合并数据集
pandas对象中的数据可以通过一些内置 的方式进行合并：
>>> pd.merge(df1, df2, on='key')
7
合并数据集
如果两个对象的列名不同，也可分别进行指定：
>>>df3 = DataFrame({'lkey': ['b', 'b', 'a','c','a','a','b'], 'data1': range(7)}) >>>df4 = DataFrame({'rkey': ['a', 'b','d'], 'data2': range(3)}) >>>pd.merge(df3, df4, left_on='lkey', right_on='rkey')
>>>pd.merge(left, right, on='key1‘) >>>pd.merge(left, right, on='key1', suffixes=('_left', '_right'))
merge函数的参数
参数 left right how 说明 参与合并的左侧DataFrame 参与合并的右侧DataFrame “inner”、 “outer”、 “left”、 “right” 其中之一。默认为 “inner”
多对多连接产生的是行的笛卡尔积。由于 左边的DataFrame有3个“b”行，右边的有2 个，所以域终结果中就有6个“b”行。连接方式 只影响出现在结果中的键：
>>> pd.merge(df1, df2, how='inner')
9
合并数据集
要根据多个键进行合并，传入一个由列名组 成的列表即可：
>>>left= DataFrame({'key1': ['foo','foo','bar'], 'key2': ['one', 'two', 'one'],'lval': [1,2,3]}) >>>right = DataFrame({'key1': ['foo', 'foo', 'bar', 'bar'], 'key2': ['one', 'one', 'one', 'two'], 'lval': [4, 5, 6, 7]}) >>>pd.merge(left, right, on=['key1', 'key2'], how='outer')