原文：http://pandas.pydata.org/pandas-docs/stable/getting_started/index.html
这是对pandas的简短介绍，主要面向新用户。您可以在Cookbook中看到更复杂的食谱。通常，我们导入如下：
- 引入pandas和numpy模块
import pandas as pd
import numpy as np
一、对象创建
- 创建一个Series通过传递值的列表，让大熊猫创建一个默认的整数索引：
>>> s = pd.Series([1, 3, 5, np.nan, 6, 8])
>>> s
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
- DataFrame通过传递带有日期时间索引和标记列的NumPy数组来创建：
>>> dates = pd.date_range('20130101', periods=6)
>>> dates
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')
>>> df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
>>> df
A B C D
2013-01-01 0.745164 -1.071123 0.075098 -0.451948
2013-01-02 0.776631 -0.465462 0.272682 0.325622
2013-01-03 -0.103572 -0.291292 -0.845716 -0.698609
2013-01-04 0.655741 -0.731569 -0.727710 -1.113281
2013-01-05 -0.527080 -0.815579 -0.295161 -1.166199
2013-01-06 -1.717958 -1.077913 -0.416726 0.190645
- DataFrame通过传递可以转换为类似系列的对象的dict来创建。
>>> df2 = pd.DataFrame({'A': 1.,
'B': pd.Timestamp('20130102'),
'C': pd.Series(1, index=list(range(4)), dtype='float32'),
'D': np.array([3] * 4, dtype='int32'),
'E': pd.Categorical(["test", "train", "test", "train"]),
'F': 'foo'})
>>> df2
A B C D E F
0 1.0 2013-01-02 1.0 3 test foo
1 1.0 2013-01-02 1.0 3 train foo
2 1.0 2013-01-02 1.0 3 test foo
3 1.0 2013-01-02 1.0 3 train foo
结果的列DataFrame具有不同的 dtypes。
>>> df2.dtypes
A float64
B datetime64[ns]
C float32
D int32
E category
F object
dtype: object
二、查看数据
查看基础部分
1、查看前n行和后n行
>>> df.head() # df.head(n)查看数据框df的前n行数据，默认n=5
A B C D
2013-01-01 0.745164 -1.071123 0.075098 -0.451948
2013-01-02 0.776631 -0.465462 0.272682 0.325622
2013-01-03 -0.103572 -0.291292 -0.845716 -0.698609
2013-01-04 0.655741 -0.731569 -0.727710 -1.113281
2013-01-05 -0.527080 -0.815579 -0.295161 -1.166199
>>> df.tail(3) # df.tail(n)查看数据框df的后n行数据，默认n=5
A B C D
2013-01-04 0.655741 -0.731569 -0.727710 -1.113281
2013-01-05 -0.527080 -0.815579 -0.295161 -1.166199
2013-01-06 -1.717958 -1.077913 -0.416726 0.190645
2、查看索引和列标签
>>> df.index # 查看索引
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')
>>> df.columns # 查看列标签
Index(['A', 'B', 'C', 'D'], dtype='object')
3、DataFrame.to_numpy
DataFrame.to_numpy()函数将DataFrame数据转化为NumPy的基础数据格式。
注意：当DataFrame拥有不同数据类型的列时，它的操作可能比较耗时。这可归结为pandas和NumPy之间的根本差异：NumPy的数组只有一个dtype，而pandas的DataFrames每列都有一个dtype，当你使用DataFrame.to_numpy()时，pandas会找到可以容纳DataFrame中所有dtypes的NumPy dtype，这可能最终成为object，这需要将每个值都转换为Python对象，比较耗时。
>>> df.to_numpy() # 对于df，DataFrame的所有dtype都是浮点型数值，DataFrame.to_numpy()会很快
array([[ 0.74516421, -1.07112293, 0.07509773, -0.45194753],
[ 0.77663096, -0.46546163, 0.27268217, 0.32562184],
[-0.10357239, -0.29129193, -0.84571597, -0.69860938],
[ 0.65574123, -0.73156903, -0.72771026, -1.11328066],
[-0.52707953, -0.81557927, -0.29516127, -1.16619946],
[-1.71795821, -1.07791279, -0.41672553, 0.190645 ]])
>>>
>>> df2.to_numpy() # 对于df2，DataFrame具有多个不同dtypes，DataFrame.to_numpy()会比较耗时
array([[1.0, Timestamp('2013-01-02 00:00:00'), 1.0, 3, 'test', 'foo'],
[1.0, Timestamp('2013-01-02 00:00:00'), 1.0, 3, 'train', 'foo'],
[1.0, Timestamp('2013-01-02 00:00:00'), 1.0, 3, 'test', 'foo'],
[1.0, Timestamp('2013-01-02 00:00:00'), 1.0, 3, 'train', 'foo']],
dtype=object)
注意：DataFrame.to_numpy()输出的结果中不包含索引和列标签
4、查看数据的统计摘要
>>> df.describe()
A B C D
count 6.000000 6.000000 6.000000 6.000000
mean -0.028512 -0.742156 -0.322922 -0.485628
std 0.982188 0.318212 0.438155 0.635467
min -1.717958 -1.077913 -0.845716 -1.166199
25% -0.421203 -1.007237 -0.649964 -1.009613
50% 0.276084 -0.773574 -0.355943 -0.575278
75% 0.722808 -0.531988 -0.017467 0.029997
max 0.776631 -0.291292 0.272682 0.325622
5、转置
df.T
2013-01-01 2013-01-02 2013-01-03 2013-01-04 2013-01-05 2013-01-06
A 0.745164 0.776631 -0.103572 0.655741 -0.527080 -1.717958
B -1.071123 -0.465462 -0.291292 -0.731569 -0.815579 -1.077913
C 0.075098 0.272682 -0.845716 -0.727710 -0.295161 -0.416726
D -0.451948 0.325622 -0.698609 -1.113281 -1.166199 0.190645
6、按轴排序
>>> # axis=1是按照列标签排序，默认axis=0是按照索引排序
>>> # ascending=False是降序排序，默认ascending=True是按照升序排序
>>> df.sort_index(axis=1, ascending=False)
D C B A
2013-01-01 -0.451948 0.075098 -1.071123 0.745164
2013-01-02 0.325622 0.272682 -0.465462 0.776631
2013-01-03 -0.698609 -0.845716 -0.291292 -0.103572
2013-01-04 -1.113281 -0.727710 -0.731569 0.655741
2013-01-05 -1.166199 -0.295161 -0.815579 -0.527080
2013-01-06 0.190645 -0.416726 -1.077913 -1.71795
7、按值排序
>>> # by: 按照值排序。如果axis=0,by是列标签名；axis=1,by是索引名
>>> # ascending: 升降序排序
>>> df.sort_values(by='B', axis=0, ascending=False)
A B C D
2013-01-03 -0.103572 -0.291292 -0.845716 -0.698609
2013-01-02 0.776631 -0.465462 0.272682 0.325622
2013-01-04 0.655741 -0.731569 -0.727710 -1.113281
2013-01-05 -0.527080 -0.815579 -0.295161 -1.166199
2013-01-01 0.745164 -1.071123 0.075098 -0.451948
2013-01-06 -1.717958 -1.077913 -0.416726 0.190645
三、选择数据
注意：虽然用于选择和设置的标准Python/Numpy表达式非常直观并且对于交互式工作非常方便，但对于生产代码，我们建议使用优化的pandas数据访问方法 .at，.iat，.loc和.iloc。
更高级索引文档查看 Indexing and Selecting Data 和 MultiIndex / Advanced Indexing.
1、使用中括号选择数据
>>> df['A'] # 选择一个列,等价于df.A,返回一个Series
2013-01-01 0.847323
2013-01-02 -0.638694
2013-01-03 -0.859098
2013-01-04 1.425489
2013-01-05 -1.398528
2013-01-06 1.047252
Freq: D, Name: A, dtype: float64
>>> df[0:3] # 选择一个行,等价于df['2013-01-01':'2013-01-03']
A B C D
2013-01-01 0.847323 1.242429 -0.339945 -1.625278
2013-01-02 -0.638694 1.303991 1.299221 0.980656
2013-01-03 -0.859098 -0.858955 -0.492993 -0.236749
2、按照标签选择数据
更多信息查看这里。 用法：df.loc[行标签, 列标签]
>>> df.loc[:, ['A','C']] # 选择A、C两列数据
A C
2013-01-01 0.847323 -0.339945
2013-01-02 -0.638694 1.299221
2013-01-03 -0.859098 -0.492993
2013-01-04 1.425489 -0.460793
2013-01-05 -1.398528 0.309689
2013-01-06 1.047252 -1.635620
>>> df.loc[:, 'A':'C'] # 选择A到C列数据
A B C
2013-01-01 0.847323 1.242429 -0.339945
2013-01-02 -0.638694 1.303991 1.299221
2013-01-03 -0.859098 -0.858955 -0.492993
2013-01-04 1.425489 0.687216 -0.460793
2013-01-05 -1.398528 1.607066 0.309689
2013-01-06 1.047252 0.131745 -1.635620
>>> df.loc[dates[0],] # 按照行标签选择行2013-01-01的数据
A 0.847323
B 1.242429
C -0.339945
D -1.625278
Name: 2013-01-01 00:00:00, dtype: float64
>>> df.loc[dates[0:2],'A':'C'] # 选择'2013-01-01'到'2013-01-02',A到C列的数据
A B C
2013-01-01 0.847323 1.242429 -0.339945
2013-01-02 -0.638694 1.303991 1.299221
>>> df.loc[dates[0],'C'] # 选择第一行C列的数，单一个数
-0.3399446074291146
>>> df.at[dates[0],'C'] # 等价于df.loc[dates[0],'C']，但是df.at速度更快，只能获取一个数
-0.3399446074291146
3、按照位置选择数据
更多信息查看这里。 用法：df.iloc[行位置, 列位置]
>>> df.iloc[1] # 按照行索引，选取第2行数据，等价于df.iloc[1,:]
A -0.638694
B 1.303991
C 1.299221
D 0.980656
Name: 2013-01-02 00:00:00, dtype: float64
>>> df.iloc[0:2, [0,1,3]] # 选取第1、2行，第1、2、4列数据
A B D
2013-01-01 0.847323 1.242429 -1.625278
2013-01-02 -0.638694 1.303991 0.980656
>>> df.iloc[1,0] # 选取第2行，第1列数据
-0.638694268332326
>>> df.iat[1,0] # 等价于df.iloc[1,0]，但是df.iat速度更快，只能获取一个数
-0.638694268332326
4、布尔索引
- 使用单个列的值来选择数据。
>>> df[df.A > 0]
A B C D
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
- 从满足布尔条件的DataFrame中选择值。
>>> df[df > 0]
A B C D
2013-01-01 0.469112 NaN NaN NaN
2013-01-02 1.212112 NaN 0.119209 NaN
2013-01-03 NaN NaN NaN 1.071804
2013-01-04 0.721555 NaN NaN 0.271860
2013-01-05 NaN 0.567020 0.276232 NaN
2013-01-06 NaN 0.113648 NaN 0.524988
- 使用isin()过滤方法：
>>> df2 = df.copy()
>>> df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
>>> df2
A B C D E
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 one
2013-01-02 1.212112 -0.173215 0.119209 -1.044236 one
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two
2013-01-04 0.721555 -0.706771 -1.039575 0.271860 three
2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four
2013-01-06 -0.673690 0.113648 -1.478427 0.524988 three
>>> df2[df2['E'].isin(['two', 'four'])]
A B C D E
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two
2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four
5、设置值
- 设置新列会自动根据索引对齐数据。
>>> s1 = pd.Series([1, 2, 3, 4, 5, 6], index=pd.date_range('20130102', periods=6))
>>> s1
2013-01-02 1
2013-01-03 2
2013-01-04 3
2013-01-05 4
2013-01-06 5
2013-01-07 6
Freq: D, dtype: int64
>>> df['F'] = s1
>>> df
A B C D F
2013-01-01 0.147348 1.196578 -0.830143 -0.819528 NaN
2013-01-02 -0.323415 0.273535 0.591451 -0.455048 1.0
2013-01-03 -0.915444 1.683675 -1.005351 0.036724 2.0
2013-01-04 -0.133637 0.604580 -1.344744 0.654401 3.0
2013-01-05 1.631007 0.524544 -1.103851 -0.834705 4.0
2013-01-06 -1.668588 1.298758 -1.557362 -1.177257 5.0
- 按标签设置值：
>>> df.at[dates[0], 'A'] = 0
- 按位置设置值：
>>> df.iat[0, 1] = 0
- 通过使用NumPy数组进行设置：
>>> df.loc[:, 'D'] = np.array([5] * len(df))
- 先前设置操作的结果:
>>> df
A B C D F
2013-01-01 0.000000 0.000000 -0.830143 5 NaN
2013-01-02 -0.323415 0.273535 0.591451 5 1.0
2013-01-03 -0.915444 1.683675 -1.005351 5 2.0
2013-01-04 -0.133637 0.604580 -1.344744 5 3.0
2013-01-05 1.631007 0.524544 -1.103851 5 4.0
2013-01-06 -1.668588 1.298758 -1.557362 5 5.0
四、缺失值处理
pandas主要使用该值np.nan来表示缺失的数据。默认情况下，它不包含在计算中。请参阅缺失数据部分。 - 重建索引允许您更改/添加/删除指定轴上的索引。这将返回数据的副本。
>>> df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
>>> df1.iloc[0:2, -1] = 1
>>> df1
A B C D F E
2013-01-01 0.000000 0.000000 -0.830143 5 NaN 1.0
2013-01-02 -0.323415 0.273535 0.591451 5 1.0 1.0
2013-01-03 -0.915444 1.683675 -1.005351 5 2.0 NaN
2013-01-04 -0.133637 0.604580 -1.344744 5 3.0 NaN
- 删除任何缺少数据的行：
>>> df1.dropna(how='any')
A B C D F E
2013-01-02 -0.323415 0.273535 0.591451 5 1.0 1.0
- 填写缺失的数据：
>>> df1.fillna(value=5)
A B C D F E
2013-01-01 0.000000 0.000000 -0.830143 5 5.0 1.0
2013-01-02 -0.323415 0.273535 0.591451 5 1.0 1.0
2013-01-03 -0.915444 1.683675 -1.005351 5 2.0 5.0
2013-01-04 -0.133637 0.604580 -1.344744 5 3.0 5.0
- 获取值所在的布尔掩码nan
>>> pd.isna(df1)
A B C D F E
2013-01-01 False False False False True False
2013-01-02 False False False False False False
2013-01-03 False False False False False True
2013-01-04 False False False False False True