# 量化分析师的Python日记【第5天：数据处理的瑞士军刀pandas】
> 来源：https://uqer.io/community/share/54ffd96ef9f06c276f651aac
## 第一篇：基本数据结构介绍
## 一、Pandas介绍
终于写到了作者最想介绍，同时也是Python在数据处理方面功能最为强大的扩展模块了。在处理实际的金融数据时，一个条数据通常包含了多种类型的数据，例如，股票的代码是字符串，收盘价是浮点型，而成交量是整型等。在C++中可以实现为一个给定结构体作为单元的容器，如向量（`vector`，C++中的特定数据结构）。在Python中，`pandas`包含了高级的数据结构`Series`和`DataFrame`，使得在Python中处理数据变得非常方便、快速和简单。
`pandas`不同的版本之间存在一些不兼容性，为此，我们需要清楚使用的是哪一个版本的`pandas`。现在我们就查看一下量化实验室的`pandas`版本：
```py
import pandas as pd
pd.__version__
'0.14.1'
```
`pandas`主要的两个数据结构是`Series`和`DataFrame`，随后两节将介绍如何由其他类型的数据结构得到这两种数据结构，或者自行创建这两种数据结构，我们先导入它们以及相关模块：
```py
import numpy as np
from pandas import Series, DataFrame
```
## 二、Pandas数据结构：`Series`
从一般意义上来讲，`Series`可以简单地被认为是一维的数组。`Series`和一维数组最主要的区别在于`Series`类型具有索引（`index`），可以和另一个编程中常见的数据结构哈希（Hash）联系起来。
### 2.1 创建`Series`
创建一个`Series`的基本格式是`s = Series(data, index=index, name=name)`，以下给出几个创建`Series`的例子。首先我们从数组创建`Series`：
```py
a = np.random.randn(5)
print "a is an array:"
print a
s = Series(a)
print "s is a Series:"
print s
a is an array:
[-1.24962807 -0.85316907 0.13032511 -0.19088881 0.40475505]
s is a Series:
0 -1.249628
1 -0.853169
2 0.130325
3 -0.190889
4 0.404755
dtype: float64
```
可以在创建`Series`时添加`index`，并可使用`Series.index`查看具体的`index`。需要注意的一点是，当从数组创建`Series`时，若指定`index`，那么`index`长度要和`data`的长度一致：
```py
s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
print s
s.index
a 0.509906
b -0.764549
c 0.919338
d -0.084712
e 1.896407
dtype: float64
Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')
```
创建`Series`的另一个可选项是`name`，可指定`Series`的名称，可用`Series.name`访问。在随后的`DataFrame`中，每一列的列名在该列被单独取出来时就成了`Series`的名称：
```py
s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'], name='my_series')
print s
print s.name
a -1.898245
b 0.172835
c 0.779262
d 0.289468
e -0.947995
Name: my_series, dtype: float64
my_series
```
`Series`还可以从字典（`dict`）创建：
```py
d = {'a': 0., 'b': 1, 'c': 2}
print "d is a dict:"
print d
s = Series(d)
print "s is a Series:"
print s
d is a dict:
{'a': 0.0, 'c': 2, 'b': 1}
s is a Series:
a 0
b 1
c 2
dtype: float64
```
让我们来看看使用字典创建`Series`时指定`index`的情形（`index`长度不必和字典相同）：
```py
Series(d, index=['b', 'c', 'd', 'a'])
b 1
c 2
d NaN
a 0
dtype: float64
```
我们可以观察到两点：一是字典创建的`Series`，数据将按`index`的顺序重新排列；二是`index`长度可以和字典长度不一致，如果多了的话，`pandas`将自动为多余的`index`分配`NaN`（not a number，`pandas`中数据缺失的标准记号)，当然`index`少的话就截取部分的字典内容。
如果数据就是一个单一的变量，如数字4，那么`Series`将重复这个变量：
```py
Series(4., index=['a', 'b', 'c', 'd', 'e'])
a 4
b 4
c 4
d 4
e 4
dtype: float64
```
### 2.2 `Series`数据的访问
访问`Series`数据可以和数组一样使用下标，也可以像字典一样使用索引，还可以使用一些条件过滤：
```py
s = Series(np.random.randn(10),index=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j'])
s[0]
1.4328106520571824
```
```py
s[:2]
a 1.432811
b 0.120681
dtype: float64
```
```py
s[[2,0,4]]
c 0.578146
a 1.432811
e 1.327594
dtype: float64
```
```py
s[['e', 'i']]
e 1.327594
i -0.634347
dtype: float64
```
```py
s[s > 0.5]
a 1.432811
c 0.578146
e 1.327594
g 1.850783
dtype: float64
```
```py
'e' in s
True
```
## 三、Pandas数据结构：`DataFrame`
在使用`DataFrame`之前，我们说明一下`DataFrame`的特性。`DataFrame`是将数个`Series`按列合并而成的二维数据结构，每一列单独取出来是一个`Series`，这和SQL数据库中取出的数据是很类似的。所以，按列对一个`DataFrame`进行处理更为方便，用户在编程时注意培养按列构建数据的思维。`DataFrame`的优势在于可以方便地处理不同类型的列，因此，就不要考虑如何对一个全是浮点数的`DataFrame`求逆之类的问题了，处理这种问题还是把数据存成NumPy的`matrix`类型比较便利一些。
### 3.1 创建`DataFrame`
首先来看如何从字典创建`DataFrame`。`DataFrame`是一个二维的数据结构，是多个`Series`的集合体。我们先创建一个值是`Series`的字典，并转换为`DataFrame`：
```py
d = {'one': Series([1., 2., 3.], index=['a', 'b', 'c']), 'two': Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
df = DataFrame(d)
print df
one two
a 1 1
b 2 2
c 3 3
d NaN 4
```
可以指定所需的行和列，若字典中不含有对应的元素，则置为`NaN`：
```py
df = DataFrame(d, index=['r', 'd', 'a'], columns=['two', 'three'])
print df
two three
r NaN NaN
d 4 NaN
a 1 NaN
```
可以使用`dataframe.index`和`dataframe.columns`来查看`DataFrame`的行和列，`dataframe.values`则以数组的形式返回`DataFrame`的元素：
```py
print "DataFrame index:"
print df.index
print "DataFrame columns:"
print df.columns
print "DataFrame values:"
print df.values
DataFrame index:
Index([u'alpha', u'beta', u'gamma', u'delta', u'eta'], dtype='object')
DataFrame columns:
Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')
DataFrame values:
[[ 0. 0. 0. 0. 0.]
[ 1. 2. 3. 4. 5.]
[ 2. 4. 6. 8. 10.]
[ 3. 6. 9. 12. 15.]
[ 4. 8. 12. 16. 20.]]
```
`DataFrame`也可以从值是数组的字典创建，但是各个数组的长度需要相同：
```py
d = {'one': [1., 2., 3., 4.], 'two': [4., 3., 2., 1.]}
df = DataFrame(d, index=['a', 'b', 'c', 'd'])
print df
one two
a 1 4
b 2 3
c 3 2
d 4 1
```
值非数组时，没有这一限制，并且缺失值补成`NaN`：
```py
d= [{'a': 1.6, 'b': 2}, {'a': 3, 'b': 6, 'c': 9}]
df = DataFrame(d)
print df
a b c
0 1.6 2 NaN
1 3.0 6 9
```
在实际处理数据时，有时需要创建一个空的`DataFrame`，可以这么做：
```py
df = DataFrame()
print df
Empty DataFrame
Columns: []
Index: []
```
另一种创建`DataFrame`的方法十分有用，那就是使用`concat`函数基于`Series`或者`DataFrame`创建一个`DataFrame`
```py
a = Series(range(5))
b = Series(np.linspace(4, 20, 5))
df = pd.concat([a, b], axis=1)
print df
0 1
0 0 4
1 1 8
2 2 12
3 3 16
4 4 20
```
其中的`axis=1`表示按列进行合并，`axis=0`表示按行合并，并且，`Series`都处理成一列，所以这里如果选`axis=0`的话，将得到一个`10×1`的`DataFrame`。下面这个例子展示了如何按行合并`DataFrame`成一个大的`DataFrame`：
```py
df = DataFrame()
index = ['alpha', 'beta', 'gamma', 'delta', 'eta']
for i in range(5):
a = DataFrame([np.linspace(i, 5*i, 5)], index=[index[i]])
df = pd.concat([df, a], axis=0)
print df
0 1 2 3 4
alpha 0 0 0 0 0
beta 1 2 3 4 5
gamma 2 4 6 8 10
delta 3 6 9 12 15
eta 4 8 12 16 20
```
### 3.2 `DataFrame`数据的访问
首先，再次强调一下`DataFrame`是以列作为操作的基础的，全部操作都想象成先从`DataFrame`里取一列，再从这个`Series`取元素即可。可以用`datafrae.column_name`选取列，也可以使用`dataframe[]`操作选取列，我们可以马上发现前一种方法只能选取一列，而后一种方法可以选择多列。若`DataFrame`没有列名，`[]`可以使用非负整数，也就是“下标”选取列；若有列名，则必须使用列名选取，另外`datafrae.column_name`在没有列名的时候是无效的：
```py
print df[1]
print type(df[1])
df.columns = ['a', 'b', 'c', 'd', 'e']
print df['b']
print type(df['b'])
print df.b
print type(df.b)
print df[['a', 'd']]
print type(df[['a', 'd']])
alpha 0
beta 2
gamma 4
delta 6
eta 8
Name: 1, dtype: float64
<class 'pandas.core.series.Series'>
alpha 0
beta 2
gamma 4
delta 6
eta 8
Name: b, dtype: float64
<class 'pandas.core.series.Series'>
alpha 0
beta 2
gamma 4
delta 6
eta 8
Name: b, dtype: float64
<class 'pandas.core.series.Series'>
a d
alpha 0 0
beta 1 4
gamma 2 8
delta 3 12
eta 4 16
<class 'pandas.core.frame.DataFrame'>
```
以上代码使用了`dataframe.columns`为`DataFrame`赋列名，并且我们看到单独取一列出来，其数据结构显示的是`Series`，取两列及两列以上的结果仍然是`DataFrame`。访问特定的元素可以如`Series`一样使用下标或者是索引:
```py
print df['b'][2]
print df['b']['gamma']
4.0
4.0
```
若需要选取行，可以使用`dataframe.iloc`按下标选取，或者使用`dataframe.loc`按索引选取：
```py
print df.iloc[1]
print df.loc['beta']
a 1
b 2
c 3
d 4
e 5
Name: beta, dtype: float64
a 1
b 2
c 3
d 4
e 5
Name: beta, dtype: float64
```
选取行还可以使用切片的方式或者是布尔类型的向量：
```py
print "Selecting by slices:"
print df[1:3]
bool_vec = [True, False, True, True, False]
print "Selecting by boolean vector:"
print df[bool_vec]
Selecting by slices:
a b c d e
beta 1 2 3 4 5
gamma 2 4 6 8 10
Selecting by boolean vector:
a b c d e
alpha 0 0 0 0 0
gamma 2 4 6 8 10
delta 3 6 9 12 15
```
行列组合起来选取数据：
```py
print df[['b', 'd']].iloc[[1, 3]]
print df.iloc[[1, 3]][['b', 'd']]
print df[['b', 'd']].loc[['beta', 'delta']]
print df.loc[['beta', 'delta']][['b', 'd']]
b d
beta 2 4
delta 6 12
b d
beta 2 4
delta 6 12
b d
beta 2 4
delta 6 12
b d
beta 2 4
delta 6 12
```
如果不是需要访问特定行列，而只是某个特殊位置的元素的话，`dataframe.at`和`dataframe.iat`是最快的方式，它们分别用于使用索引和下标进行访问：
```py
print df.iat[2, 3]
print df.at['gamma', 'd']
8.0
8.0
```
`dataframe.ix`可以混合使用索引和下标进行访问，唯一需要注意的地方是行列内部需要一致，不可以同时使用索引和标签访问行或者列，不然的话，将会得到意外的结果：
```py
print df.ix['gamma', 4]
print df.ix[['delta', 'gamma'], [1, 4]]
print df.ix[[1, 2], ['b', 'e']]
print "Unwanted result:"
print df.ix[['beta', 2], ['b', 'e']]
print df.ix[[1, 2], ['b', 4]]
10.0
b e
delta 6 15
gamma 4 10
b e
beta 2 5
gamma 4 10
Unwanted result:
b e
beta 2 5
2 NaN NaN
b 4
beta 2 NaN
gamma 4 NaN
```
- Python 量化交易教程
- 第一部分 新手入门
- 一 量化投资视频学习课程
- 二 Python 手把手教学
- 量化分析师的Python日记【第1天：谁来给我讲讲Python？】
- 量化分析师的Python日记【第2天：再接着介绍一下Python呗】
- 量化分析师的Python日记【第3天：一大波金融Library来袭之numpy篇】
- 量化分析师的Python日记【第4天：一大波金融Library来袭之scipy篇】
- 量化分析师的Python日记【第5天：数据处理的瑞士军刀pandas】
- 量化分析师的Python日记【第6天：数据处理的瑞士军刀pandas下篇
- 量化分析师的Python日记【第7天：Q Quant 之初出江湖】
- 量化分析师的Python日记【第8天 Q Quant兵器谱之函数插值】
- 量化分析师的Python日记【第9天 Q Quant兵器谱之二叉树】
- 量化分析师的Python日记【第10天 Q Quant兵器谱 -之偏微分方程1】
- 量化分析师的Python日记【第11天 Q Quant兵器谱之偏微分方程2】
- 量化分析师的Python日记【第12天：量化入门进阶之葵花宝典：因子如何产生和回测】
- 量化分析师的Python日记【第13天 Q Quant兵器谱之偏微分方程3】
- 量化分析师的Python日记【第14天：如何在优矿上做Alpha对冲模型】
- 量化分析师的Python日记【第15天：如何在优矿上搞一个wealthfront出来】
- 第二部分 股票量化相关
- 一 基本面分析
- 1.1 alpha 多因子模型
- 破解Alpha对冲策略——观《量化分析师Python日记第14天》有感
- 熔断不要怕， alpha model 为你保驾护航！
- 寻找 alpha 之: alpha 设计
- 1.2 基本面因子选股
- Porfolio（现金比率+负债现金+现金保障倍数）+市盈率
- ROE选股指标
- 成交量因子
- ROIC&cashROIC
- 【国信金工】资产周转率选股模型
- 【基本面指标】Cash Cow
- 量化因子选股——净利润／营业总收入
- 营业收入增长率+市盈率
- 1.3 财报阅读 • [米缸量化读财报] 资产负债表-投资相关资产
- 1.4 股东分析
- 技术分析入门 【2】 —— 大家抢筹码（06年至12年版）
- 技术分析入门 【2】 —— 大家抢筹码（06年至12年版）— 更新版
- 谁是中国A股最有钱的自然人
- 1.5 宏观研究
- 【干货包邮】手把手教你做宏观择时
- 宏观研究：从估值角度看当前市场
- 追寻“国家队”的足迹
- 二 套利
- 2.1 配对交易
- HS300ETF套利（上）
- 【统计套利】配对交易
- 相似公司股票搬砖
- Paired trading
- 2.2 期现套利 • 通过股指期货的期现差与 ETF 对冲套利
- 三 事件驱动
- 3.1 盈利预增
- 盈利预增事件
- 事件驱动策略示例——盈利预增
- 3.2 分析师推荐 • 分析师的金手指？
- 3.3 牛熊转换
- 历史总是相似 牛市还在延续
- 历史总是相似 牛市已经见顶？
- 3.4 熔断机制 • 股海拾贝之 [熔断错杀股]
- 3.5 暴涨暴跌 • [实盘感悟] 遇上暴跌我该怎么做？
- 3.6 兼并重组、举牌收购 • 宝万战-大戏开幕
- 四 技术分析
- 4.1 布林带
- 布林带交易策略
- 布林带回调系统-日内
- Conservative Bollinger Bands
- Even More Conservative Bollinger Bands
- Simple Bollinger Bands
- 4.2 均线系统
- 技术分析入门 —— 双均线策略
- 5日线10日线交易策略
- 用5日均线和10日均线进行判断 --- 改进版
- macross
- 4.3 MACD
- Simple MACD
- MACD quantization trade
- MACD平滑异同移动平均线方法
- 4.4 阿隆指标 • 技术指标阿隆（ Aroon ）全解析
- 4.5 CCI • CCI 顺势指标探索
- 4.6 RSI
- 重写 rsi
- RSI指标策略
- 4.7 DMI • DMI 指标体系的构建及简单应用
- 4.8 EMV • EMV 技术指标的构建及应用
- 4.9 KDJ • KDJ 策略
- 4.10 CMO
- CMO 策略模仿练习 1
- CMO策略模仿练习2
- [技术指标] CMO
- 4.11 FPC • FPC 指标选股
- 4.12 Chaikin Volatility
- 嘉庆离散指标测试
- 4.13 委比 • 实时计算委比
- 4.14 封单量
- 按照封单跟流通股本比例排序，剔除6月上市新股，前50
- 涨停股票封单统计
- 实时计算涨停板股票的封单资金与总流通市值的比例
- 4.15 成交量 • 决战之地， IF1507 ！
- 4.16 K 线分析 • 寻找夜空中最亮的星
- 五 量化模型
- 5.1 动量模型
- Momentum策略
- 【小散学量化】-2-动量模型的简单实践
- 一个追涨的策略(修正版)
- 动量策略（momentum driven）
- 动量策略（momentum driven）——修正版
- 最经典的Momentum和Contrarian在中国市场的测试
- 最经典的Momentum和Contrarian在中国市场的测试-yanheven改进
- ［策略］基于胜率的趋势交易策略
- 策略探讨（更新）：价量结合+动量反转
- 反向动量策略（reverse momentum driven）
- 轻松跑赢大盘 - 主题Momentum策略
- Contrarian strategy
- 5.2 Joseph Piotroski 9 F-Score Value Investing Model · 基本面选股系统：Piotroski F-Score ranking system
- 5.3 SVR · 使用SVR预测股票开盘价 v1.0
- 5.4 决策树、随机树
- 决策树模型（固定模型）
- 基于Random Forest的决策策略
- 5.5 钟摆理论 · 钟摆理论的简单实现——完美躲过股灾和精准抄底
- 5.6 海龟模型
- simple turtle
- 侠之大者 一起赚钱
- 5.7 5217 策略 · 白龙马的新手策略
- 5.8 SMIA · 基于历史状态空间相似性匹配的行业配置 SMIA 模型—取交集
- 5.9 神经网络
- 神经网络交易的训练部分
- 通过神经网络进行交易
- 5.10 PAMR · PAMR ： 基于均值反转的投资组合选择策略 - 修改版
- 5.11 Fisher Transform · Using Fisher Transform Indicator
- 5.12 分型假说， Hurst 指数 · 分形市场假说，一个听起来很美的假说
- 5.13 变点理论 · 变点策略初步
- 5.14 Z-score Model
- Zscore Model Tutorial
- 信用债风险模型初探之：Z-Score Model
- user-defined package
- 5.15 机器学习 · Machine Learning 学习笔记（一） by OTreeWEN
- 5.16 DualTrust 策略和布林强盗策略
- 5.17 卡尔曼滤波
- 5.18 LPPL anti-bubble model
- 今天大盘熔断大跌，后市如何—— based on LPPL anti-bubble model
- 破解股市泡沫之谜——对数周期幂率（LPPL）模型
- 六 大数据模型
- 6.1 市场情绪分析
- 通联情绪指标策略
- 互联网+量化投资 大数据指数手把手
- 6.2 新闻热点
- 如何使用优矿之“新闻热点”？
- 技术分析【3】—— 众星拱月，众口铄金?
- 七 排名选股系统
- 7.1 小市值投资法
- 学习笔记：可模拟（小市值+便宜 的修改版）
- 市值最小300指数
- 流通市值最小股票（新筛选器版）
- 持有市值最小的10只股票
- 10% smallest cap stock
- 7.2 羊驼策略
- 羊驼策略
- 羊驼反转策略（修改版）
- 羊驼反转策略
- 我的羊驼策略，选5只股无脑轮替
- 7.3 低价策略
- 专捡便宜货(新版quartz)
- 策略原理
- 便宜就是 alpha
- 八 轮动模型
- 8.1 大小盘轮动 · 新手上路 -- 二八ETF择时轮动策略2.0
- 8.2 季节性策略
- Halloween Cycle
- Halloween cycle 2
- 夏买电，东买煤？
- 历史的十一月板块涨幅
- 8.3 行业轮动
- 银行股轮动
- 申万二级行业在最近1年、3个月、5个交易日的涨幅统计
- 8.4 主题轮动
- 快速研究主题神器
- recommendation based on subject
- strategy7: recommendation based on theme
- 板块异动类
- 风险因子（离散类）
- 8.5 龙头轮动
- Competitive Securities
- Market Competitiveness
- 主题龙头类
- 九 组合投资
- 9.1 指数跟踪 · [策略] 指数跟踪低成本建仓策略
- 9.2 GMVP · Global Minimum Variance Portfolio (GMVP)
- 9.3 凸优化 · 如何在 Python 中利用 CVXOPT 求解二次规划问题
- 十 波动率
- 10.1 波动率选股 · 风平浪静 风起猪飞
- 10.2 波动率择时
- 基于 VIX 指数的择时策略
- 简单低波动率指数
- 10.3 Arch/Garch 模型 · 如何使用优矿进行 GARCH 模型分析
- 十一 算法交易
- 11.1 VWAP · Value-Weighted Average Price (VWAP)
- 十二 中高频交易
- 12.1 order book 分析 · 基于高频 limit order book 数据的短程价格方向预测—— via multi-class SVM
- 12.2 日内交易 · 大盘日内走势 (for 择时)
- 十三 Alternative Strategy
- 13.1 易经、传统文化 · 老黄历诊股
- 第三部分 基金、利率互换、固定收益类
- 一 分级基金
- “优矿”集思录——分级基金专题
- 基于期权定价的分级基金交易策略
- 基于期权定价的兴全合润基金交易策略
- 二 基金分析
- Alpha 基金“黑天鹅事件” -- 思考以及原因
- 三 债券
- 债券报价中的小陷阱
- 四 利率互换
- Swap Curve Construction
- 中国 Repo 7D 互换的例子
- 第四部分 衍生品相关
- 一 期权数据
- 如何获取期权市场数据快照
- 期权高频数据准备
- 二 期权系列
- [ 50ETF 期权] 1. 历史成交持仓和 PCR 数据
- 【50ETF期权】 2. 历史波动率
- 【50ETF期权】 3. 中国波指 iVIX
- 【50ETF期权】 4. Greeks 和隐含波动率微笑
- 【50ETF期权】 5. 日内即时监控 Greeks 和隐含波动率微笑
- 【50ETF期权】 5. 日内即时监控 Greeks 和隐含波动率微笑
- 三 期权分析
- 【50ETF期权】 期权择时指数 1.0
- 每日期权风险数据整理
- 期权头寸计算
- 期权探秘1
- 期权探秘2
- 期权市场一周纵览
- 基于期权PCR指数的择时策略
- 期权每日成交额PC比例计算
- 四 期货分析
- 【前方高能！】Gifts from Santa Claus——股指期货趋势交易研究