# 互联网+量化投资 大数据指数手把手
> 来源：https://uqer.io/community/share/55263359f9f06c8f3390457b
## 策略简介
从公司基本面、市场驱动指标、市场情绪等多维度验证拥有“天时、地利、人和”的大牛股，让每个人都能生产符合自己投资理念的大数据指数。实现中参考了水星社区中的牛人@吴宇笛的因子计分卡策略。
本策略的参数如下：
+ 起始日期： 2014年1月1日
+ 结束日期： 2016年5月18日
+ 股票池： 上证50
+ 业绩基准： 上证50
+ 起始资金： 100000元
+ 调仓周期： 1个月
策略参数获取：
+ 十日移动均线(MA10) 60日移动均线(MA60) 资产回报率(ROA) 市盈率(PE) 对数市值(LCAP) 波幅中位数(DHILO) 净利润/营业总收入(NPToTOR) 产权比率(DebtEquityRatio) 营业利润同比增长(OperatingProfitGrowRate) 总资产同比增长(TotalAssetGrowRate) 均可以通过`DataAPI.MktStockFactorsDateRangeGet`获得
+ 市场新闻热度指标可以通过`DataAPI.NewsHeatIndexGet`获得
+ 市场情绪指标可以通过`DataAPI.NewsSentimentIndexGet`获得；与新闻热度指标一样，都是DataYes利用大数据分析从海量关联新闻中提取出来的
## 调仓策略
(1) 对每只股票获取之前的120个交易日的收盘价，计算20日累计收益，共得到100个收益率数据
(2) 获取该股票同期的100个交易日的基本面、市场驱动指标和市场热度、情绪指标，分别计算均值、标准差，并进行中心化
(3) 以该股票20日累计收益率为因变量，基本面、市场驱动指标和市场热度、情绪指标为自变量进行[弹性网 ( ElasticNet ) 回归](http://scikit-learn.org/stable/modules/linear_model.html)
(4) 获取该股票前一日的基本面、市场驱动指标和市场热度、情绪指标
(5) 对该股票前一日的基本面、市场驱动指标和市场热度、情绪指标，依据前100个交易日的均值和标准差，置相对大小为 （前一日值 - 均值）/ 标准差 并四舍五入，作为在该项因子上的得分
(6) 根据之前计算出的权重对这些得分进行加总，得到该股票的得分，并以此为指数进行股票筛选
(7) 根据指数得分排序，选取总分最高的前五支股票作为买入列表
(8) 根据买入列表调仓
```py
import pandas as pd
import numpy as np
import statsmodels.api as sm
import statsmodels.regression.linear_model as lm
from sklearn.linear_model import ElasticNet
from CAL.PyCAL import *
used_factors = ['MA10', 'MA60', 'ROA', 'PE', 'LCAP', 'DHILO', 'DebtEquityRatio', 'OperatingProfitGrowRate', 'TotalAssetGrowRate', 'NPToTOR']
#used_factors = ['ASSI', 'EBITToTOR', 'ETP5', 'MA60', 'HSIGMA', 'PE', 'VOL60', 'SUE', 'DAVOL20', 'TotalAssetGrowRate']
def StockFactorsGet(universe, trading_days):
data_all = {}
for i,stock in enumerate(universe):
try:
data = DataAPI.MktStockFactorsDateRangeGet(secID = stock, beginDate = trading_days[0], endDate = trading_days[-1], field = ['tradeDate'] + used_factors)
# data['tradeDate'] = pd.to_datetime(data['tradeDate'])
except Exception, e:
print e
try:
news_data = DataAPI.NewsHeatIndexGet(secID = stock, beginDate = trading_days[0], endDate = trading_days[-1])
heatIndex = news_data.set_index('newsPublishDate').sort_index().reset_index()[['heatIndex','newsPublishDate']]
heatIndex['flag'] = heatIndex['newsPublishDate'].apply(lambda x: True if x in data.tradeDate.values else False)
heatIndex = heatIndex[heatIndex.flag].reset_index()
data = pd.merge(data, heatIndex, how = 'inner', left_index = 'tradeDate', right_index = 'newsPublishDate').drop(['index','newsPublishDate','flag'], 1)
except Exception, e:
data['heatIndex'] = 0
try:
emotion_data = DataAPI.NewsSentimentIndexGet(secID = stock, beginDate = trading_days[0], endDate = trading_days[-1])
emotionIndex = emotion_data.set_index('newsPublishDate').sort_index().reset_index()[['sentimentIndex','newsPublishDate']]
emotionIndex['flag'] = emotionIndex['newsPublishDate'].apply(lambda x: True if x in data.tradeDate.values else False)
emotionIndex = emotionIndex[emotionIndex.flag].reset_index()
data = pd.merge(data, emotionIndex, how = 'inner', left_index = 'tradeDate', right_index = 'newsPublishDate').drop(['index','newsPublishDate','flag'], 1)
except Exception, e:
# print 'emotion', stock, e
data['sentimentIndex'] = 0
data['news_emotion'] = data['heatIndex'] * data['sentimentIndex']
data_all[stock] = data
return data_all
def StockRegDataGet(stock, trading_days, factors, shift = 20):
start = trading_days[0]
end = trading_days[-1]
data = factors[(factors.tradeDate >= start.strftime('%Y-%m-%d')) & (factors.tradeDate <= end.strftime('%Y-%m-%d'))][:-shift]
ret = DataAPI.MktEqudGet(secID = stock, beginDate = start.strftime('%Y%m%d'), endDate = end.strftime('%Y%m%d'), field = ['tradeDate', 'closePrice'])
ret['fwdPrice'] = ret['closePrice'].shift(-shift)
ret['return'] = ret['fwdPrice'] / ret['closePrice'] - 1.
ret = ret[:-shift]
data = data.merge(ret, how = 'inner', left_on = ['tradeDate'], right_on = ['tradeDate'])
data = data.loc[:, ['return', 'heatIndex', 'sentimentIndex', 'news_emotion'] + used_factors]
return data
def GetRegressionResult(data):
data = data.dropna()
all_factors = ['heatIndex', 'sentimentIndex', 'news_emotion'] + used_factors
for f in all_factors:
if data[f].std() == 0:
continue
data[f] = (data[f] - data[f].mean()) / data[f].std()
y = np.array(data['return'].tolist())
x = []
for f in all_factors:
x.append(data[f].tolist())
x = np.column_stack(tuple(x))
x = np.array( [ np.append(v,1) for v in x] )
en = ElasticNet(fit_intercept=True, alpha=0)
en.fit(x, y)
res = en.coef_[:-1]
w = dict(zip(all_factors, res))
return w
def preparing(universe, date, factors_all):
date = Date(date.year, date.month, date.day)
cal = Calendar('China.SSE')
start = cal.advanceDate(date, '-120B', BizDayConvention.Following)
end = cal.advanceDate(date, '-1B', BizDayConvention.Following)
start = datetime(start.year(), start.month(), start.dayOfMonth())
end = datetime( end.year(), end.month(), end.dayOfMonth())
trading_days = quartz.utils.tradingcalendar.get_trading_days(start, end)
datas, means, vols, weights = {}, {}, {}, {}
for i,stock in enumerate(universe):
try:
datas[stock] = StockRegDataGet(stock, trading_days, factors_all[stock])
means[stock] = dict(datas[stock].mean())
vols[stock] = dict(datas[stock].std())
weights[stock] = GetRegressionResult(datas[stock])
except Exception, e:
pass
return means, vols, weights
```
```py
from datetime import datetime
end = datetime(2016, 5, 18)
f_start = datetime(2014, 1, 1)
universe = set_universe('SH50')
f_days = quartz.utils.tradingcalendar.get_trading_days(f_start, end)
factors_all = StockFactorsGet(universe, f_days)
```
```py
from datetime import datetime
start = datetime(2014, 6, 1)
end = datetime(2016, 5, 18)
benchmark = 'SH50'
universe = set_universe('SH50')
capital_base = 100000
refresh_rate = 20
# f_start = datetime(2012, 6, 1)
# f_days = quartz.utils.tradingcalendar.get_trading_days(f_start, end)
# factors_all = StockFactorsGet(universe, f_days)
def initialize(account):
pass
def handle_data(account):
print account.current_date
means, vols, weights = preparing(account.universe, account.current_date, factors_all)
cal = Calendar('China.SSE')
date = Date(account.current_date.year, account.current_date.month, account.current_date.day)
date = cal.advanceDate(date, '-1B', BizDayConvention.Following)
date = datetime(date.year(), date.month(), date.dayOfMonth())
factors_cur = StockFactorsGet(account.universe, [date])
score = {}
all_factors = ['heatIndex', 'sentimentIndex', 'news_emotion'] + used_factors
for stock in account.universe:
if stock not in weights:
continue
fac = factors_cur[stock]
s = 0
for f in all_factors:
try:
x = fac[f].iloc[-1]
x = (x - means[stock][f])/vols[stock][f]
s += weights[stock][f] * int(round(x))
except:
pass
score[stock] = s
buylist = sorted(score.keys(), key = lambda x: score[x])[-5:]
rebalance(account, buylist)
def rebalance(account, buylist):
for stock in account.valid_secpos:
if stock not in buylist:
order_to(stock, 0)
for stock in buylist:
order(stock, account.referencePortfolioValue / len(buylist) / account.referencePrice[stock])
2014-06-03 00:00:00
2014-07-01 00:00:00
2014-07-29 00:00:00
2014-08-26 00:00:00
2014-09-24 00:00:00
2014-10-29 00:00:00
2014-11-26 00:00:00
2014-12-24 00:00:00
2015-01-23 00:00:00
2015-02-27 00:00:00
2015-03-27 00:00:00
2015-04-27 00:00:00
2015-05-26 00:00:00
2015-06-24 00:00:00
2015-07-22 00:00:00
2015-08-19 00:00:00
2015-09-18 00:00:00
2015-10-23 00:00:00
```
- Python 量化交易教程
- 第一部分 新手入门
- 一 量化投资视频学习课程
- 二 Python 手把手教学
- 量化分析师的Python日记【第1天：谁来给我讲讲Python？】
- 量化分析师的Python日记【第2天：再接着介绍一下Python呗】
- 量化分析师的Python日记【第3天：一大波金融Library来袭之numpy篇】
- 量化分析师的Python日记【第4天：一大波金融Library来袭之scipy篇】
- 量化分析师的Python日记【第5天：数据处理的瑞士军刀pandas】
- 量化分析师的Python日记【第6天：数据处理的瑞士军刀pandas下篇
- 量化分析师的Python日记【第7天：Q Quant 之初出江湖】
- 量化分析师的Python日记【第8天 Q Quant兵器谱之函数插值】
- 量化分析师的Python日记【第9天 Q Quant兵器谱之二叉树】
- 量化分析师的Python日记【第10天 Q Quant兵器谱 -之偏微分方程1】
- 量化分析师的Python日记【第11天 Q Quant兵器谱之偏微分方程2】
- 量化分析师的Python日记【第12天：量化入门进阶之葵花宝典：因子如何产生和回测】
- 量化分析师的Python日记【第13天 Q Quant兵器谱之偏微分方程3】
- 量化分析师的Python日记【第14天：如何在优矿上做Alpha对冲模型】
- 量化分析师的Python日记【第15天：如何在优矿上搞一个wealthfront出来】
- 第二部分 股票量化相关
- 一 基本面分析
- 1.1 alpha 多因子模型
- 破解Alpha对冲策略——观《量化分析师Python日记第14天》有感
- 熔断不要怕， alpha model 为你保驾护航！
- 寻找 alpha 之: alpha 设计
- 1.2 基本面因子选股
- Porfolio（现金比率+负债现金+现金保障倍数）+市盈率
- ROE选股指标
- 成交量因子
- ROIC&cashROIC
- 【国信金工】资产周转率选股模型
- 【基本面指标】Cash Cow
- 量化因子选股——净利润／营业总收入
- 营业收入增长率+市盈率
- 1.3 财报阅读 • [米缸量化读财报] 资产负债表-投资相关资产
- 1.4 股东分析
- 技术分析入门 【2】 —— 大家抢筹码（06年至12年版）
- 技术分析入门 【2】 —— 大家抢筹码（06年至12年版）— 更新版
- 谁是中国A股最有钱的自然人
- 1.5 宏观研究
- 【干货包邮】手把手教你做宏观择时
- 宏观研究：从估值角度看当前市场
- 追寻“国家队”的足迹
- 二 套利
- 2.1 配对交易
- HS300ETF套利（上）
- 【统计套利】配对交易
- 相似公司股票搬砖
- Paired trading
- 2.2 期现套利 • 通过股指期货的期现差与 ETF 对冲套利
- 三 事件驱动
- 3.1 盈利预增
- 盈利预增事件
- 事件驱动策略示例——盈利预增
- 3.2 分析师推荐 • 分析师的金手指？
- 3.3 牛熊转换
- 历史总是相似 牛市还在延续
- 历史总是相似 牛市已经见顶？
- 3.4 熔断机制 • 股海拾贝之 [熔断错杀股]
- 3.5 暴涨暴跌 • [实盘感悟] 遇上暴跌我该怎么做？
- 3.6 兼并重组、举牌收购 • 宝万战-大戏开幕
- 四 技术分析
- 4.1 布林带
- 布林带交易策略
- 布林带回调系统-日内
- Conservative Bollinger Bands
- Even More Conservative Bollinger Bands
- Simple Bollinger Bands
- 4.2 均线系统
- 技术分析入门 —— 双均线策略
- 5日线10日线交易策略
- 用5日均线和10日均线进行判断 --- 改进版
- macross
- 4.3 MACD
- Simple MACD
- MACD quantization trade
- MACD平滑异同移动平均线方法
- 4.4 阿隆指标 • 技术指标阿隆（ Aroon ）全解析
- 4.5 CCI • CCI 顺势指标探索
- 4.6 RSI
- 重写 rsi
- RSI指标策略
- 4.7 DMI • DMI 指标体系的构建及简单应用
- 4.8 EMV • EMV 技术指标的构建及应用
- 4.9 KDJ • KDJ 策略
- 4.10 CMO
- CMO 策略模仿练习 1
- CMO策略模仿练习2
- [技术指标] CMO
- 4.11 FPC • FPC 指标选股
- 4.12 Chaikin Volatility
- 嘉庆离散指标测试
- 4.13 委比 • 实时计算委比
- 4.14 封单量
- 按照封单跟流通股本比例排序，剔除6月上市新股，前50
- 涨停股票封单统计
- 实时计算涨停板股票的封单资金与总流通市值的比例
- 4.15 成交量 • 决战之地， IF1507 ！
- 4.16 K 线分析 • 寻找夜空中最亮的星
- 五 量化模型
- 5.1 动量模型
- Momentum策略
- 【小散学量化】-2-动量模型的简单实践
- 一个追涨的策略(修正版)
- 动量策略（momentum driven）
- 动量策略（momentum driven）——修正版
- 最经典的Momentum和Contrarian在中国市场的测试
- 最经典的Momentum和Contrarian在中国市场的测试-yanheven改进
- ［策略］基于胜率的趋势交易策略
- 策略探讨（更新）：价量结合+动量反转
- 反向动量策略（reverse momentum driven）
- 轻松跑赢大盘 - 主题Momentum策略
- Contrarian strategy
- 5.2 Joseph Piotroski 9 F-Score Value Investing Model · 基本面选股系统：Piotroski F-Score ranking system
- 5.3 SVR · 使用SVR预测股票开盘价 v1.0
- 5.4 决策树、随机树
- 决策树模型（固定模型）
- 基于Random Forest的决策策略
- 5.5 钟摆理论 · 钟摆理论的简单实现——完美躲过股灾和精准抄底
- 5.6 海龟模型
- simple turtle
- 侠之大者 一起赚钱
- 5.7 5217 策略 · 白龙马的新手策略
- 5.8 SMIA · 基于历史状态空间相似性匹配的行业配置 SMIA 模型—取交集
- 5.9 神经网络
- 神经网络交易的训练部分
- 通过神经网络进行交易
- 5.10 PAMR · PAMR ： 基于均值反转的投资组合选择策略 - 修改版
- 5.11 Fisher Transform · Using Fisher Transform Indicator
- 5.12 分型假说， Hurst 指数 · 分形市场假说，一个听起来很美的假说
- 5.13 变点理论 · 变点策略初步
- 5.14 Z-score Model
- Zscore Model Tutorial
- 信用债风险模型初探之：Z-Score Model
- user-defined package
- 5.15 机器学习 · Machine Learning 学习笔记（一） by OTreeWEN
- 5.16 DualTrust 策略和布林强盗策略
- 5.17 卡尔曼滤波
- 5.18 LPPL anti-bubble model
- 今天大盘熔断大跌，后市如何—— based on LPPL anti-bubble model
- 破解股市泡沫之谜——对数周期幂率（LPPL）模型
- 六 大数据模型
- 6.1 市场情绪分析
- 通联情绪指标策略
- 互联网+量化投资 大数据指数手把手
- 6.2 新闻热点
- 如何使用优矿之“新闻热点”？
- 技术分析【3】—— 众星拱月，众口铄金?
- 七 排名选股系统
- 7.1 小市值投资法
- 学习笔记：可模拟（小市值+便宜 的修改版）
- 市值最小300指数
- 流通市值最小股票（新筛选器版）
- 持有市值最小的10只股票
- 10% smallest cap stock
- 7.2 羊驼策略
- 羊驼策略
- 羊驼反转策略（修改版）
- 羊驼反转策略
- 我的羊驼策略，选5只股无脑轮替
- 7.3 低价策略
- 专捡便宜货(新版quartz)
- 策略原理
- 便宜就是 alpha
- 八 轮动模型
- 8.1 大小盘轮动 · 新手上路 -- 二八ETF择时轮动策略2.0
- 8.2 季节性策略
- Halloween Cycle
- Halloween cycle 2
- 夏买电，东买煤？
- 历史的十一月板块涨幅
- 8.3 行业轮动
- 银行股轮动
- 申万二级行业在最近1年、3个月、5个交易日的涨幅统计
- 8.4 主题轮动
- 快速研究主题神器
- recommendation based on subject
- strategy7: recommendation based on theme
- 板块异动类
- 风险因子（离散类）
- 8.5 龙头轮动
- Competitive Securities
- Market Competitiveness
- 主题龙头类
- 九 组合投资
- 9.1 指数跟踪 · [策略] 指数跟踪低成本建仓策略
- 9.2 GMVP · Global Minimum Variance Portfolio (GMVP)
- 9.3 凸优化 · 如何在 Python 中利用 CVXOPT 求解二次规划问题
- 十 波动率
- 10.1 波动率选股 · 风平浪静 风起猪飞
- 10.2 波动率择时
- 基于 VIX 指数的择时策略
- 简单低波动率指数
- 10.3 Arch/Garch 模型 · 如何使用优矿进行 GARCH 模型分析
- 十一 算法交易
- 11.1 VWAP · Value-Weighted Average Price (VWAP)
- 十二 中高频交易
- 12.1 order book 分析 · 基于高频 limit order book 数据的短程价格方向预测—— via multi-class SVM
- 12.2 日内交易 · 大盘日内走势 (for 择时)
- 十三 Alternative Strategy
- 13.1 易经、传统文化 · 老黄历诊股
- 第三部分 基金、利率互换、固定收益类
- 一 分级基金
- “优矿”集思录——分级基金专题
- 基于期权定价的分级基金交易策略
- 基于期权定价的兴全合润基金交易策略
- 二 基金分析
- Alpha 基金“黑天鹅事件” -- 思考以及原因
- 三 债券
- 债券报价中的小陷阱
- 四 利率互换
- Swap Curve Construction
- 中国 Repo 7D 互换的例子
- 第四部分 衍生品相关
- 一 期权数据
- 如何获取期权市场数据快照
- 期权高频数据准备
- 二 期权系列
- [ 50ETF 期权] 1. 历史成交持仓和 PCR 数据
- 【50ETF期权】 2. 历史波动率
- 【50ETF期权】 3. 中国波指 iVIX
- 【50ETF期权】 4. Greeks 和隐含波动率微笑
- 【50ETF期权】 5. 日内即时监控 Greeks 和隐含波动率微笑
- 【50ETF期权】 5. 日内即时监控 Greeks 和隐含波动率微笑
- 三 期权分析
- 【50ETF期权】 期权择时指数 1.0
- 每日期权风险数据整理
- 期权头寸计算
- 期权探秘1
- 期权探秘2
- 期权市场一周纵览
- 基于期权PCR指数的择时策略
- 期权每日成交额PC比例计算
- 四 期货分析
- 【前方高能！】Gifts from Santa Claus——股指期货趋势交易研究