Python-for-data-移动窗口函数

Python-for-data-移动窗口函数

本文中介绍的是$\color{red}{移动窗口函数}$，主要的算子是：

rolling算子
expanding算子
ewm算子

移动窗口函数

统计和通过其他移动窗口或者指数衰减而运行的函数，称之为移动窗口函数

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

1
2
3

close_px_all = pd.read_csv("./examples/stock_px_2.csv"
                           ,parse_dates=True  # 解析时间
                           ,index_col=0)

1
2
3

close_px = close_px_all[["AAPL","MSFT","XOM"]]
close_px = close_px.resample("B").ffill()
close_px

	AAPL	MSFT	XOM
2003-01-02	7.40	21.11	29.22
2003-01-03	7.45	21.14	29.24
2003-01-06	7.45	21.52	29.96
2003-01-07	7.43	21.93	28.95
2003-01-08	7.28	21.31	28.83
...	...	...	...
2011-10-10	388.81	26.94	76.28
2011-10-11	400.29	27.00	76.27
2011-10-12	402.19	26.96	77.16
2011-10-13	408.43	27.18	76.37
2011-10-14	422.00	27.27	78.11

2292 rows × 3 columns

1	close_px.AAPL.plot()

rolling算子

rolling算子，行为和resample和groupby类似

rolling可以在S或者DF上通过一个window进行调用

1 2	# 图形更加地平滑：根据250日滑动窗口分组，而不是直接分组 close_px.AAPL.rolling(250).mean().plot()

1 2	appl_std250 = close_px.AAPL.rolling(250,min_periods=10).std() appl_std250[5:12]

2003-01-09         NaN
2003-01-10         NaN
2003-01-13         NaN
2003-01-14         NaN
2003-01-15    0.077496
2003-01-16    0.074760
2003-01-17    0.112368
Freq: B, Name: AAPL, dtype: float64

1
2
3

# 滚动窗口函数需要窗口中所有的值必须是非NaN值
# 如果存在缺失值，时间序列的起始位置的数据必须是少于窗口区间的
appl_std250.plot()

<matplotlib.axes._subplots.AxesSubplot at 0x11ee210d0>

在DF上调用移动窗口函数作用到每列

1	close_px.rolling(60).mean().plot(logy=True)

1 2	## rolling算子接收固定大小的时间偏置字符串 close_px.rolling("20D").mean()

	AAPL	MSFT	XOM
2003-01-02	7.400000	21.110000	29.220000
2003-01-03	7.425000	21.125000	29.230000
2003-01-06	7.433333	21.256667	29.473333
2003-01-07	7.432500	21.425000	29.342500
2003-01-08	7.402000	21.402000	29.240000
...	...	...	...
2011-10-10	389.351429	25.602143	72.527857
2011-10-11	388.505000	25.674286	72.835000
2011-10-12	388.531429	25.810000	73.400714
2011-10-13	388.826429	25.961429	73.905000
2011-10-14	391.038000	26.048667	74.185333

2292 rows × 3 columns

扩展均值算子 expanding

1
2
3

# 调用扩展均值算子
expanding_mean = appl_std250.expanding().mean()
expanding_mean

2003-01-02          NaN
2003-01-03          NaN
2003-01-06          NaN
2003-01-07          NaN
2003-01-08          NaN
                ...
2011-10-10    18.521201
2011-10-11    18.524272
2011-10-12    18.527385
2011-10-13    18.530554
2011-10-14    18.533823
Freq: B, Name: AAPL, Length: 2292, dtype: float64

指数加权函数

指定一个常数衰减因子为观测值提供更多的权重。常用指定衰减因子的方法：使用span（跨度）

ewm算子

1
2
3

# 将苹果公司的股票价格的60日均线和span=60的EW移动均线进行比较
appl_px = close_px.AAPL["2006":"2007"]
ma60 = appl_px.rolling(30,min_periods=20).mean()

1	ewma60 = appl_px.ewm(span=30).mean()

rolling和ewm对比

1	ma60.plot(style="k--",label="Simple MA")

1	ewma60.plot(style="k-",label="EWMA")

二元移动窗口函数rolling+corr

一些统计算子，例如相关度和协方差等需要同时操作两个时间序列。

例如，金融分析中的股票和基准指数的关联性问题：计算时间序列的百分比变化pct_change()

1	close_px_all[:5]

	AAPL	MSFT	XOM	SPX
2003-01-02	7.40	21.11	29.22	909.03
2003-01-03	7.45	21.14	29.24	908.59
2003-01-06	7.45	21.52	29.96	929.01
2003-01-07	7.43	21.93	28.95	922.93
2003-01-08	7.28	21.31	28.83	909.93

计算苹果和标普500的相关性

1 2	spx_px = close_px_all["SPX"] # 选择某列的数据 spx_rets = spx_px.pct_change() # 计算该列的百分比变化

1	returns = close_px.pct_change() # 计算整个数据的百分比变化

# 调用rolling后，corr聚合函数可以根据spx_rets计算滚动相关性

# 计算returns和spx_rets的相关性
corr = returns.AAPL.rolling(125,min_periods=100).corr(spx_rets)
corr.plot()

计算全部公司和标普500的相关性

1 2	corr = returns.rolling(125,min_periods=100).corr(spx_rets) corr.plot()

自定义移动窗口函数

在rolling及其相关方法上使用apply方法提供了一种在移动窗口中应用自己设计的数组函数的方法。

唯一要求：该函数从每个数组中产生一个单值(缩聚)，例如使用rolling()…quantile(q)计算样本的中位数

1 2	# 定值的百分位数:scipy.stats.percentileofscore from scipy.stats import percentileofscore

score_at_2percent = lambda x: percentileofscore(x,0.02)
result = returns.AAPL.rolling(250).apply(score_at_2percent)

result.plot()