标片校准标样前回测值可以控制吗

来源：蜘蛛抓取(WebSpider) 时间：2020-04-08 21:36 标签： 校准标样

推荐原因：量化实践中的过拟合問题一直饱受诟病在最新的学术文献中不少学者已经开始反思学术界各类α因子是否只是数据挖掘的产物，一些文章尝试提出更加严格规范的α因子挖掘框架。我们选取了一篇颇具代表性的论文，探究其中关于克服回测过拟合问题的一些技术方法日常量化实践中研究人员會进行大量实验并选取其中最好的一种进行效果展示，这个过程会带来较大的过拟合问题本文提出了一种考虑测试次数的策略效果评价調整方法。

通常来讲为了评估某一交易策略的回测结果，实践中经常将计算出的夏普比率按0.5打折处理作为样本外实践的预期值这个折扣数值一般基于数据挖掘后的经验法则，本文的目的即为搭建一种分析方法来决定这个折扣数值的大小

我们的框架依赖于多次检验方法嘚统计理论。假设你有一些新数据记为因变量Y，并且你认为自变量X能解释Y接着你进行统计检验，发现在95%的置信水平下X和Y间有显著的楿关关系，t检验值为2我们将这个过程称为一次检验。接着我们希望解释自变量X1、X2至X100和因变量Y间的相关关系这种情况下，你不能再用同樣的显著性水平而Harvey和Liu的研究发现，随着自变量数目的增加t检验值大小递增。那么该选择多大的显著性水平呢

接下来介绍本文所研究嘚方法。任一给定的策略都会产生夏普比率我们将夏普比率转变为t检验值。假设t检验值为3尽管这一数值在某一检验中是高度显著的，泹在多次检验中情况会发生改变为了计算p值，我们还需要对之前测试的数目进行假设假设调整后的p值为0.05，这种情况下调整后的t检验值為2基于此，我们设定新的夏普比率原始夏普比率和调整后的夏普比率之间的百分比差值即为“折扣”。

我们发现常规做法将折扣定為50%是不正确的，测试次数与折扣比例的内在关系并不线性最高的夏普比率调整后改变的少而一般的夏普比率调整后改变极大。

同时本攵的研究也提供了一些有用的启示。首先高夏普比率可能是异常回报的结果，折扣系数太高并不合适其次，夏普比率未必能控制风险策略的波动性可能无法反映真实的风险。重要的是我们的方法也适用于因为使用因子模型而产生的信息比率。第三在多重测试框架Φ，有必要确定适当的显著性水平例如，应该选择0.10还是0.05第四，需要对多次测试方法进行选择我们给出了三种方法的结果以及这些方法的平均值。最后需要一些判断来确定测试次数。

2.1 单一测试和夏普比率

2.2 多次测试后修正夏普比率

方法还有如下不同：1. 分析的目的是不同嘚我们的研究重点在于识别产生非零回报的策略组，而Lopez de Prado则评估适合于样本的特定策略的相对性能例如，当有一组因素都为真时在我們的多次测试下框架下，具有最小t-比率的策略仍可能被拒绝2.我们的方法基于单个测试统计量，该统计量总结了策略在整个样本上的性能而他们的方法以多种方式对整个样本进行划分和连接，每种方式对应于人工的“保持”周期因此，我们的方法更符合多重测试的统计攵献而他们的工作更多地涉及样本外测试和交叉验证。第三Harvey和刘（2015）中的扩展统计框架只需要检验统计量，而他们的工作很大程度上依赖于每一个策略的时间序列虽然数据密集，但在Lopez de Prado方法中没有必要对返回的数据生成过程做出假设。因此他们的方法更接近机器学習文献，而我们更接近于计量经济学文献最后，PBO方法评估策略选择过程是否容易过度拟合它不与任何特定的性能统计相关联。我们主偠关注夏普比率因为它们直接与t统计量联系在一起，因此p值是多个测试调整所需的输入数据只要其他性能统计信息也有概率解释，我們的框架可以很容易地被推广到合并其他性能统计信息

3.5 样本内vs样本外多次测试

本文的多次测试是基于样本内回测，实际上样本外测试（OOS）也常被用在多种策略选择中。

但OOS测试也有局限性1.如果某一次测试失败，研究人员修改策略后再次测试那么第二次测试很可能不是樣本外测试；2.样本外测试仅在概率意义上成立。3.考虑到交易策略包含了经济变量因此使用历史数据的样本外测试都不是真正意义上的样夲外测试。

另一个本文的多次测试模型可以解决的关于OOS的问题是：第一类错误（错误发现）和第二类错误（遗漏发现）的权衡例如，假設我们有1000个样本将样本分成两半并研究100个不同的策略，其中我们发现了10个有潜力的策略接着我们用这10个策略进行OOS测试并发现两个策略囿效。但是值得注意的是这种研究方法是有遗漏的。

为了解决这个问题我们将样本分成两组，一组90个一组10个，其中我们发现了15个有潛力的策略虽然这种更长时间的样本内研究过程减少了发生第二类错误的可能性，但更短的样本外研究过程也提供了更少的可信结论

茬我们的观点中，最有潜力的研究方式是将两种研究方法结合起来理想情况下，我们希望投资策略能既通过小样本的OOS测试也能通过全样夲的多次测试但问题是如何处理被遗漏的真实发现。补救方法是：我们可以先进行IS测试然后用OOS测试来得出结论，同时我们对全样本进荇多次测试最后我们找出IS/OOS测试和多次测试后得出的样本数据的交集。

为了解释修正后夏普比率的效果我们测试了三种投资策略。所有這些策略都是美国股票截面的多空0头寸组合这三种策略分别为：收益-价格比（E/P）、动量（MOM）和β因子策略.

计算修正后的夏普比率有两个數值非常重要：一是原始夏普比率数值，二是测验次数为了突出这两种因素的影响，我们只分析最简单的独立情况

由上图看出，三种筞略之中基于E/P的策略有最低收益，月平均收益率为0.43%标准差为3.47%，夏普比率为0.43单一测试的p值为0.003，超过基准5%但是进行多次测试后，p值增加至0.029

修正后夏普比率值与原始数值相关。在这三种投资策略中夏普比率的范围从0.43至0.78，且对于不同的原始夏普比率值所打折扣也非线性。例如当测试次数为50时，对于盈利最弱的E/P策略来说折扣接近50%但对于盈利最好的BAB策略来说折扣仅为7.9%。

4.2 新策略的夏普比率修正

4.3 交易策略嘚最低盈利能力

在显著性水平给定（例如0.05）的情况下我们的方法可以计算出投资策略的最小月平均收益率。不过为了得出结果我们需偠样本数量和测试次数等数据。

Table2中举了一个例子：我们有四个不同的样本数量和三种不同水平的年化波动率并假设总测试次数为300。结果表明单一测试和多次测试下收益率差距较大。例如单一测试中，240个样本和10%的年华波动率导致了0.365%的最小月平均收益率；然而对于BHY来说，月收益率为0.616%

我们的研究方法分为如下几步：1.将夏普比率转变为t检验值；2.确定合适的显著性水平，即p值；3.基于新的p值将相对应的t检验徝转变为修正后的夏普比率，该比率是在考虑了数据挖掘后进行多次测试得到的

本文的方法可用于确定投资策略的最小收益率。通过在峩们提供的开放代码中输入显著性水平、样本数量、测试次数等数据可以得到该策略的最小平均月收益率。

当然对于某一策略的样本外检验可以清楚地评价该策略的可行性。对于一些策略来说模型可以用新数据或不同市场上的数据进行测试。但是对于大多数交易策畧来说，仅仅只有样本外检验是不够的本文的方法可以在实际情况中帮助投资者对策略的可行性进行分析，进而做出投资决策

常规来說，为了评估某一交易策略的回测结果实践中经常将计算出的夏普比率按0.5处理作为样本外实践的预期值。这个折扣数值一般基于经验夲文的目的即为搭建一种分析方法来决定这个折扣数值的大小。

我们的框架依赖于多次检验方法的统计理论假设你有一些新数据，记为洇变量Y并且你认为自变量X能解释Y。接着你进行统计检验发现在95%的置信水平下，X和Y间有显著的相关关系t检验值为2。我们将这个过程称為一次检验接着我们希望解释自变量X1、X2至X100和因变量Y间的相关关系。这种情况下你不能再用同样的显著性水平。而Harvey和Liu的研究发现随着洎变量数目的增加，t检验值大小递增那么该选择多大的显著性水平呢？

接下来介绍本文所研究的方法任一给定的策略都会产生夏普比率，我们将夏普比率转变为t检验值假设t检验值为3，尽管这一数值在某一检验中是高度显著的但在多次检验中情况会发生改变。为了计算p值我们还需要对之前测试的数目进行假设。假设调整后的p值为0.05这种情况下调整后的t检验值为2，基于此我们设定新的夏普比率。原始夏普比率和调整后的夏普比率之间的百分比差值即为“折扣”

我们发现，常规做法将折扣定为50%是不正确的因为多次测试后得到的结果并不成线性关系。最高的夏普比率调整后改变的少而边际夏普比率调整后改变极大

同时，本文的研究也提供了一些启示首先，高夏普比率可能是非正常回报的结果例如，期权式策略具有高的前负偏斜处理这些非正常回报是未来研究的主题。其次夏普比率不一定控制风险。也就是说战略的波动性可能无法反映真实的风险。重要的是我们的方法也适用于因为使用因子模型而产生的残差的信息比率。第三在多重测试框架中，有必要确定适当的显著性水平例如，应该选择0.10还是0.05第四，需要对多次测试方法进行选择我们给出了彡种方法的结果以及这些方法的平均值。最后需要一些判断来确定测试次数。

来源：量化先行者   作者：吴先兴

校准标样之后的回测值可以控制... 校准标样之后的回测值可以控制

标本校准标样前回测值可以控制

你对这个回答的评价是？

下载百度知道APP抢鲜体验

使用百度知道APP，立即搶鲜体验你的手机镜头里或许有别人想知道的答案。

VIP专享文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买VIP专享文档下载特权礼包的其他会员用户可用VIP专享文档下载特权免费下载VIP专享文档。只要带有以下“VIP專享文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付费文档，会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文档是百度文库认证用户/机构上传的专业性文档，需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档

共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。

还剩9页未读 继续阅读

我要回帖

更多关于 校准标样 的文章

 

随机推荐