之前看到老树新芽”老兄的分享：我的程序化研究心得

我把他的贴合一个附件，方便大家看

常感谢“老树新芽”老兄的分享，你的贴是我一段时间以来在金字塔论坛看到的最有价值的贴。因为你是分享了多年来的程序化研究和实盘运作的真实经验和感悟。

我做程序化没有你那么久，近3年时间，之前做主观交易股票投资。去年10月前以股指程序化为主，现在以商品程序化为主。

谈谈我的程序化发烧经历：

经过大概半年多的编程、测试、实盘模拟，2012年开始实盘做股指程序化投资，由于资金量不大，采用单策略一手模型，有趋势盈利时加仓为2手，在2012年盈盈亏亏，赚近10万，低于预期，但保持盈利。2013年初的上涨行情和6月的大跌，收益很好（我是隔夜的波段模型，3-5分周期），盈利增加了30多万。于是我开始头脑发热，开始加大资金量，启用之前储备的其他策略，采用多模型组合，三个模型组合，这三个模型组合历史回测：2011到2013年6月，开仓1-4手，盈利合计200万，回撤12万。但是2013年7月三个模型实盘运行后，连续3个月亏损，亏损15万左右，幅度超资金的20%，与历史回测差异太大，我决定停止左右股指程序化。

另一方面，我的商品期货的程序化，进行的比较好，采用多品质（8-10个）组合，中长周期波段策略，我抓住了今年年初多个工业品下跌的行情，也抓住了这两个月菜粕和鸡蛋的上涨行情，因此现在只做商品期货的程序化，什么时候重开股指的程序化将取决于：1.是否开发出有足够信心的策略，2.股市能否走出趋势性行情，3.是否有足够的资金做资金管理和容纳更多策略组合。

我了解到，2013年下半年后，很多股指程序化的投资者都遭遇类似情形，策略普遍失效和钝化，我感到出现这个原因是：

1.股指程序化的参与者太多，策略雷同现象严重；

2.去年到今年，股市长期处于狭窄范围的震荡期间，波动率减小；任何程序化在波动率减小的情况下都难获好收成。

看了“老树新芽”的感悟，我也很感概，很有同感：

1.历史数据回测和参数优化是策略开发必不可少的方法，但对历史数据回测和参数优化的结果必须正确对待，不能全信，对参数只能做粗优化，不要做精细优化，也就是说，只从参数优化中确定一个参数的大概范围即可，如均线周期参数取值范围在5-50， 我大概以5或10为步长，优化计算5-10档即可得到参数的可取期间。所以我从来没有感到在金字塔平台上参数优化的时间太长，运算速度太慢的问题。开发好的模型无论测试如何好都不要直接拿去实盘运行，把它储存一段时间，用后续的实盘数据再测试验证，或者模拟实盘运行一段，再完善。

2.简单比复杂好：任何接近事物本质规律的东西都应是简单的，这是一个科学方法论的带哲学味道的论题。行情数据中包含有反映市场规律的东西（我们成为信号）和随机杂乱的东西（我们成为噪声），我们的策略需要识别这个信号，去除噪声，因为未来的市场中规律的信号会重现，但噪声是随机波动，漂浮不定。过度拟合、过度优化的模型，可能把过去行情中的噪声拟合到信号中了，而未来并不能再现。所以逻辑优化比参数优化更好。

3.模型的普适性：我现在的商品模型，对所有商品品种都适用，只对少数参数微调，也可用于股指，对这样的策略，我就比较有信心，因为对未来的行情的变化，模型的适应性也会较强。

老树新芽”在简单化和止损止盈上的观点，我很赞同，在开发程序化时，我发现我的商品模型去掉止盈功能，让模型按指标和形态进入，也按指标形态条件退出，结果适应性大增。这出乎我的预料。

时间关系，就谈这些。希望与做过实盘的朋友大家多交流。

我的程序化研究心得

20140426 金字塔论坛 “老树新芽”贴

写这个帖子的目的，主要目的是为了找到长期合作的组织，或许还可以与同行有深入交流和探讨。基本上感觉搞程序化这一行的人，交流起来有障碍，大家对谈论自己的东西忌讳莫深。毕竟大家之间是竞争关系，这是一个负和游戏市场。或许你对我讲的东西嗤之以鼻，那也没关系，有的人走在前面，有的人走在后面，但这条路很长，只要坚持，大家都会有进步。

  实际上06年我就尝试做程序化交易，那时主要是测试股票。我发现哪怕就是一个简单的均线系统，其测试结果都比手工交易结果好得多，交易原来如此简单，只是一个简单的东西重复做就可以了。但是我本人并非编程专业人员，受制于国内软件平台，我只能做些简单的东西，加上要上班，没多久就放弃了。真正认真研究程序化是股指期货上市之后，有朋友（基本不懂交易）通过程序化成功地赚到钱，兴致勃勃地邀请我也参与研究研究。他说他缺策略，当前策略在慢慢失效，希望我能提供一些新东西，赚了钱可以给我分成。于是我开始研究了，刚开始搞了几个都不怎么样，比别人的差。但也没过多久，就弄出了两个日内系统，单手年收益都在100万以上，并且只有两到三个参数，各项指标都非常优秀，于是通过了他的要求，开始给他实盘。5月份开始，大概赚了3个月的钱之后，我自己也开始实盘。

  我自己的实盘起始资金20万，做一手股指，这要是现在打死我也不干，但当时就这么干了。从8月份开始，大概应该是连续赚到了第二年的三、四月份，赚了30万。不完全是单手赚的，最后两个月用了加仓系统。我还帮一个朋友70万的资金赚了45万，用的是加仓系统，也就8个月的时间。期间忍不住偶尔有些干预，不过我一直没有调过参数，干预的总体结果是少赚了几万。应该说我的系统表现和交易结果使我自信心膨胀，我一度认为我掌握了核心技术，所以系统会长期盈利，不会失效。正当我准备找更大的资金大干一场的时候，我的系统毫无征兆的出现连续地回落，虽然之前也出现过4万的回落，但这次回落感觉非常奇怪，是一种持续的稳定地无望的回落。最大回落到了12万，我的历史测试最大回落不超过5万，我在回落10万的时候被迫停了。朋友比我幸运，正好在我的系统不行之前要用钱，撤资了。我开始对策略进行修修补补，调整参数，但是无论怎么样做，都无法改变系统不再赚钱的结果。

  之后一段相当长的时间，我都没有实盘，我在思考和观察原先的系统将来到底如何表现。而今过去快两年了（当然这两年我不仅仅是等待和观察，此处暂时不表），结果是在不调整参数的情况下，系统还是创了新高，但是资金曲线非常平缓，甚至看不出创了新高，换句话说，如果继续坚持，两年来系统没赚钱，也没亏损。如果调整参数，资金曲线勉强还是向上的，但是代价是前面的收益压低了，总体收益基本上略等于两年前的收益。总体给人的感觉是，无论怎么调参数，跑得快的曲线先停下来，跑得慢的曲线后停下来，总之是难得赚到钱了。市场似乎有个限额，你只能赚那么多。

  实际上两年多以来，我一直想回到以前稳定暴利的状态，我写的策略几十百把个总是有的，但总是没有突破，也不敢实盘。我一度认为股指暴利是不能再现的，过去的暴利不是常态，市场在不断进化，股指的收益必定是越来越低，日内基本上是没戏了。但是，2013年春节之后的一件事情又改变了我的想法。一朋友从远方来，告诉我他的系统单手可以达到200万总收益（股指2010年上市，也就是三年时间测试收益200万），他甚至看到过别人有单手收益300万的系统。而我的系统，2011年就有150万收益，其中有30万是实盘赚到的，但过了两年，测试总收益还是150万左右。于是我怀疑可能还是存在暴利的机会，不是市场问题，是我没有找到方法，是我的方法太简单了。一个简单的方法怎么能长期暴利呢？我自己问自己。

  我又开始超负荷的研究，两个月之后，我的超复杂的暴利系统横空出世。5分钟周期，单手收益350万，最大回落8万，而且基本上无参数（关于参数问题，后面会有大量文字探讨），其它周期也有非常优异的表现。这太黄太暴力了！两年过去了，我终于有了重大的、全新的突破。欣喜之余，我不忘冷静下来，考虑到底有没有问题。因为，当前系统与我前期思考过的暴利不可持续以及系统要简单的思想违背。并且，这个系统有一个我十分不爽的缺点，就是它对其它所有品种的表现都一塌糊涂，因为没有参数可以优化，所以其它的品种不行就是不行，没有任何解决的办法。为此，我犹豫了很长时间，到底行不行，到底能否实盘。既然我用的是无参数的K线技术，为什么只有股指行，别的都不行。经过了一个月的思想斗争，等系统回落了5万左右的时候，我决定实盘。我的理由是，一个超高收益的系统，哪怕就是不行，大不了不赚钱，不至于亏损吧。至于为什么别的品种都不行，大概是因为股指期货与现货市场基本上无缝捆绑形成的特定的K线特征造成的，而商品则可以天马行空。我这样说服自己。

  这次实盘是灾难性的，几乎没有一天是赚钱的，直接回落了14万，我一直坚持到开不动股指了才放弃。我用的是设计时最优的5分钟周期，再也没有创新高，是在回落之后一直横盘到现在，也没有创新低。1分钟、3分钟周期设计时的表现没有5分钟好，当时回落反而不大，而且后来还创了新高，但是现在又创了新低。又验证了我那句话，跑得快的先停，跑得慢的后停，总之是要停。

  这次失败是非常沉重的，但不是故事的全部。我在自己实盘的同时，还在一家投资公司上班，因为资金量大，做的是组合，除了股指，还做商品。

  既然是做组合，目的是为了平稳，回避个性风险，我们要尽可能多的策略以及一切能做的商品进行对冲，只要是测试指标能够达到要求的我们都尽可能上。哪些指标？无非是收益风险比，夏普率或者R方值，盈亏比之类的东西。确定了品种，以及相应的策略以及实用周期和参数之后，再对商品的头寸进行优化，以最后确定组合中不同品种、不同策略、不同参数的交易头寸。最后我们的组合测试结果是近乎完美的几乎没有什么波折的资金曲线，收益风险比能达到10，也就是年化收益是历史最大回落的10倍，然后我们再把收益打对折，把回落放大一倍来决定最后使用的总资金，这算是万无一失了吧。但是，一开始，我们就不顺，各个账户持续缓慢的亏损。我们开始争论，开始探讨到底是怎么回事？我们怀疑是不是策略的互补性不够，是不是应该用统一的参数来建组合，并试图写出更多的不同类型的，从原理上能够互补的策略，要求能够普适性好的策略，要求尽可能简单，最好是无参数的策略。

   我想说，当时的探讨对我的今天的交易思想产生了重要影响，不过我们团队的投资失败了，客户不能容忍持续的不赚钱，陆续撤资了，虽然亏损都没有超过协定的红线。或许亏损不是最重要的，重要的是实盘的表现与预期相差太远，并且看不到希望，所以客户提前撤资了。不仅如此，我们团队自己的资金也停了。说到底，我们的工作有重大缺陷，虽然我们有一些认识的改变，但是短期我们没有能力改变我们的交易，我们写不出符合要求的东西，符合要求的东西收益简直太低了，我们都是做过股指赚钱的人，尝过股指暴利的甜头，策略太低的收益简直难以启齿，根本不可能拿来实盘。

  论坛鲜有人讲交易失败的案例。没办法，我不喜欢讲话，一讲话就是实话，我还希望讲实话交到讲实话的朋友。总之，怀着一颗愧疚和郁闷的心，我辞职了。实际上，因为巨大的压力和工作强度，我的身体都吃不消了。我回家休息了。

续）故事就讲这么多了。论坛里面潜伏的大鳄一定大量存在，我的故事不值一提。下面要说的才是重点。包括我的基本交易思想和理论，我的策略要求和测试方法。

  一、暴利是不可持续的，或者说不是常态。如果暴利，可能是因为时间不够长，或者是市场发育不健全，或者是你掌握了绝大部分人没有掌握的东西。但是市场实际上就是一群人在博弈，暴利的方法总归会被人们慢慢发现，最后出现大量的竞争使得收益变得平庸甚至赔钱。

  二、稳定盈利产生的暴利是可能持续的。但是这是用时间来换取的，你需要掌握一种或者多种有效的，短期收益并不起眼，但是可靠性很高的方法。暴利靠的是时间，靠的是复利。很简单的道理，如果你赚钱的方法太过高效，并且能够长期有效，那么市场根本承受不起这种失血。无论怎样，市场会自动进行调整来对抗你的方法，这是一种进化。只有那些表面上并不高效的方法，市场才能够容忍。

  三、策略的第一要求是普适性。普适性包括品种普适和周期普适性，只有这样的策略才值得继续研究。如果对有些品种不行，那必须在程序化之外找到原因。比如，交易的资金越来越少频临死亡的品种。

  四、策略必须要足够简单。越是复杂的东西普适性越差，拟合的嫌疑就越高，越是拟合度高的东西，将来就越不可能复制。

  五、先把止损止盈这些无厘头的东西去掉，要看没有包装过的信号表现。交易连续的，除了跳空，交易价格是连续的，任何地方都有人买和卖，市场不知道也不关心你是哪里买的或者卖的（除非传说中的庄家和你作对），止损止盈算是什么交易理由？止损止盈是一个资金管理的范畴，可以通过别的途径实现。放在单个策略里，只是起到一个美化资金曲线的作用，是一个与交易无关的东西。通过止损止盈优化的系统能够使曲线变得光滑，但是不能避免大波浪的起伏。

  六、参数是个重要的问题，参数尽可能少，并且要适应不同的品种。。
  1、无参数不存在。所谓无参数实际上最起码是相当于参数是1。还有隐含参数，比如周期选择。如果是采用5分钟收盘价计算，计算，那么实际上就是5分钟采一次样，15分钟收盘就相当于是15分钟采一次样，这本身也是周期。橡胶用5分钟，铜用30分钟周期，这本身是非常重要的参数，而这个参数有理由吗？
  2、参数分布得广并且敏感性差，并不见得安全。打个比方，100*N和1000*M，N和M是参数，100是1分钟上取的数据，而1000是日线上取的数据，显然N的变动对结果的影响小，而且有更广的适应范围，但是他们本质没有区别，他们计算的结果反应的是同样的东西。所以参数的调试有一个要求，就是能够对交易频率产生显著的变化，看看它的表现怎么样。参数分布广不广，是指年交易频率从100次到1000次，都能赚钱，而不是说参数从1调到100，结果交易频率都集中在500-600次，这说明参数范围设定小了，要成倍的扩大，再看结果怎么样。
  3、不同品种可以是不同的参数，但是，给个理由。你不能根据优化结果笼统的说，不同品种有不同的特性。建议初级阶段，一类品种或者关联性很强的品种，要用同样至少是极为相近的参数，除非你能够准确的说出用不同参数的道理。要知道，不同品种上市时间不同，总体都不长，测试只是对历史数据的优化，总是有拟合的阴影，结果不见得有道理。

  七、或许你有多个策略都行，但是小心，这些策略可能没有不同效果，是一回事，不要指望他们有很好的互补性。你会发现，哪怕是不同的策略，如果他们的测试结果相近的话，有个特点就是他们的交易频率会在同样的范围，这就说明他们是一回事。所以互补要从两个方面着手，一个是原理互补，如果你找得到写得出的话；二个是从频率上互补，你不要管你的策略是什么，你可以理解为你一个范围的交易频率就是一种策略。与其说你放几个策略进去互补，还不如说放几个频率进去互补可靠得多。

  八、对测试收益的要求。如果你的系统对上述要求都统统做到了，那么现在在来看看测试结果你还满意么？估计不满意。如果不满意，那么有两条路可以走，一是继续寻找新的交易方法，二是接受测试结果。每个人对于系统达到怎样的指标要求不同，关注的指标也不太一样。举个最常见的指标收益风险比作为例子，是10你觉得可以实盘，还是5，还是2，抑或是1，你为什么满意，或者你为什么不满意？是否满意是相对的，如果大家的股指收益风险比都只做到了2 ，那么2你也会满意。关键是你的策略是否先满足上面那些要求。如果你真的严格做到了，但是指标很低，那么说明市场的赚钱效率可能就是这么低，你需要降低你的收益预期，去掉你的交易杠杆。

  九、上述工作全部做完了，都行了，是不是就可以实盘了呢？等等，工作只做了一半。还有一半我相信是开始做程序化的人不愿意做没有做的工作，那就是就模拟未来，或者就是所谓压力测试。上面做的一切一切，无论你是把期望放得很高，还是把期望大幅降低，总之你有个结果了，但是依靠这样的东西进行实盘还有个最为重要的缺陷，就是我们的工作方法中有未来函数。

续）前面说了那么多，对系统近乎苛刻的各种要求和怀疑，可以说是为了一个目的，那就是：投资的确定性。或许马上有人会反驳，认为初级阶段的人才会去追求交易的确定性。我说的确定性不是指单次交易或者短期交易的确定性，而是指长期投资保障安全和收益的确定性。如果不是为了确定性，何必要做程序化呢？人家何必要出资呢？

              把资金曲线做得很漂亮，指标都做得很好，除了是为了追求高收益之外，其实可能还有一种心理暗示：越是漂亮的系统安全性越高。前几年有人跟我讲过，我们做出的东西和实盘相差太大，我原本希望实盘能够达到测试结果的5折，但实际上上2折都没有，甚至根本就可能赚不到钱。我认为系测试结果好不好，与将来的实盘表现没有关系，所以关键是要先考虑确定性，再来研究测试指标才有意义。怎样才有确定性？就是我前面讲的那些东西，当然肯定还有别的要求，我不知道。人的认识有限，我们只能尽人事。但绝不能对怀疑、可能的危险和不确定性视而不见，冒然行事。

              再来研究测试指标。当你要研究策略的普适性，或者开始搭建组合的时候，你需要把视野扩大到整个市场的所有品种，你需要一个统一的指标逻辑来衡量你的研究对象，让他们具备可比性。

              一、年化收益率。首先是年化收益，你当然不能只看总收益，而要把收益年化，因为不同品种上市的时间不同，总收益当然不同。其次，要计算年化收益率，因为即便是同样的时间，一手股指的价值和一手豆粕的价值完全不同，所以年化收益肯定不同。因此要把年化收益收益除以他们的合约价值，得到年化收益率，这样它们的收益才在同样的尺度下进行比较这样计算与你设置的初始资金和交易数量都没有关系，只与你的品种有关，赚钱效率的高低一目了然。这个指标只能自己通过代码来实现，软件自带的年化收益率是除以测试的初始资产规模。

              二、最大回落幅度。首先是最大回落金额，需要计算出来，同样的道理，只看金额没法进行横向比较，需要看最大回落幅度。但是这个最大回落幅度要怎样计算，才算是合理，这或许每个人见解不同。无非三种，一种是最大回落金额除以初始资金，TB就是这样做的；二种是最大回落金额除以回落之前的资金高点，这是金字塔的算法；还有一种，是我自创的，是拿最大回落金额除以回落之前资金高点所对应的合约价值。这样做的目的，是为了把不同品种交易放在同样的杠杆尺度上进行比较。

              二、杠杆的概念。很长时间以来，我都习惯于用投入资金比例来计算交易杠杆。但实际上着是不合理的，因为不同品种所需要的保证金、不同的经纪公司的保证金规定也不同，所以同样的资金投入，实际运用的杠杆并不相同。你告诉我你的账户去年赚了50%，从程序化研究的角度看，我完全没有概念，我不知道是好还是不好，因为，我不知道你的杠杆是多少。你告诉我你投入了30%资金比例做的交易，我还是没有概念，因为你可能做了股票、基金、期货，这样30%的资金代表多大的风险度，是激进型的还是保守型的，完全不知。你要准确告诉我你这个资产账户，运用了多大杠杆，取得了多少收益，我才能明白你的表现。对于策略而言，也是同样的道理。

              三、风险收益比，拿年化收益率除以最大回落幅度，是非常重要的指标，这个指标极大地影响到了资金账户可以运用多大的杠杆进行交易。需要强调的是，这个指标对分母非常敏感，因为分母是历史上出现的最大回落幅度，它反映的是曾经出现过的极端情况，偶然性很高。把时间拉得足够长，出现各种极端的情况概率就会大幅增加，收益风险比就会大幅下降。而这并不能说明策略或者品种不好。

              四、R方值反应的是资金曲线的连贯性，斜率越一致的资金曲线，赚钱越平均，R方值越高。夏普率反映的是资金曲线的光滑度，皱纹越小的资金曲线，夏普率越高。这些指标都是辅助指标，可能会影响到你的交易杠杆，但是对系统未来的表现交没有预期性。这一点很重要，不要迷恋这些测试指标。

              五、年化交易次数，即交易频率。关注交易频率实际上有几个好处，一是研究品种的差异性，频率与周期是倒数关系。任何品种价格都是波动推进的，大波外面有更大的波，里面还有更小的波，波浪里面就隐藏着周期特性。如果你的策略里面没有直接的周期元素，它就用交易频率来研究。或许农产品真的和工业品不同，有理由吗？二，交易频率用来测量参数的敏感性。或许你的参数范围并不大，只是步长太小了，前面已经说过这个问题，而造成参数适应性很广的错觉。那么可以观察一下你的交易频率，从年化5次、10次到年化300次试试，看看你的参数的连续性均匀调整是否带来交易频率的连续性均匀变化，再来看你的交易结果怎么样。

              六、其它的盈亏比、胜率我认为不重要。如果你的盈亏比很高，胜率很低，我猜大概是加仓系统，或者带有止损并且止损设置很小。

              总之，测试指标是对比研究的尺度，是结果，不是目标。你绝对不能为了测试指标好看寻求慰藉而放弃或者降低对策略的要求，你只能接受你的指标，用组合，用去杠杆来进行投资。

（续）还有几个问题，确定参数、确定组合品种成分、确定最终的杠杆运用。

只说一下品种选择问题。我相信品种选择是非常重要的，在实盘中肯定需要调整。你需要做成交量大的品种，这代表着市场赚钱或者赔钱的效率，你也需要关注持仓量，这代表着赚钱或赔钱的潜力。假设一个品种成交量和持仓量都很低，你指望你的程序化长期泡在里面赚钱，赚谁的，这个道理相信大家想得通。但是麻烦的是品种有时候参数与的人多，有时候少，过一段时间又恢复了活络，有些品种可能永远沉寂下去了，还有些品种上市不长正在发育，要如何选择呢？形成品种是否活跃的原因很多，行业背景、周期、金融政策变动、品种合约设计、交易成本等等，要从这些方面着手只怕远远超过了我们这些写代码的人的能力范围。这里只是提出课题，可以相互交流。

资金和投顾都是一个成熟的过程。资金希望看到不回落的系统，收益还不能低，而且要马上看到效果。投顾对自己的模型过于自信，对风险估计不足，现在流行优先劣后、保本分成的，就我所知死了不少投顾。降低预期、降低杠杆、组合对冲、多重配置是我能够接受的资产管理模式。不排除有人有知识面、技术面门槛极高的交易方法，比如讲数学家、物理学家、化学家、计算机工程师这些人，就像西蒙斯团队的那些人一样，那么高收益预期可能维系的时间稍长一些，但也必然是逐步降低的，而且有个市场容量的问题。如果你的资产收益能达到年20%以上，那么恭喜你，基本上要超过巴菲特和索罗斯了，如果能超过30—40%，那基本上会要超过西蒙斯了。我们假设你目前的收益率的确超过了他们，这是事实，那么从长期来看你是否真有信心超过他们从而成为世界冠军，如果没有这个信心，就意味着你将来的收益必然是要降低，而且会大幅降低到20%以下甚至巨亏，这样平均起来的收益率，才能让上述三个老头有资格跟你平起平坐。所以，当你看着你漂亮的不能有回落的资金曲线的时候，虽然这并不意味着它明天就会扭头向下，但是这一天必然会出现，将会发生什么事情，做好准备了怎么应对了吗？再看看你手上的配置，你用了几倍的杠杆，你还有机会存在吗？一手股指回落5万，是其合约价值的10%都不到，或许有一天一手股指回落30万大家都觉得很正常，而且很乐意做，前提是我们还在这个市场中活着。

投资老友本人是自娱自乐，投资好自己的一亩三分地，不需要符合资本家的要求