反思菲式思考 Part.2｜策略回測探討

但你若是投資老手會知道只看這些是不夠的，應該還要再看「夏普率」來評估風險，細節請見影片。

另外只看最大回撤有些陷阱，有時候很優秀的高勝率仍有不小的 MDD，是因為虧損的交易剛好連續在一起，或是某些交易意外碰到公司營運的特殊事件。再來若兩個策略前五大回檔分別是「5、8、10、15、35%」、「15、20、23、25、27%」，單看 MDD 你會覺的是後者比較好。但若用平均來看，降低少數數據影響，則是前者比較好。因此我會建議看 MDD 改看前5大平均或搭配年化夏普率一起判斷。

勝率的部分看的是最終報酬結果，忽略了持股過程的重要性，若一個策略裡的交易對往往都要先經歷回檔套牢的煎熬，之後才漲上去，你覺得這樣夠好嗎？應該要再檢測交易對的波動細節，看獲利的交易在持有過程是不是很少有回檔，代表買點抓得漂亮，反之若常要先套牢，是不是可以思考延後進場？虧損的交易若普遍先上漲再下跌，是不是可以研究停利點？持股歷程這中間有很多內容可以研究，延伸內容可以看「揭開策略的波動面紗｜MAE&MFE分析圖組使用指南」、「脫離韭菜命運的關鍵：利用MAE分析實踐正確的停損」

回測的侷限性

回測 V.S. 實際下單

回測模擬出一個報酬和波動指標都完美的策略，就沒問題了嗎？
書中沒講到，這邊要潑一下冷水，回測模擬是無法 100 % 與實際執行貼合，你如果對此期待，那最終會會幻想破滅，回測只能看趨勢，盡量貼合實際下單。
首先，你的策略若很常買到「冷門低量股」、「漲跌停鎖死股」、「處置股」、「全額交割股」，那你有很高的機率輝出現「快樂表」的結果，發現模擬與實際相差甚大，因為「回測系統」都會假設你全部的委託單都順利成交在模擬價格，實際上的你其實要排隊碰運氣，運氣差就是沒買到或是要為了滿足進出量而成交在比較差的價格，出現流動性風險。

這部分可參考「客製化流動性風險檢測 | 策略可以實戰嗎?」、「FinLab Package 流動性檢測」來驗證策略。

偶爾還會發生書中交易日誌提到的狀況：市場突然關閉、券商突然出問題、伺服器或網路出狀況、交易程式的問題。這些問題都很難模擬，要有心理準備會有誤差，數據打折來看比較真實。

資料難題

可參考財報狗技術部落格寫的「你真的做對股票回測了嗎？談回測容易犯的幾種錯誤」。這些無法避免，連官方都沒保留舊數據，無從驗證，資料很難完美。

使用公開資訊觀測站的資料要小心，有時候上市櫃公司上傳的財報是錯誤的，通常過一陣子公司會修正財報重新上傳資料到公開資訊觀測站。（如果有發現公司上傳的資料有錯，可以向公開資訊觀測站或證交所回報，他們會請該公司修正。通常有反饋時他們很快就會修正。）
過去的錯誤資訊現在已經無法取得。
以台股來說，公開資訊觀測站只會保留修正後的資料，所以除非你從多年前就不斷的即時抓取當時的最新資料，或者找到其他資料源提供這個資訊，否則這個問題無解。某些總經數據可能還會校正回歸整條序列…
誤植的資料很可能錯得很離譜，使得你的策略績效受到影響。
上市公司如果提供了錯誤的數字，不出正負號錯誤或小數點位數點錯。例如 EPS 應該是 5，結果打成 -5 或 0.5。
如果你的策略持有股票數量偏低時，如此大幅度的數據錯誤很可能顯著影響你的策略績效。
部分資料在近期才被開放出來，沒有足夠長的數據可做驗證，降低統計代表性。

回測要注意的細節

交易比數要夠多，若小於500筆，統計代表性較低，除非是特定事件交易本身次數就不多，不然過擬合機率高。通常交易比數低是因為條件太複雜所造成。
注意每一期持股檔數是否穩定？單檔持股比例最好定上限，減低某幾筆特殊交易對整體報酬有過大影響，參考「選股回測系統豆知識 (2)｜持股比例上限設定」。
停損一定要設，避免特殊事件影響，降低未來策略失效的損害，通常至少設定 -20%。停利不一定要設，區間操作的策略比較需要，參考「「脫離韭菜命運的關鍵：利用MAE分析實踐正確的停損」」。
交易價格序列的模擬的差異，參考「客製化選股策略的回測價格序列 | 比較進出場的時間點特性」
模擬期間是否夠長？有無包含到熊市？台股來說，比較弱的年份是2008、2011、2015、2018、2022，弱勢年如果可是正報酬率，你全職投資起來的信心會比較強。