近期熱門的 Alpha Arena 專案，將 ChatGPT、Gemini、Grok 等不同的大型語言模型 (LLM)，推上了金融交易的競技場，讓這些前沿 AI 模型槓桿交易Crypto，網頁是公開顯示歷史資金和持倉變化。這個概念極具吸引力：讓最強的 AI 們同台競技，比較它們的交易績效。

在令人興奮的「AI 交易」敘事之下，本文將從技術層面拆解 Alpha Arena 的運作機制，看看技術原理是否真的無懈可擊 ？

一、 運作機制：當 LLM 成為量化交易員

Alpha Arena 的核心是利用呼叫大型語言模型 API，讓多個 LLM 扮演交易決策者的角色。其運作流程可以拆解為「輸入」、「處理」與「輸出」三階段。

輸入：將市場「文本化」的提示詞

系統會向 LLM 發送一個設計好的提示詞，其內容包含：

• 狀態數據 : 當前帳戶績效、倉位、交易次數等。
  

• 市場數據 : 中間價、EMA (指數移動平均線) 等技術指標資料。
  

• 關鍵指標文本化: 這是本專案的特色之一。它將 MACD、RSI 這類傳統的時間序列數據，用自然語言描述出來（例如：「RSI 目前為 46.4」），強迫 LLM 在文本層面理解技術指標。

處理：模型的「思考鏈」 (Chain of Thought)

下面是網頁上實際的 GPT-5 API 回應結果:

{"cot_trace": "**Examining liquidation risk**\n\nWhen it comes to a short position, liquidation happens if the price rises above a certain level. In my case, the liquidation price is 0.17 and it matches the entry, which gives me pause. Since the current price is 0.167, I’m feeling safe for now. Yet, the liquidation price being so close means I can't widen my stop, especially since it is set at 0.171712. That puts me at critical risk, as the stop is above the liquidation price.\n**Assessing long position risks**\n\nIt seems the liquidation price might be rounded, like 0.170 when it could have more decimals. If liquidation happens at 0.17, hitting 0.1717 would liquidate before the stop, which doesn’t seem feasible. While we shouldn't close early, I’m checking my long position in BNB. Invalidation requires a 4-hour candle close below 990 and open interest over 62000. Currently, the price is 993.635 and OI is 65954.12, which doesn’t trigger invalidation. Although the 4-hour trend is negative, I’ll stick to my strategy.\n**Confirming holding positions**\n\nI need to hold all six positions without any adjustments since modifications like adjusting stops or profit targets aren’t allowed. For each coin, I have to provide an object that includes several fields: coin, signal (which will be 'hold'), the full quantity size, profit target, stop loss, invalidation condition, leverage, confidence, and risk in USD. \n\nFor example, with ETH having a quantity of -1.3, I’m writing it as is since the instructions specify using the full current size. There’s a bit of confusion about sign conventions, but I’ll follow the guidelines provided for holding.\n**Finalizing position details**\n\nI’m confirming the details for short positions, where negative quantities matter. For example, the quantity for my first position is -1.3, so I’ll output that. The profit target is 3407.47, the stop loss is 3719.44, the leverage is 12, confidence is 0.63, and the risk is 156.53. \n\nI’ll check other positions too, like SOL with quantity -35.79, XRP -1509.0, and BTC -0.02. For BNB, I have a quantity of 3.5, a profit target of 1073.65, and a specific invalidation condition related to open interest that isn’t met yet.\n**Creating hold signal JSON**\n\nI need to ensure the hold signal is set correctly. If any stops or targets were triggered since entry, the system will handle that automatically. I won't enter new trades since we have existing positions in all symbols, and we can't increase size. \n\nThe output will be a single JSON object with keys for each coin: ETH, SOL, XRP, BTC, DOGE, and BNB. Each will have the required fields formatted as floats. I'll ensure precision and check if any invalidation for BNB has triggered, but we can't infer anything from the current status. Now, I’ll produce the JSON accordingly.\n",
"cot_trace_summary": "My current strategy is to hold all positions as my analysis suggests current market conditions do not warrant adjustments despite a significant overall loss. I'm maintaining my short positions in ETH, SOL, XRP, BTC, and DOGE, as well as my long position in BNB, focusing on their individual exit plans and risk management parameters."}

如 cot_trace 所示，LLM 會接收提示詞，並進行一段類似人類的「思考過程」。它會評估風險（”Examining liquidation risk”）、評估倉位（”Assessing long position risks”），並最終決定其行動。

輸出：結構化的 JSON 交易決策

LLM 最終會回傳一個標準化的 JSON 物件，作為其交易指令。這個 JSON 包含了所有關鍵決策：

• 交易訊號 (Signal): hold (持有) 或 sell (賣出)。
• 風險參數 (Risk Parameters): profit_target (止盈) 和 stop_loss (止損)。
• 退出條件 (Invalidation Condition): 一個 LLM 即時生成的、基於技術指標的出場規則（例如：「4 小時 K 線收盤價高於 3800 並且 4 小時的 MACD 柱狀圖連續 2 根為正值」）。
• 信心指數 (Confidence): 一個 0 到 1 的數字，表示模型對此決策的信心。

範例格式如下：

{
"ETH": {
          "risk_usd": 156.53,
          "leverage": 12,
          "confidence": 0.63,
          "quantity": -1.3,
          "invalidation_condition": "Close early only if a 4h candle closes above 3800 AND the 4h MACD histogram turns positive for 2 consecutive bars.",
          "profit_target": 3407.47,
          "stop_loss": 3719.44,
          "justification": "",
          "coin": "ETH",
          "signal": "hold"
        }
}

二、 方法論缺陷：是「策略」還是「幻覺」？

儘管機制看似完整，但從嚴謹的量化交易角度審視，Alpha Arena 在方法論上存在幾個根本性的缺陷。

缺陷一：策略是「幻覺」，而非「回測」的產物

這是最核心的問題。LLM 產出的 invalidation_condition（退出條件）並不是一個經過系統性回測證明其有效的策略。

相反地，它更像是 LLM 基於其龐大的訓練數據（網路論壇、分析文章），「幻覺」或「拼湊」出來的、當下聽起來最合理的交易規則。這如同要求 AI「即時創造」一道新菜，而非嚴格執行一道經過千次測試的米其林食譜——聽起來很棒，但穩定性與安全性存疑。

缺陷二：缺乏一致性與可重複性

傳統的量化交易程式是確定性的：相同的輸入（RSI > 70）永遠會觸發相同的條件。

但 LLM 本質上是機率性的。這意味著，即使下次遇到完全相同的市場數據和提示詞，LLM 也不保證會生成完全相同的 cot_trace 或 invalidation_condition。它下一次可能認為「RSI 跌破 50」才是出場條件。這使得整個系統極度不穩定、無法驗證，也無法回測一個「隨機變動」的策略。

缺陷三：不科學的「自信度」評分

經過分析顯示，模型給出的 confidence 分數高度集中在 0.6-0.7 之間，且未見低於 0.6 的分佈。這種集中的數值分佈，不像科學計算的結果，反而更像 LLM 作為評判者（LLM as a judge）時產生的「幻覺分數」。
我們直接去抓取網頁的 api 回應，實際去分析 LLM 的輸出，統計所有模型的 LLM Response ，分析發現 0.6-0.7 出現的頻率非常高且頻繁，且沒有出現低於 0.6 信心的分佈，不是很合理情況。

正常情況下，如果分數是經過科學計算的，它應該是一個連續的分佈。

--- confidence 分數的出現次數 ---
分數 0.62: 48 次
分數 0.63: 32 次
分數 0.64: 16 次
分數 0.65: 85 次
分數 0.67: 17 次
分數 0.7: 100 次
分數 0.75: 62 次
分數 0.78: 24 次
分數 0.8: 12 次
分數 0.85: 12 次
分數 0.9: 12 次

缺陷四：時間序列「文本化」導致時間意義缺失

將 MACD、RSI 這類時序數據轉換為文本序列，是為了迎合 LLM 的輸入格式。然而，Transformer 架構是基於 token 的順序去預測下一個 token，它無法真正理解「時間的連續性」。

當時間序列被「壓平」成文字時，LLM 的「腦海」中缺乏了時間的維度。雖然它可能在預訓練中學到了 MACD 和 RSI 的基本概念（這或許能解釋 Deepseek 表現較好的原因），但要求它基於這種「無時間感」的文本去做出精確的時序預測，是有難度的。

三、 潛在價值：為何 Alpha Arena 仍有價值

儘管缺陷明顯， Alpha Arena 也是有其價值。它的真正價值不在於當下的交易績效，而在於它展示的潛力：

潛力一：革命性的「可解釋性」 (Explainable AI)

LLM 的思維鏈是這個專案最有趣的部分。傳統量化交易的「黑盒子」模型（例如 SVM 或神經網路）很難解釋為什麼它要買入。

而 Alpha Arena 迫使 LLM 用人類可讀的語言來「解釋」它的決策過程（”Examining liquidation risk…”）。對於某些機構而言，這種決策過程透明化的特性是有價值的，可以使用 AI 輔助決策。

2. 潛力二：「非結構化數據」的巨大潛力

目前專案僅將「結構化」的技術指標文本化，這確實是上面說的缺陷之一。

但如果在這個框架中，讓 LLM 在 Prompt 中加入，去處理非結構化數據，這就是 LLM 相較於傳統模型，最具壓倒性優勢的地方。
例如：

• 「這是過去 1 小時社群平台上關於 BTC 的恐慌指數」
• 「聯準會主席在 5 分鐘前的發言偏向鷹派」

傳統模型難以理解這些文本的語意和情緒。而 LLM 交易機器人是有潛力將「市場情緒」、「新聞事件」和「技術指標」真正融合在同一個決策模型中的架構。

潛力三：一個極具價值的「元實驗」

Alpha Arena（阿爾法競技場）這個名字本身就點出了其價值。它不是在宣稱誰是最好的交易模型，而是建立了一個「競技場」讓所有模型同台競技。

這本身就是一個非常有價值的實驗。它讓我們首次有機會在相同的規則下，橫向比較不同 LLM（GPT-5, Gemini,Grok…）的金融推理能力。

四、 結論：一個「有趣」但尚未成熟的未來

從技術層面分析來看，Alpha Arena 目前更像是一台令人興奮的「概念車」。它存在「策略幻覺」、「缺乏一致性」等根本性的方法論缺陷，使其目前的交易結果不具備嚴謹的科學意義。

然而，它的價值絕非零。Alpha Arena 成功地展示了 LLM 在決策可解釋性和融合非結構化數據方面的巨大潛力。它作為一個「AI 競技場」的實驗，其價值遠高於它產生的帳面損益。

總體而言，這是一個「好玩有趣」且極具啟發性的專案，它為我們揭開了 AI 金融交易未來樣貌。

雖然 FinLab 支援 Qlib 很久了，但一直沒有好好的跟大家介紹如何使用，於是乎，最近中小股票真的表現令人窒息，所以就好好做研究，相信總會時來運轉的。台股權值股與中小型股差異，來到20年來最大，台積電創新高之際，已經有很多股票跌破年線了，老實說，虧很多嗎？是還好，但就是很悶，心情不受影響是不可能的，然而人生在世，就是來體驗這些喜怒哀樂，就讓我們繼續努力，看結果如何，雖然很煩，但是我還是對於未來非常樂觀！

Qlib

Qlib 是由微軟開源的量化投資工具庫，專注於基於機器學習的投資研究。它提供了資料處理、策略建模、回測及評估的一站式解決方案。

Qlib 在 FinLab 中的應用

Qlib 的演算法有非常多前人研究的心血，不是我們能夠短時間比擬的，所以要站在巨人的肩膀上，才能事半功倍！Qlib 的最大特點，就是在於

1. 特徵的建構

2. 模型的多樣選擇

基於以上兩點，你都可以透過 FinLab package 將它們給接入進來使用。然而我覺得 Qlib 架構比較難與其它的生態系或 Package 整合，因為整個框架以程式系統來說，是比較封閉，沒辦法與傳統的 sklearn，或是 lgb、xgb 整合，所以才需要使用 FinLab 將其解放。

Qlib vs FinLab

Qlib 是通用型的 package，所以特徵都是使用價格來製作，而 FinLab 本身支援台股多樣的資料與指標，所以延伸的部分非常多！歡迎將以下的功能當成基礎版本，自己加入更多特徵來增進模型的運測能力！

安裝

接下來，將會使用 Colab 來進行設定，但以下範例需要 Colab Pro 版本，才能順利運行，因為 RAM 的需求太大了。假如各位沒有買 Colab 付費版，也可以在自己的主機上試試看，初次安裝，需要有以下的套件：

!pip install finlab > log.txt
!pip install ta-lib-bin > log.txt
!pip install catboost > log.txt

上面的程式中，安裝 talib 的方法，是使用 ta-lib-bin，是 colab 上特別的安裝方法，假如你是在桌機上使用，要用

conda install conda-forge::ta-lib

來取代。

安裝 Qlib

安裝 Qlib 的方式，有很多種，一種是直接將 github 上的最新版本下載下來安裝：

!git clone https://github.com/microsoft/qlib.git
%cd qlib
!make install
!pip install .
%cd ..

要注意，以上的程式碼是在 terminal 中使用，不是 python 語法喔！

製作特徵

我們可以使用 qlib 內建的功能，產生出158種，或是360種不同的價格訊號，只需要三行即可完成：

from finlab.ml import qlib as q


q.init()
q.dump()
f158 = q.alpha("Alpha158")

然而這樣的資料量，實在是太大了，所以我們可以將資料的頻率改成「週」，大約可以減少80％的資料量，這樣的訓練方式，勉強能夠在 Colab Pro 上執行（50GB RAM）。假如是 alpha360 資料集，基本上會需要上百GB，就請有這樣硬體能力的玩家自行上手了！

from finlab.ml import label as mll
from finlab.ml import feature as mlf

features = mlf.combine({
    'qlib': f158,
}, resample='W')
labels = mll.return_percentage(features.index, period=2)

is_train = features.index.get_level_values('datetime') < '2020-01-01'

接下來，我們發現，f158之中，有一個特徵都是 NaN（也就是空值），我們必須要將它刪除：

features = features.drop('VWAP0', axis=1)

目前原因不明，應該還有一些 BUG 需要釐清，也可以利用 `mlf.combine` 自行計算補上 VWAP 的資料。

訓練模型

訓練模型的環節，FinLab 提供一個超級好用的功能

model_templates = q.get_models()

就可以將 qlib 所有的模型導入，並且直接用來訓練：

import gc
import numpy as np
import pickle
from finlab.ml import qlib as q

model_templates = q.get_models()
is_train = features.index.get_level_values('datetime') < '2020-01-01'


model_path = './models.pkl'

if os.path.isfile(model_path):
  with open(model_path, 'rb') as f:
    models = pickle.load(f)
else:
  models = {}


for name, Model in model_templates.items():
    print(name)

    if name in models:
      continue

    if name == 'DNNModel':
      continue

    try:
      X_train = features.loc[is_train]
      y_train = labels.loc[is_train]
      model = Model()
      model.fit(X_train, y_train)

    except:
      notna = X_train.replace([np.inf, -np.inf], np.nan).notna().all(axis=1) & y_train.replace([np.inf, -np.inf], np.nan).notna()
      X_train = X_train.loc[notna]
      y_train = y_train.loc[notna]
      model = Model()
      model.fit(X_train, y_train)


    with open(f'models.pkl', 'wb') as f:
      pickle.dump(models, f)

    models[name] = model

    gc.collect()

訓練的過程中，可能訓練到一半 RAM 會掛掉，所以每次訓練好新的模型，程式會將所有模型都儲存起來，方便下一次直接調用。訓練時，會將 training data 自動切出 validation data，來確保訓練時避免 overfitting。

測試

最後我們可以回測看看模型得效果如何：

import pickle
import numpy as np

model_path = './models.pkl'

if os.path.isfile(model_path):
  with open(model_path, 'rb') as f:
    models = pickle.load(f)


ys = {}

for name, model in models.items():

  try:
    y = model.predict(features[~is_train])
    ys[name] = y
  except:
    y = model.predict(features[~is_train].replace([np.inf, -np.inf], np.nan).fillna(0))
    ys[name] = y

from finlab.backtest import sim
import matplotlib.pyplot as plt
from finlab import data

reports = {}
for name, y in ys.items():
  print(name)
  with data.universe('TSE_OTC'):
    close = data.get('price:收盤價')
    report = sim(y[close.notna()].is_largest(20), resample='M', upload=False)
    reports[name] = report
    report.creturn.plot(label=name)

plt.legend()
plt.show()

其實效果算是滿不錯的，實單上，經過更多的調教，我的經驗，會比當前的成果更好，有興趣的玩家可以多多嘗試！其中一些策略回測甚至可以有 40％到50％的平均年報酬率。

話說最近 AI 模型，這幾個月的表現可能都不太好，然而換一種想法，就是當前可能不太適合使用 AI 模型吧～不代表它以後都沒效果，而是時運不佳的關係，反而讓我的心裡有點釋懷。

由上表可知，我們可以選擇 LightGBM 模型來選股，效果最好。

以下示範一個年平均報酬 +50%的策略，這絕對是價值數萬元的程式碼，就這麼隨便的放在這邊讓大家取用，請你跟我說，在世界上的哪一個角落，可以找到這麼神乎其技的AI模型選股績效？找不到吧！只好請大家繼續支持 FinLab，讓我們可以活下去，謝謝：

y = ys['LGBModel']

with data.universe('TSE_OTC'):

  close = data.get('price:收盤價')
  vol = data.get('price:成交股數')
  pos = y[((vol.average(20) > 200_000)) & (close >= close.rolling(10).max())].is_largest(10)
  report = sim(pos, resample='M', upload=False)
  report.display()

選定待優化的策略

進化後的本益比｜本益成長比選股策略 一文中用簡單的單因子回歸產生一個簡潔卻有效的選股策略。為了製造比較多的回測樣本，我們將之前的策略調成每月選取20檔標的。
留意本篇的測試資料結果可能隨著資料集增長而產生差異，回測僅供參考。
回測年化報酬率23%是不錯的水準，夏普率勉強優於大盤的0.9，但最大回撤率蠻高的，報酬率曲線震盪有點劇烈，好幾次回檔30%，實戰的持有過程肯定會備受考驗，可以加上哪些條件解決波動的問題呢？

from finlab import data
from finlab.backtest import sim

pe = data.get('price_earning_ratio:本益比')
rev = data.get('monthly_revenue:當月營收')
rev_ma3 = rev.average(3)
rev_ma12 = rev.average(12)
營業利益成長率 = data.get('fundamental_features:營業利益成長率').deadline()
peg = (pe/營業利益成長率)
cond1 = rev_ma3/rev_ma12 > 1.1
cond2 = rev/rev.shift(1) > 0.9

cond_all = cond1 & cond2
result = peg*(cond_all)
position = result[result>0].is_smallest(20).reindex(rev.index_str_to_date().index, method='ffill')


report = sim(position=position,name="本益成長比", fee_ratio=1.425/1000/3,upload=True,mae_mfe_window=30,position_limit=0.05)
report.display()

製作波動性 Labels

給對的學習目標很重要！選擇比努力更重要！
一般機器學習選股策略使用報酬率做 label ，但演算法只會判斷報酬率的賺賠高低，並沒有辦法學習波動特性，若給定的 label 一開始就有所限制，再怎麼學也是無法跳脫只追求高報酬的風險。

MAE & MFE

揭開策略的波動面紗｜MAE&MFE分析圖組使用指南 一文中解釋了 MAE 與 MFE 的可幫助我們分析策略波動和基本應用，我們可以輕鬆由FinLab模組中的 report.get_trades() 取得策略標的持有歷程的 MAE 與 MFE 與其他交易資料。 report.display_mae_mfe_analysis() 則可顯示波動率分析圖組，幫助我們觀察波動分佈。

從上圖中的 GMFE / MAE 子圖可以發現波動分佈分為三塊：

• 最多聚集的一塊是在左下角小賺小賠的標的。
• 策略獲利的標的有些是「高 GMFE 低 MAE (往上高波動、往下低波動)」，給我們帶來極高獲利，這在趨勢策略較常出現，是我們想保留的。
• 虧損的標的大多是 「低 GMFE 高 MAE (往下高波動、往上低波動)」的族群，有些標的持有紀錄還有 -50% 以上不利跌幅，這些會影響到策略的波動穩定度，是我們想淘汰的拖油瓶。

若能用MAE & MFE 取代報酬率作為 label，就可以讓模型學習判斷波動度與報酬率，若三個分群有特徵共通性，那之後做機器學習可能可找到有效分類 「高 GMFE 低 MAE 」 與 「低 GMFE 高 MAE」的特徵。

Kmeans 分群

如何界定「高 GMFE 低 MAE 」與 「低 GMFE 高 MAE 」 ？
這時非監督學習演算法Kmeans就可以粉墨登場，幫我們去做分群的動作，讓模型自動幫我們藉由 GMFE 低 MAE 兩項特徵分出三個群集。
注意分群給的數字具有隨機性！比如「高 GMFE 低 MAE 」可能分類標註為1，下次執行跳為2。
在模型訓練前，因用有少數大幅獲利與多數群集分太開，先使用 from sklearn.preprocessing import StandardScaler 將資料做正規化，將資料傳入 Kmeans 分群，並將結果繪圖呈現分佈。
我們把預設值 y_pred 放入原本的 trade dataframe，設為 group，就完成 label 標記了，輸出結果可以發現 Kmeans 成功幫我們分出三個顏色區塊。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans

from sklearn.preprocessing import StandardScaler

def scale_data(data):
    scaler = StandardScaler().fit(data)
    X_scaled = scaler.transform(data)
    return X_scaled

scale_mae = scale_data(trades['mae'].values.reshape(-1, 1))
scale_gmfe = scale_data(trades['gmfe'].values.reshape(-1, 1))


plt.figure(figsize = (8, 8))
random_state = 100
X = np.hstack((scale_mae,scale_gmfe))
y_pred = KMeans(n_clusters=3,random_state=random_state).fit_predict(X)

scatter = plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.legend(*scatter.legend_elements())
plt.title("mae_gmfe kmeans")
plt.xlabel("mae")
plt.ylabel("gmfe")

為了讓模型更專注於「高 GMFE 低 MAE 」與 「低 GMFE 高 MAE 」 的學習，只保留 group 為1、2 (藍綠點) 的部分，我們把白點的區塊視為不影響大局的雜訊，藍色和綠色的點才是影響策略波動的關鍵

cluster_trades = trades.copy()
cluster_trades['group'] = y_pred
cluster_trades['stock_id'] = cluster_trades['stock_id'].apply(lambda s:s[:s.index(' ')])
ana_targets = cluster_trades[cluster_trades['group'].isin([1,2])]
ana_targets = ana_targets.reset_index().set_index(['stock_id', 'entry_sig_date'])

決策樹-探索低波動因子

標注完了 label 後，就可以進行下一步，尋找有沒有選股條件能辨識label ，這就要換監督式學習登場。這部分的程式主要參考 Python 理財：打造自己的 AI 股票理專課程 單元 3-7-隨機森林選股策略實作，因資料量級較小，把隨機森林換成決策樹。

製作 Features

將想測試的資料或可能的低波動因子並成 dataframe 準備進入模型訓練，特徵可以使用 Finlab 資料庫 取得，並將資料以 2019 年為分界點，切成訓練及測試資料集。

模型測試結果

將資料集套入 sklearn 決策樹，驗證目標為label=1的集群(低 GMFE 高 MAE )，若找到機率越高，能有效躲避波動。
測試結果放入 confusion-matrix 驗證結果，抓出「低 GMFE 高 MAE 」的準確度達75%，預測45(34+11) 次內有34次正確。
指標意義詳見～Precision, Recall, F1-score簡單介紹。

import pandas as pd
from sklearn import metrics
from sklearn.tree import DecisionTreeClassifier

label = ana_targets[ana_targets['mae']> ana_targets['gmfe']]['group'].values[0]
features_name = list(features.keys())
cf = DecisionTreeClassifier(max_depth=3)
cf.fit(dataset_train[features_name], dataset_train['group'] ==label)


prediction = cf.predict(dataset_test[features_name])
confusion_matrix = metrics.confusion_matrix(dataset_test['group'] == label, prediction)
tn, fp, fn, tp = confusion_matrix.ravel()
confusion_matrix = np.array([[tp, fp],[fn, tn]])


print('f1 score:',metrics.f1_score(dataset_test['group'] == label, prediction))
print('precision score(p):',metrics.precision_score(dataset_test['group'] == label, prediction))
print('recall score(p):',metrics.recall_score(dataset_test['group'] == label, prediction))


plt.figure(figsize=(10, 6))
sns.set(font_scale=2)

ax = sns.heatmap(confusion_matrix, annot=True, cmap='Blues')
ax.set_title('Confusion Matrix with labels\n\n');
ax.set_xlabel('Actual Values')
ax.set_ylabel('Predicted Values');

## Ticket labels - List must be in alphabetical order
ax.xaxis.set_ticklabels(['True','False'])
ax.yaxis.set_ticklabels(['True','False'])

## Display the visualization of the Confusion Matrix.
plt.show()

因子重要性

from sklearn.tree import plot_tree 可繪製出決策樹的機器學習選股決策流程，最上頭的X[8]為’融資使用率’，使用33.6當數值分界點，X序列等同features_name排序。
cf.feature_importances_ 可得知重要因子的影響性分數。

優化測試

參考 features_name 、 plot_tree 設定條件數值，加入條件到原本的策略，檢測能否優化。
檔數、部位上限、週期設定不變，只加上選股條件。數據會因資料集擴增而有差異，僅供參考。

低融資使用率

加入 (融資使用率 <= 34) 條件。

低進場波動率

加入 ( entry_volatility <= 0.032) 條件。

低融資使用率 ＆ 低進場波動率

回測分析

單因子中「低融資使用率」效果最強，明顯提升「夏普率」，「最大回撤率」則變動不大。可能代表原本的策略蠻多虧損或大幅低檔震盪的源在選到高融資使用率的股票，這類股票通常是市場的大波動熱門股，持有者偏向短線操作，很不穩定。

「低進場波動度」雖然讓「年化報酬率」減少，但是「夏普率」和「最大回撤率」提升效果比「低融資使用率」更優。低進場波動度代表買入時波動穩定，比較不會碰上已漲一大段的飛天股之後的乖離過大修正，若之後要加上停損條件，也比較不會在持有初期頻繁停損被洗出場。

「低融資使用率」若與「低進場波動度」因子結合，「夏普率」 從原先策略的 0.9 拉升到1.5，「最大回撤率」降到 -17% 的水準，明顯優化回撤波動。幾乎每一年回測都是正報酬穩定度明顯提升。

結論

這樣的優化策略思路是不是很有趣呢？藉由多元 label 的設定，讓機器學習能考慮多方面去強化策略，只用 scikit learn 最基本的機器學習演算法，非監督式學習與監督式的雙流分工，就能讓優化策略的流程省時省力，趕緊來試試用機器學習選股讓策略更上一層樓吧～
colab 範例檔
低波動本益成長比策略部署

Numerai 提供股票的 features，由資料科學家（我們）訓練模型並產生結果，上傳後匯聚成最後的權重，來控制對沖基金的部位。我們沒辦法知道每檔股票的名稱，所以沒辦法用 Numerai 的 features 來做交易，但我們上傳到平台上，假如績效好的話，Numerai 會額外給我們加密貨幣 NMR 當作獎勵，雖然 Numerai 是很棒的練兵的地方，但是由於要用 Stake NMR 加密貨幣才能獲利，而且 NMR 的價格波動會導致獲利的風險偏高。所以還是自己做交易比較實在，想要機器學習自學，就看這篇吧！

那要怎麼樣產生出上千個 features 呢？好在用 Python 製作 features 是很簡單的，只要用常見的 Packages 像是 Talib 或 pandas_ta ，加上參數的變化，就可以隨機產生出很多的 features。但困難在於，做了好幾千個 features，究竟哪些是重要的呢？假如用了沒意義的 features，反而混淆訓練結果，造成模型的績效效果不好。

Tuneta 介紹

介紹給大家 Tuneta 這個工具可以幫我們最佳化技術指標的參數。它有以下幾個功能：

1. 支援 Talib、Pandas_ta、finta，這三種不同的函式庫，有統一的接口，你再也不用擔心不同函式庫整合的問題。
2. 針對每種技術指標，可以最佳化參數，讓產生出來的 feature 跟 lable 之間有最高的 correlation
3. 並不是使用一般的 Pearson correlation coefficient 來判斷，而是使用一種叫做 distance correlation 的判斷機制，就算是非線性的關係也會被納入考慮。
4. 使用 KNN 將搜尋的參數分群 Cluster，然後針對每一個 Cluster 找出中心點，這個作法可以找到參數高原。
5. 產生每個 features 後，支援 sklearn 的 pipeline 格式，可以快速的引入當前的項目之中，點也不費力。

Tuneta 的效果

以下是 Tuneta 做機器學習例子，加入我自己的機器學習系統中，確實對於 Model 的判斷有顯著的增長，並且使用 feature importance 分析，這些 tuneta 產生的 feature 確實分數都滿高的：

機器學習深度學習，我覺得在做交易時比較少用到。比較常使用的是傳統 treebase 的模型，而非神經網路。我覺得這個 Package 的缺點在於，有時候我們會需要重複的指標當作 features，例如「sma(10)」和「sma(60)」，但是它只能幫我們產生出單個技術指標的最佳解。不過經過驗證，產生出來的 features，確實效果都還不錯！接下來我們就真的來建構一個模型吧！

實驗設計

機器學習python實作，我們使用 pandas_ta 的 default 參數，將所有 pandas_ta 的技術指標計算出來。另外對比 tuneta 優化後產生的技術指標，比較兩個模型的預測結果，並且用回測來驗證是否能真正幫助到獲利。

使用 colab 來建構統一的環境，方便大家還原實驗的結果。首先我們要先來下載 tuneta，但除了 tuneta 以外，還要有歷史資料，可以安裝 finlab-crypto 來獲得。

!pip install finlab-crypto -q
!wget http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gz
!tar -xzvf ta-lib-0.4.0-src.tar.gz
%cd ta-lib
!./configure --prefix=/usr
!make
!make install
!pip install Ta-Lib
!pip install -U tuneta
!pip uninstall numpy --yes
!pip install numpy

下載歷史資料和 feature 建構

安裝了所需的 Package ，就可以來下載歷史資料：

from finlab_crypto import crawler

ohlcv = crawler.get_all_binance('BTCUSDT', '4h')
ohlcv.head()

使用 Pandas_ta 產生 features

接下來我們先用 pandas_ta 自動產生出預設的技術指標，當作對照組：

import pandas_ta as ta
ohlcv.ta.strategy("Momentum")

default_features = ohlcv.iloc[:, 11:]
ohlcv = ohlcv.iloc[:, :11]
default_features.head()

使用 Tuneta 產生 features

接下來我們用 tuneta 產生實驗組，眼尖的人會發現我是用 tta，也就是 talib 函式庫來產生 features，你也可以用 pta，也就是 pandas_ta 函式庫。但是在 colab 上要跑很久，所以我擅自改成 tta。在這邊實驗有點不完備，但留給大家自行發揮。

from tuneta.tune_ta import TuneTA

train_test_split = '2021-1-1'

X1 = ohlcv.loc[:train_test_split].iloc[:-8]
y1 = (ohlcv.close.shift(-2) / ohlcv.close).loc[:train_test_split].iloc[:-8]

tt = TuneTA(n_jobs=4, verbose=True)
tt.fit(X1, y1,
    indicators=['tta'],
    ranges=[(2, 30)],
    trials=100,
    early_stop=20,
)
tt.prune()
print(tt.report())

tt_features = tt.transform(ohlcv)
tt_features.tail()

最後我們來比較兩種不同的 feature 做出來的效果。像是一般的方法訓練即可。

模型訓練

import lightgbm as lgb

# generate training data
X1_train, y1_train = default_features.loc[:train_test_split].iloc[:-8], ohlcv.close.pct_change(-2).loc[:train_test_split].iloc[:-8]
X2_train, y2_train = tt_features.loc[:train_test_split].iloc[:-8], ohlcv.close.pct_change(-2).loc[:train_test_split].iloc[:-8]

# train
model1 = lgb.LGBMRegressor()
model1.fit(X1_train, y1_train)

model2 = lgb.LGBMRegressor()
model2.fit(X2_train, y2_train)

# test and predict
X1_test, y1_test = default_features.loc[train_test_split:], ohlcv.close.pct_change(-2).loc[train_test_split:]
X2_test, y2_test = tt_features.loc[train_test_split:], ohlcv.close.pct_change(-2).loc[train_test_split:]

y1 = pd.Series(model1.predict(X1_test), X1_test.index)
y2 = pd.Series(model2.predict(X2_test), X2_test.index)

最後我們來看一下究竟效果如何，可以用真實報酬跟預測結果的相關性來比較，越高代表越好。下面的實驗中，我們可以看到對照組的模型 ( model2 ) 比實驗組好很多。

import pandas as pd

pd.DataFrame({'real': y1_test, 'pred': y1}).corr().iloc[1,0], pd.DataFrame({'real': y2_test, 'pred': y2}).corr().iloc[1,0]

(0.007258040702236883, 0.02274027435611208)

最後我們可以做一個簡單的回測，試試看用這兩個模型做交易，績效會有什麼不一樣。首先，要決定進場的時機，將模型預測的分布顯示出來：

有了上圖，就可以設計進場時機，為預測結果大於 0.04 時進場8小時。接下來撰寫回測模擬：

y1_test[y1 > 0.04].add(1).cumprod().plot()
y2_test[y2 > 0.04].add(1).cumprod().plot()

上圖的回測結果中，綠色為實驗組，比對照組的報酬率顯著上升不少。

小節

由以上的實驗，可以證明對於 feature ，使用 Tuneta 參數優化是非常有效的。現在行情不好，大家可以趁現在默默耕耘，等時機到的時候，馬上就賺回來了！

這篇文章中，我把市值跟ROE拿來做比較，並且利用SVM來訓練判斷，看看市值跟ROE對於股價漲跌的關連！

什麼是SVM？

SVM的全名叫做 Support Vector Machine，而這類的機器學習，會用 hyperplane 將空間切開，進而將空間中的座標進行分類，所以當我們有2個features時，就可以將第一個feature當作 x 軸，第二個 feature 當作 y 軸，然後顏色代表漲跌，畫出一張圖：

其中的綠色點，就是代表下跌的股票，而紅色的點，則代表了上漲的股票，而hyperplane 就是黃色的時線，將這個平面上畫出精準的一刀，切成兩個部分，右半部份，代表SVM覺得未來會上漲，左半部份代表SVM覺得未來會下跌的股票。

以上是由視覺的方式來說明SVM，數學的部分，其實大家國中高中都有學過，其實就是點與 hyperplane 的長度，SVM會計算「點到線」之間的長度，來決定誤差。當有越多點歸類錯誤的時候，SVM就會將這些「點到線的距離加總」，當作是錯誤總分，越大越不好，於是演算法不斷的移動這個切割線（hyperplane），來達到最完美的狀態，使得錯誤總分最低。

SVM 的 Kernel Trick

我們上述的都是一條直線的 hyperplane ，但其實它不一定得是直的，只要能夠切分出不同的區域來分類即可。下圖就是使用linear的kernel跟曲線的kernel的範例：

接下來，我們就來使用不同的kernel，來將股票做歸類，看它們究竟會上漲還是下跌？我們所使用的 features 只有：ROE、市值
方便我們以圖形化的方式呈現並理解，以下是結果：

使用線性的kernel

此時 hyperplane 就是很簡單的一條線。雖然是簡單的一條線，但它還是非常有用處，我們可以藉由這條線的斜率，來瞭解 ROE 跟市值的關係：

程式自動最佳化後，上圖就是程式找到一刀最完美的切法，

• 黃色三角形為上漲的股票
• 藍色正方形為下跌的股票
• 黃色平面是SVM認為會上漲的股票
• 藍色平面是SVM認為會下跌的股票

這邊的市值跟ROE都已經經過preprocessing，所以跟我們平常看到的數值不太一樣，我們由上圖可以看出程式在想什麼：

機器學習：市值越高的股票，ROE也要越高

可以看到上圖中，斜率是正的，代表當市值越高時，SVM 會傾向於選擇 ROE 高一點的股票，而且此條線偏上方，代表ROE比較高比較好，所以我們可以做一些歸納；

假如有一檔股票「市值高，但是ROE低」，不會被選進來

這樣的想法算滿合理的，因為大家對市值高的股票期望比較高，或是公司的規模比較大，但此公司坐擁資源竟然還沒辦法為股東賺錢，於是期望可能轉換為失望，所以SVM表示看跌。

當然這個理由是我自己加的，SVM 是無情的最佳化結果而已。
另外我們也可以看到：

對於「市值低，ROE低」的公司，SVM會比較寬容

一檔「市值低，ROE低」的公司，SVM會比較寬容一些些（但還是有一定的門檻）只是不如市值高的公司那麼嚴苛罷了。

我們來看一下以此種邏輯回測的結果，紅色為預測會漲的股票，綠色為預測會跌的股票，每季獲利的平均

效果很不錯，但是這個邏輯是否是完美的呢？
我們再來使用不同的kernel，試試看：

使用曲線的kernel

下圖為使用不同的kernel，所做出來的分類結果，我們使用2次多項式來對股票進行分類：

怎麼分出來完全不一樣呀！我們來看第二個實驗，SVM又告訴了我們什麼：

市值高的股票 ROE 不要太高

這其實還是有些道理的，ROE 太高的股票不要買，這個是很多實驗都有做出來的結果，因為大公司的獲利，好歹也是龐大而穩定的系統，ROE高是會有上限的，不可能一直成長，當今天ROE已經很高時，代表接下來不會更高了，甚至還有可能會衰退。

所以買市值高的股票時，SVM傾向「ROE 不要太高」！

市值低的股票 ROE 越高越好

然而本實驗的另一個特點，就是SVM統計出來，發現市值低的股票ROE高是沒有關係的，至於原因可能是因為，市值低的股票，大家對於該公司期望並不高，在此狀況下，高 ROE 的數值跌破大家的眼鏡，所以造成長期的後市看好。（只是推測）

所以買市值低的股票時，SVM傾向「ROE 盡量高一點」！

市值中間的股票，不要買

這個條件是最詭異的一個，我還是不要亂解釋好了XDD。

回測結果

這樣的邏輯可以獲利嗎？我們可以看以下的結果，紅色為持有預測會漲的股票，綠色為持有預測會跌的股票，每季獲利的平均：

也是有不錯的獲利！
利用 SVM 來分辨漲跌的股票，真的還滿有趣的，本文利用了兩種不同的 kernel：

• linear
• polynomial
  來進行分類，結果顯示 linear 的分類，跑出來的回測獲利比較優秀，但由這兩種不同的kernel，製作出來的模型，都可以拿來獲利。

雖然兩個模型的闡述「相互矛盾」「有點道理、但又有點詭異」，就像是投資界眾說紛紜的理論一樣，所以以後看到相互矛盾的論點，其實不一定誰好誰壞，甚至說不定都能夠獲利，這就是股票市場的有趣之處。

你可能會問，以time series來說，明明神經網路可以使用 LSTM，為何要用 CNN？LSTM應該比較適合處理時間序列呀！（畢竟LSTM是拿來處理文字字串的神經網路，字串也是一種時間序列，所以通常預測股價，大家會用LSTM）。但文章中說明，目前CNN用於圖像處理比起其他的模型，被研究的更透徹，也有大量的研發，所以說不定效果更好，所以採用了 CNN 神經網路來預測股價的漲跌

他們用15個技術指標 X 15 天，產生出一個 15×15 的影像，將這個影像丟入 CNN 神經網路中做訓練，下圖就是神經網路所「看到」的input：

想想對於人類來說，這個影像對我們來講沒什麼意義，但是對於電腦來說，就可以拿來判斷股價的漲跌喔！還滿酷的！我只是在想為何是15×15為何不將圖像變的大一點？

我們會將上面這些圖片稱之為features，也就是電腦用來判斷買賣的資訊，電腦用這些資訊，就可以預測交易訊號，也就是這個神經網路的label。作者提供了一個簡單的方式，使用rolling window，去找每段時間的最大值最小值，以下是大致上的程式碼，有興趣的話可以深入研究，不過我們在這邊就點到為止。

上述的方法，會產生（-1, 0, 1）的訊號，分別代表（賣、不做動作、買），但是由上述程式碼產生出來的訊號，必然會有imbalance的問題，也就是三種class的數量不一致，所以本篇文章使用random resampling的方式，隨機取出相同數量的 label 對應到的 testcase，來避免 0 太多的問題。

此篇 paper 中用了美股的 ETF 和 道瓊 30 檔成分股當訓練的標的。
有了 feature 跟 label，很理所當然的，我們就可以開始訓練了！
此篇 paper 的神經網路如下：

• input layer (15×15),
• two convolutional layers (15x15x32, 15x15x64),
• max pooling (7x7x64),
• two dropout (0.25, 0.50),
• fully connected layers (128),
• output layer (3)

上面的架構中，input就是單純的 15 x 15 的圖片，output 有3個，分別是買、賣、不做動作。
中間的 convolutional layers 跟 pooling
作者說由於training dataset不大的關係，所以神經網路不用太大，不然會造成overfitting的狀況。

這篇 paper 使用 walk forward 的方式來測試，好處是可以產生時間較長的回測結果，
以下就是他們的回測績效（其中兩檔ETF）：

而他們也有將效果跟其他的神經網路作比較，幾種常用的方法：

• CNN-TAr 作者使用的方法
• BaHr 所謂的 buy and Hold 長期持有
• RSIr 利用 RSI技術指標做出來的策略
• SMAr 均線策略
• LSTMr 神經網路策略pip
• MLPr 一般神經網路策略

下圖就是商品（每一個row）和不同策略（每一個column）所對應到的年報酬率：

可以發現這種神經網路的效果比其他的更好！在大部分的商品都有比較好的年報酬率喔～

更多內容都可以參考該論文的連結喔！

沒有參加課程的同學，也可以跟我們一起學習，下方的程式碼都是完全公開的！請大家自行拿取玩玩看喔！

機器學習 「features 和 labels」

假如您不知道Labeling是什麼，那我們這邊還是先簡單的介紹一下supervise機器學習(監督式機器學習)：

這一類的機器學習模型，可以想像是一個函式 function f，我們想要計算 y = f(x)，其中 x 就是 features，另外 y 就是 labels，假如我們想要預測天氣，則 x 就是 溫度 濕度 等等，而 y 就是 0 或 1 代表是否會下雨，假如我們想要預測股價，則 x 就是 技術指標、財報等等，而 y 就是股價。
機器學習就是產生這麼一個 function f，可以藉由 x 來推估 y，也就是 y = f(x)，下方就是機器學習用來訓練的資料（x, y）的示意圖，其中 x 就是一些技術指標，而y就是買賣訊號：

機器學習模型（f）大部分是一個黑盒子，也就是我們不需要知道 f 的公式是什麼
（也不太可能顯示出來，因為太複雜了）

而我們就會先給一些 x 跟 y，並且讓演算法去產生 f，
這個就是 supervise 機器學習模型的基本概念

假如我們要用機器學習來預測股票，就要先有 x 跟 y，也就是 features 跟 labels
假如我們想要預測股價，要怎麼樣來製作 feature 跟 labels 呢？

製作 Features

製作 feature 的資料，可以是一些財報、技術指標、我們課程中也有很多製作這些指標的方式，相信網路上也有很多的介紹，由於不是此篇的重點，所以我就不多說明了XD

製作 Labels

製作 label 其實是非常至關重要的，假如 label 太難預測的話，模型會無法有效的訓練，以往最基本的 label 製作方式是使用 fixed time horizon 來預測 w 個時間單位後的漲跌，下圖就是 fixed time horizon 的 Labeling 方式：

上圖中在 p(t) 的時候，我們希望預測 p(t+w) 的股價，是比較高還是比較低
我們可以使用分類的方式，將股價的漲跌分成三個部分，也就是─1（跌）、0（不漲不跌）、1（漲），這樣子我們就可以讓機器學習來預測，上面圖中，我們可以發現股價比之前的高，所以把它歸類在 1 ，也就是之後會漲。

缺點

然而這種方式有一個缺點，就是當今天模型叫我們買入的時候，一買就是持有 w 個時間單位，不論股價大漲或大跌都必須繼續持有，不能停損停利，這樣就會導致風險無法控制。

當然我們可以在事後回測時加上停損停利，但是這樣就跟模型的初衷有違背，模型產生的label明明就是持有 w 個時間單位，沒有停損停利。

為了解決上述問題，[Prado 2018] Advances in Financial Machine Learning 提出了以下的新方法：

Triple Barrier

這個方法的示意圖如下：

乍看之下跟 fixed time horizon 有點類似，不過這個方法將分類的方式做了一些改進，上圖中，用了三種不同顏色的「柵欄」，當股價從 p(t) 開始出發，隨時間不斷延伸，一定會碰到三個柵欄中的其中一個，而這三個柵欄分別代表了不同的意義：

• 1（停利）
• 0（持有 w 個時間單位）
• ─1（停損）

如此一來，我們就可以讓機器學習來預測「包含停損停利獲利狀況」，訓練出來的模型就可以跟回測的設定相符，增加機器學習的可預測性！
雖然概念很好理解，但要寫成程式碼還是需要一點功力，尤其是執行速度快一點的程式碼，下面就分享如何產生此類的label。

程式碼

首先我們可以藉由股價爬蟲這篇裡面介紹的程式碼，來獲得股價，

df = crawl_price("2354.TW")
df.Close.plot()

針對以上的程式碼，
假如想知道 crawl_price 的實做，可以點入股價爬蟲這篇

接下來就可以來製作 labels 了！
在我們的機器學習影音課程中，使用的是 fixed time horizon 的方式，先來看看效果如何：

date = '2017'
df.Close[date].plot()
(df.Close.shift(-20) / df.Close > 1).astype(int)[date].plot(secondary_y=True)

上圖中藍色的為股價，對應到左邊的y軸，黃色的是訊號，對應到右邊的y軸，也就是機器學習要學的 label，其中 1 代表買入，0 代表賣出，看起來效果有些不OK，因為訊號會在短時間內上下跳動，讓我們不知道到底該買還是賣，所以接下來我們就來試試看剛剛所介紹的 triple barrier 產生出來的 label。

下面這段是非常珍貴的程式碼，就連 Advances in Financial Machine Learning 書中附帶的程式碼，都沒有以下的程式碼更簡潔、更完整、更有效率，假如你的 pandas 技巧不夠好的話，請直接拿去使用就可以了XD，不用太深究此 function 中的程式碼！

import numpy as np
import math
def triple_barrier(price, ub, lb, max_period):

    def end_price(s):
        return np.append(s[(s / s[0] > ub) | (s / s[0] < lb)], s[-1])[0]/s[0]
    
    r = np.array(range(max_period))
    
    def end_time(s):
        return np.append(r[(s / s[0] > ub) | (s / s[0] < lb)], max_period-1)[0]

    p = price.rolling(max_period).apply(end_price, raw=True).shift(-max_period+1)
    t = price.rolling(max_period).apply(end_time, raw=True).shift(-max_period+1)
    t = pd.Series([t.index[int(k+i)] if not math.isnan(k+i) else np.datetime64('NaT') 
                   for i, k in enumerate(t)], index=t.index).dropna()

    signal = pd.Series(0, p.index)
    signal.loc[p > ub] = 1
    signal.loc[p < lb] = -1
    ret = pd.DataFrame({'triple_barrier_profit':p, 'triple_barrier_sell_time':t, 'triple_barrier_signal':signal})

    return ret

ret = triple_barrier(df.Close, 1.07, 0.97, 20)

這個 function 的使用方法，就是將

• 時間序列（程式碼中的df.Close）
• 停利(程式碼中1.07是指7％停利）
• 停損(程式碼中0.97是指3％停損）
• 最大持有時間（20天）

分別丟入 triple_barrier 函式當中，就可以計算出以下的 Dataframe

ret.head()

上圖中有三條序列，其中 index 是日期，另外三條時間序列分別是：

• triple_barrier_profit 當天買入，直到停損停利後，未來的獲利狀況
• triple_barrier_sell_time 當天買入，未來會持有的時間
• triple_barrier_signal 當天買入，未來觸發的是停損停利

我們可以將 triple_barrier_signal 訊號跟股價一起畫出來比較一下：

date = '2017'
df.Close[date].plot()
ret.triple_barrier_signal[date].plot(secondary_y=True)

label 的訊號變得比較乾淨，試試看訓練出更好的模型吧！
可以使用 google colab 線上編輯此代碼

動機

股價預測一直都是非常熱門但具有挑戰性的機器學習題目，通常這類的文章不乏是使用各種的資訊，例如股價、技術指標、公司獲利、新聞資訊，並將這些資料餵給一些模型，例如 linear regression, SVM, 或是 NN 來預測未來股價。雖然這些方法被證實是可以使用的，但是預測能力不佳。因為當中有些資訊不但對於預測未來股價沒有幫助，反而會擾亂預測的準確度。

此篇文章的貢獻

這篇文章提出了 multi-input LSTM model，來使用額外的神經網路額外架構，從低相關連的資訊找出有價值的，並且濾掉不必要的雜訊。並且利用了額外的LSTM邏輯來建構「mainstream」的結構，並用「mainstream」所計算出來的資訊，來遺忘或記憶有用的資訊（gates）。此架構比原本的LSTM效果要更好。

MI-LSTM

這是個特別針對金融股價預測所研發的架構，其原理是先找出想要預測的timeseries，並且找出N條高度正相關的timeseries（以股票而言，就可能是同類型的公司股價），還有N條最負相關的timeseries當作是此預測模型的輸入資料。有了這些資料後，下圖就是MILSTM的整體架構，其中 Y 是欲預測的股票的歷史股價，而 ​​\bold{X}_n^iX​n​i ​​就是第 i 個高度正相關的timeseries，而\bold{X}_n^iX​n​i​​ 就是高度負相關的 timeseries。最後 X_i 是大盤的 timeseries。

上圖從左到右的解說如下

• LSTM：此圖中的最左邊部分，就是簡單的LSTM計算而已，假如想要知道什麼是LSTM，可以參考這篇關於LSTM的詳細解說。
• Average：往右，可以看到高度正負相關的timeseries的LSTM，額外經過平均的運算，至於為什麼要這樣做，相信是效果比較好的緣故，當然實做時也可以拿掉、或是使用不一樣的的計算方式。
• Multi-Input LSTM：而比較有趣的地方，在於其中紅色的Multi-Input LSTM這個部分，在於它像是一個變種的LSTM架構，多了很多的 gate（請參考LSTM文章來瞭解什麼是「gate」）。此MILSTM可以額外展開如下圖，可以發現跟一般的LSTM長的差不多，但是多了有顏色的三條資訊流，並且此三條資訊流都有額外的gates來篩選要儲存的資訊。

• 接下來是Attention Layer，其實跟LSTM原本的Attention是非常類似的，還是非常建議現瞭解LSTM是什麼，不然到這邊你應該已經頭很昏了XD。

實驗結果

這篇文章使用了300檔股票的歷史股價進行訓練，單一一檔的股票歷史資料一定不足，但是假如300檔串在一起，則樣本數應該就足夠了，既然都已經發了期刊，當然實驗結果要比別人好，所以以下是實驗的結果，當中的MSE就是誤差（mean square error）的意思：

可以發現MI-LSTM獲得了最小的實驗誤差，相比起其它的model效果更好，而其它的model屬於LSTM的變形，這邊就先不介紹了。可以參考這篇LSTM文章。接下來，他們進一步分析了MI-LSTM中，每一類input的效果，種共有以下四類：

1. Mainstream：欲預測的股票其歷史股價
2. Positive：高度正相關的一群股票
3. Negative：高度付相關的一群股票
4. Index：大盤

下圖就是這四種不同的資訊流在神經網路中，通過softmax的時候的權重隨著訓練次數的變化：

最後可以發現Mainstream跟Index的資訊是最有效的，大盤對於股價的影響是非常大的，與投資時的狀況符合一致，大盤漲跌對於個股的影響很大。另外可以發現Positive跟Negative的權重被降低了，代表雖然這些資訊有很價值，但是當中也有很多的雜訊，所以權重被有效的分配。

選股策略

這篇文章提出了一種選股的策略，對於所有股票，都判斷明日的漲跌，並且每日選出漲跌最佳的20檔股票，不考慮手續費，可以得到以下每段時間的歷史報酬：

可以看到MI-LSTM的效果比傳統的LSTM和大盤還要好，當然考慮了手續費後效果可能會打很多折扣，甚至是虧損。要是我的話，會想辦法增加預測時間的長度（但預測難度也可能會增加），從每天變成每個禮拜，這樣手續費可能比較不那麼誇張多。但我猜他們可能也有做過類似的實驗，但沒有成功？或是他們覺得這樣已經很好了？

實做上建議使用pytorch或是tensorflow會比較簡單，這篇文章只是簡單的介紹其架構，然而要寫程式的話，還是利用paper中的數學公式，會比直接看架構圖更好理解和實做，會比較好喔！

這篇paper的作者非常的認真，總共訓練四種不同的模型：Artificial Neural Network (ANN), support vector machine (SVM), random forest (RF) 和 Naive-Bayes (NB)。

這邊假如看不懂沒有關係，可以想像「模型」就是「電腦的大腦」，負責學習每種指標怎麼對應到未來的漲跌。之後有空再來慢慢介紹這些不同的「大腦」背後的數學原理。

此論文主要建構製作兩組traning data：

• 包含十種技術指標
• 為這十種技術指標的看漲看跌
  前者為 float （被normalize成-1～1）
  而後者為 boolean （也就是只有輸入True和False）。

究竟這些排列組合會迸出什麼樣的火花呢？

選擇模型

研究發現Random Forest的表現是最好的，而ANN差了一點，
這是滿正常的，畢竟data set還是太小，神經網路很難訓練的非常好。
至於傳統的NB則是最差的。

其實也可以考慮一下LSTM，說不定效果也不錯？
（但因為LSTM還是基於ANN，所以有可能遇到traning set太小的問題）

選擇traning data

如同上面所述，此篇論文總共先用了十種技術指標，以下是這十種常見的指標，為了讓文章不會太冗長，我就不一一解釋了，之後有空再來介紹每種指標的用法。

這篇paper會將這些技術指標的數值，每一項做normalize在-1～1之間，這樣的優化主要是為了ANN和SVM。以下是這個model的架構：

另外，全文的特點是使用了提出了 「Trend Deterministic Data Preparation」，看起來非常的厲害，簡單講就是將這些指標的數值究竟是「看漲」還是「看跌」拿來訓練，而不是訓練指標本身的數值。

例如均線好了，與其拿均線的值來訓練，不如看「股價跟均線的關係」，假如股價在均線之上，就是「看漲」（True），反之則「看跌」（False）。其他指標都能以此類推！

以下就是新增了一層資料的修改的架構：

最後發現使用了「Trend Deterministic Data Preparation」
效果好很多！

結論

這篇文章中，可以大概知道每一種model對於技術性指標的數據的效果如何。並且了解了用「Trend Deterministic Data Preparation」來進行優化。經過了非常多參數的比對，發現使用RF model做出來的策略效果最好。然而這只限於頻率為「天」的股價，假如頻率不是「天」，則可能會不一樣～。

這篇文章利用美股開盤前的所有重要指數，例如油價、貴金屬價格、以及全球股市的對於美股的影響，既然全球市場是連動的，那這其中必定有一些關聯，下圖就是這篇paper所使用的重要指數：

建構features

這篇文章想要找出股價的趨勢，而不是絕對數值，所以其features除了股價外，也有一段時間股價的變化，這邊先叫做window size w，並且對於價格的變化進行normalize。

分析features

我覺得本文值得讚許的地方在於有提供一些簡單的方法做features的分析，可以由這些方法知道哪些features對於預測是非常有幫助的！

論文中使用了cross correlation來分析各種不同商品的價格對於NASDAQ影響。要說明cross correlation，就要先從correlation說起，correlation是兩種不同的數據，其相關性的係數。correlation介於-1到1之間，分別代表這兩種時間序列之間的關聯性：

• correlation = -1：代表數據完全負相關，也就是A漲B就跌的概念
• correlation = 0：代表數據之間沒什麼關聯，也就是A漲跌跟B漲跌完全沒關係
• correlation = +1：代表數據之間是正相關，也就是AB同漲同跌的關係

那「cross」又是什麼意思呢？就是將兩組時間序列的時間錯開，差N天，並且觀察其correlation。

下圖就是所有的商品對於NASDAQ的cross correlation 分析，X軸就是差N天的N，而Y軸就是correlation，可以看到，在X = 0 時，NASDAQ跟NASDAQ的相關性是1，代表NASDAQ與自己的指數完全正相關，而很多商品都會在N = 0時有正相關性！

所以我們使用N = 0來預測NASDAQ的股價會是最好的，但是N = 0的資料是沒有辦法使用的，因為你不能在當天的開盤就知道NASDAQ的收盤價，這樣就代表用到未來數據了。

所以我們只能退而求其次，用 N < 0 的資料，也就是前N天的資料，我們可以發現N = -1的地方有一點小突起，代表某些資料對於NASDAQ的correlation也是很高的，可以拿來利用！

唯一想吐槽的是這張圖很多顏色都重複，所以根本看不太清楚是哪些商品，拿來預測NASDAQ比較準。

三個維度的 cross-correlation

另外，這篇paper也提供了不同股價區間差w對於漲跌的correlation：

可以發現商品價格與NASDAQ股價之間是有一定的關係的，假如商品之間彼此沒有關聯，這張圖就不會呈現三角形的山丘狀，而是會看起來像是隨機的樣子。

上面這張圖說明了一件事情，股價變化越長時間來觀察(w 越長)，NASDQL跟許多商品的前一天的correlation是越高的，可以藉由提高精準度！

藉由上述的兩個實驗，我們知道股價變化量的重要性，重點不是股價本身，而是股價的漲跌幅度才有辦法更好的預測股價～

除此之外，作者想要進一步知道哪些時間序列對於NASDQL是重要的，所以進行了一個簡單的預測實驗

預測明天的價格

作者也利用每一個單一序列當作單一feature，來預測隔天的漲跌，發現利用DAX這個時間序列來預估NASDQL會得到最好的結果：

作者並沒有說這邊的model是哪一種，我猜應該是SVM，因為feature_size很小。
這樣我們就可以找到比較重要跟不重要的時間序列，之所以要這樣是因為此篇paper有用SVM當作model，而SVM比較適用於小feature_size的traning set。

預測N天後的價格

除了每天的價格外，此paper也研究K天後的價格漲跌，發現K越大，則預測的能力越好，下圖中 K 為 x 軸

測試 w 的大小

接下來，此paper也測試了不同的 w 對於訓練的成效： f1 score 的影響，f1 score是precision跟recall的綜合分數，其中：

• precision 是所有 model 顯示為 true，而真正為 true 的比例
• recall 是所有真正為 true 的資料，被 model 標示為 true 的比例

f1 score 就是 precision 和 recall 的 harmonic mean。harmonic mean同時也被用在電阻的並聯計算上，你可以想像電阻並聯時，假如任何一個電阻太小，電流就會傾向從那裡通過，造成等效電阻很小。同理，你可以想像有一顆電阻叫做precision，另一顆叫做recall，任何一方太小，都會導致f1 score 變得很小。於是 f1 score 就是同時可以兼具 recall 和 accuracy 的一個優化指標。

上圖中的兩條線分別是 positive 和 negative 的 f1 score。當 w 在 0 或是 50 時，f1 score 相對來說比較好。

以上就是分析 w、K、等參數怎麼設定比較好的一些分析，當我們得到這些參數，並且建構出預測漲跌的model後，就可以將model產生的結果拿來回測

回測績效

這邊總共用了三種方法來回測：

1. 假如預測會漲，就持續於整段回測週期持有股票
2. 當預測會漲機率上升時，持有股票，不然則賣出
3. 當預測會漲時，持有，反之則賣出

以下是回測的結果：

可以發現利用第三種方式，回測的績效比較好，這邊跟我自己做出來的結論是差不多的。

總結

今天學到的一些知識：

1. 用cross-correlation來分析features
2. 利用SVM來測驗單個features是否有辦法預測漲跌，進而分析feature的好壞
3. 使用移動窗格來找出最佳的f1_score

這篇paper利用ML的方式，找出世界上重要的商品價格之間的關聯，並且也有使用SVM或是MART來預測NASDAQ指數的漲跌，個人覺得滿有趣的。經總就應該這樣作研究！

美中不足的是應該可以歸納出一些現象，輔助一般不會程式的投資人，這樣會更好！