我們現在處於一個大泡泡中，

全球指數漲翻天，

更不缺像是比特幣、特斯拉這種倍數增長的個股，

你要怎麼在這樣的炒作行情下獲利，甚至是高效獲利，

將小泡泡吹成大泡泡，

就讓我們用數學的方法算給你看！

當前全球股市指數都頻頻創高，

有些人引以為戒，調節部位，

有些人享受當下，乘風破浪，多賺一把，

你是哪一種人呢？

LPPLS 如何幫助我們選股呢？

我們今天要介紹的選股方式，

就是利用泡沫，將你的資產越吹越大！

具體而言要如何辦到呢？

這個影片中你會學到如何用 LPPL 來選股，

找出潛在的泡沫股票，

讓市場的瘋狂將這些標的推升，

在泡沫吹大後，

趁著還沒有爆掉之前，趕快出脫，

再轉手下一檔股票，不斷的轉換！

上禮拜我們介紹了 LPPLS 泡沫檢視器，

可以幫你預測泡沫何時來臨，以及泡沫發生的機率，

並且免費贈送一套工具，讓你診斷，

還沒看的，可以先去看上一集，

看完那篇，就會更瞭解其中的數學原理喔！

LPPLS 要如何檢測是否有泡沫呢？

簡單來講，LPPLS 假如想要預測當下的泡沫

就會使用很多不同大小的時間窗格，

針對每個時間窗格，都去檢測時間序列是否有泡沫，

由於 LPPL 演算法並不穩定，所以每個時間窗格，都會給出不同的答案

有些時間窗格會顯示有泡沫，而有些則不會。

所以 LPPLS 就是將所有的結果匯總起來，

例如範例中，有18個時間窗格，那其中有5個窗格顯示有泡沫，

則發生泡沫的機率就是 5 / 18

那我們就來做實驗吧！

我們實驗涉及了台股2000檔股票、

乘以共3000多天的歷史資料！

乘以每天 18 個時間窗格的分析

總共進行了4 百萬次的 LPPL 分析

只換你一個讚和訂閱就好了，是不是很划算？

用 LPPLS 分析 0050

接下來就讓我們來看一下分析好的結果吧！

我們針對每檔股票 每20天跑一次LPPL，

以台灣50ETF為例子，我們可以看到

紅色的是價格，

而藍色為每20天的 LPPL 的顯示結果，

數值高代表可能有泡沫，

數值低代表是反泡沫，也就是可能會有觸底反彈的事件發生

由於我們是每20天執行一次LPPL

所以訊號會比較稀疏

但大致上還是可以預測低點或是高點

LPPLS 台股總體分析

在下面的圖中，我們針對每一檔股票，

都去執行上述 LPPL 的計算

就可以得到在某個時刻，

台股整體究竟有幾檔股票有泡沫，或是反向泡沫

首先，我們可以以2020年底，繪製出有多少股票可能會有泡沫，並且泡沫的程度是多少。

橫軸是LPPL得分，就跟我們剛剛說的一樣，

數值是正的代表股票越容易有泡沫，

0代表不會有泡沫

數值是負的代表股票可能有反向泡沫，

而縱軸則是得到該分數的股票的數量，

由於2020年底瘋狂上漲，

我們可以看到很多股票都有泡沫的現象

例如滑鼠指的這裡，大約有140檔股票，得分為 1 ，代表140檔股票有潛在泡沫發生，

另外，我們以2020年疫情崩盤為例子，

可以看到 4 月 8 號時的全體台股，LPPL 分佈圖，

這個分佈圖，大部分的股票得分是負的，代表有反向的泡沫，是反向操作的好時機

我們可以將每20天的股票，

所有得分加總起來會得到下圖，

紅色是加權指數報酬率，

藍色是所有股票得分總和，

設計一個簡單的策略，

當得分來到-500以下，

並且分數逐底時，自信進場

這些時刻就是自信進場接刀，賭身家的時間了！（開玩笑的）

平時如何應用泡沫選股指標獲利呢？

但我們可以發現，這種時機點幾年才有一次，

所以平常的時候，要怎麼用LPPL指標獲利呢？

我們這邊可以簡單地來分析一下，

將所有股票依照LPPL的分數，來進行分組，

縱軸是LPPL分數，橫軸持有天數，

而色溫圖則是報酬率

例如，我們看到當LPPL分數為 7 的股票群，未來發生泡沫的機率高，

所以在評分完後的13~19天，可能會崩跌，

另外，當LPPL評分為 -7 ，代表可能有反向泡沫，

雖然會序跌造成虧損，但也會跌深反彈，

我們可以看到滑鼠附近顏色比較跳躍，

代表跌深反彈的時間上非常難抓，

代表接刀困難，很難寫成策略。

不過我們可以看到此圖中最亮的部分，

報酬率平均到達2％之多，很適合高效的選股，

代表這部分的股票，由於上漲的關係

雖然被認為是有泡沫發生的可能，但是發生的機率比較低，

適合做趨勢型的追蹤測略，

接下來我們就可以來設計一個策略

每20天換股一次，平均的買入所有 LPPLS 評分為 N 的股票清單

累積報酬率顯示如下：

累積報酬率最好的是LPPLS分數為 2 的股票

其實LPPLS分數為 1～3 的標的，表現的還不錯

但是LPPLS分數為 4、5 的標的，由於泡沫發生的機率增加，

所以導致報酬率小於綠色的大盤

實單做實驗

做實驗就要用真槍實彈，不要紙上談兵，

接下來，我們就真的來買入LPPLS分數為2的這些股票，

我們將這些股票平均分散買入，並且測試看看20天後的報酬率！

下圖是使用這個策略的月報酬率分佈結果，可以看到策略的報酬率分佈偏向右邊，

代表使用這個策略的期望值是正的，是大於 1的。

但是還是有很多個月是小於 1 ，是虧錢的，

這次使用這個策略，每個月的勝率是65％，

對於量化交易來說，我們盡可能製作出一個期望值為正的骰子

但是要獲利的話，短期來說還是得靠運氣

但由於我們做的骰子期望值大於 1

你必需要不斷的骰，持之以恒

才能夠體會它的功效！

結語

在留言區輸入股票代號，我們就會告訴你目前他的泡沫指數是不是2

假如是2，就代表是有小泡沫的股票，適合買入，

假如大於 4，就代表泡沫有潛在破裂的可能，要稍微減碼囉！

趕快來檢驗看看吧！

讓 FinLab 告訴你什麼時候泡沫會破裂
讓你在大家瘋狂的時候，獲利了結
等到恐懼的時候，再逆勢買進

金融波動大，要如何高買低賣？

2020算是金融波動非常大的一年，
三月因為疫情關係，台股暴跌到8000多點，
大家都覺得完蛋了，於是出清股票，停損觀望，
想不到這時候政府國安基金，全球印鈔 QE 救經濟，
去年年底，台股又飆升到了 14000 點，
簡直就像是坐雲霄飛車一樣！

要如何買在低點買在高點呢？
就要像巴菲特說的一樣，眾人恐懼我貪婪！
但這句話其實我們已經聽到爛掉了，具體而言要怎麼實行呢？
其實非常困難，例如在三月的時候，股市崩盤，
親朋好友都叫你趕快賣掉股票了，你還不賣嗎？
那時候疫情剛爆發，感染者成倍數增長，
你哪有勇氣說自己是對的？你的勇氣會從哪裡來呢？

答案是從數學來的

全市場通用的泡沫模型

今天我們要介紹的泡沫模型
是多次預測泡沫包含

• 1990年納斯達克泡沫
• 2000年科技泡沫
• 2008年石油危機
• 中國市場泡沫
• 2009年美國房市泡沫
• 還有比特幣2017年泡沫

這個模型的簡稱是 LPPL 模型
全名是 Log-Periodic Power Law Model
原理其實就是假設這個世界有兩種人
A 和 B
首先 A 這類的人，他們是聽從別人建議的人，
也就是別人買我就買，看到別人賣我就賣，
而 B 是有自我主張的人，
也就說他不管別人的建議會按照，自己的行為來做決定，
而這個自由市場中，
A 跟 B 的訊息會不斷地交換，
交互影響對方的選擇。

以你來說好了，
有時候你會有自我的主張，
也就是對股票進行買賣，
但有時候你可能也會聽從別的意見，當作參考
每個人都有可能有時候是 A 或者是 B，
當今天泡沫高漲的時候，
這個價格系統臨界點發生時，
會有這麼一瞬間，
大家都變成 A，一致做出賣出的決定！
導致價格的崩跌。

LPPL 數學原理

有了這樣的概念，我們就可以來設計一個價格模型，
什麼是價格模型？簡單來講就是一個預測真實世界的公式。
LPPL 公式推導非常地複雜，借鏡了統一場論，
利用模擬群體的交互作用的總體效應，來大幅化簡模擬的複雜度。

下圖中，我們用圖讓大家更了解這個公式的數學原理：

首先 LPPL 模型，最重要的會有三個元素

• 一個是橘色的這個點
• 那另外是這條藍色的曲線
• 最後還有這條紅色的曲線

那這邊橘色的這個點，
它其實就代表著崩盤的時候的最高價格 A，
那什麼時候會崩盤時間點就是 tc，
那我們可以看到這邊除了這個橘色的點以外，
還有這條藍色的時間序列，它就是在敘述，
泡沫整體上漲的幅度。

最後，價格其實是會有波動，
所以除了用藍色這一條線來描述價格以外
我們還會需要小週期的震盪，
也就是紅色的這一條曲線，來描述波動。

有了這三個元素就可以，
更正確地來描述泡沫破裂的時間序列公式，
那我們的就可以將這三個部分，
合併成同一個公式，
來描述說當今天泡沫發生的時候，價格隨時間的變化。

那你可能就會說
「我們究竟要怎麼樣將這個公式
使用在我們現在任何一個商品中？！」

那接下來我們就可以來看一個例子，

例如這邊我們有一個商品，
它的歷史價格時間序列是上圖右半邊，
那我們就懷疑，最近價格漲了好高，
是不是有泡沫會發生呢？

那這時候，可以用剛剛的公式，也就是 P(T)，
代入不同的參數進去，會算出不同的時間序列（以顏色表示），
那這時候，就可以找到一組參數，
它會讓我們的時間序列最接近真實的歷史價格，
例如我們可以看到，這 4 個（顏色的）時間序列中，
紅色的時間序列，長得最接近原本的歷史價格，
所以我們就會說，這組時間序列的參數是比較合理的，
這組合理的參數裡面，就包含了 tc，也就是泡沫破裂的時間點！

你可能會問，這個公式真的能幫助我們賺到錢嗎？
我們要怎麼應證它是有用的呢？

跟我們一起來做實驗吧！

我們已經幫你做好了工具，可以直接來使用，
這個工具的費用，就是幫訂閱我們的部落格、YT
用正確方法和數學公式，安全穩定地投資理財，
這一套工具將會完全免費送給你！

這個股票泡沫檢測器不只可以幫你判斷，
究竟現在這個商品是否有泡沫，
我們可以針對任何一檔股票，
甚至是 Bitcoin 來做檢測，
只要是有收錄在 Yahoo Finance 的標的，全部都可以拿來做預測分析喔！

首先我們要先學會怎麼樣評量一個策略，才能設計低風險高報酬的交易規則，就算我們有這些很好的策略，這些策略也會有失效的時候，甚至是歷史績效很好，但上線後不佳的過擬合策略，究竟要怎麼避免呢？我們也會在這篇文章中，簡單的跟大家介紹，並且提供我們的解決方案！

評估策略績效

首先我們要怎麼樣評估策略呢？通常我們可以用Sharpe ratio 夏普指標來同時考量風險和獲利！Sharpe ratio 的計算公式如下：

首先 us 是策略的報酬率，而 uf 是我們將資產放在銀行中換取利息的無風險報酬，在現在低利率的環境中，通常我們會簡化成零，這兩個數字相減，就是超額報酬。

而分母 sigma s 是我們在使用策略的波動程度，所以你可以想像分子是超額報酬，超額報酬越大，Sharpe ratio 就越高。而分母則是風險，假如風險越大，則 Sharpe ratio 數值越低。

我們可以將超額報酬跟波動的程度用視覺化的方式來表示，上圖的橫軸是報酬率，橫軸上有 us 和 uf ，代表我們的無風險報酬和超額報酬 

可以注意到 us 就是策略的報酬率，其實是一個分佈圖，代表策略的報酬，並不是穩定的，策略歷史績效，也是會忽高忽低。而這個分佈圖的寬和窄，就是影響我們獲利的最大因素。

我們通常會用標準差來表示，也就是這邊的 sigma s ，我們通常會希望 sigma s 越小越好，代表我們越有可能獲得超額報酬。對映到這邊的公式，分母越小， Sharpe ratio 就越大！所以整體來說，假如我們希望 Sharpe ratio 越大，我們就要讓超額報酬 us 越大，且波動程度 sigma s 越小越好。

假設我們現在算的是每日的 Sharpe ratio ，我們想要讓它變成每一年的 Sharpe ratio，要怎麼來換算呢？

我們可以看到上圖中有兩個分佈，一個是每天的報酬率，另外一個是每一年的報酬率。而這兩個報酬率，我們用 SRd 代表每日的 Sharpe ratio，而 SRa 代表年化的 Sharpe ratio 。而這兩個數值，其實是有關聯的，我們可以再額外乘上一個數值來校正，還記得我們剛剛介紹 Sharpe ratio 的分子是超額報酬，分母是波動，我們先來看超額報酬的部分。

每天的超額報酬跟每年的超額報酬，其實就是乘以一年有幾個交易日來當做估計。例如我們每天賺 1 塊錢，那 365 天，就賺了365塊錢！同樣的對於分母，也就是波動程度，我們也要進行類似的估計，由於標準差的累積，跟天數並不是成正比，而是跟天數的開根號成正比，所以分母的部分，就以根號 d 來校正。

所以通常我們就會看到 在 Sharpe ratio 的計算中，要多乘一個開根號的常數的原因，通常這個常數 會是根號 252，因為一年的交易日只有252天。

但是對於加密貨幣來說，要乘以360，因為加密貨幣每分每秒都有可以交易。有了 Sharpe ratio 來當作策略衡量的標準，是不是只要做出高 Sharpe ratio 的策略，就能幫我們賺很多錢呢？

失效的策略

假如我們做出的策略沒有根據的話，就算做出高 Sharpe ratio 的策略，也有很高的機率是過擬合策略。在1880年代，科學家提倡使用占星術預測未來是很流行的，但到了現代科學，尤其是做交易，我們還是發明了很多，類似占星術的工具，像是震盪指標、Fibonacci序列、黃金比例、elliot wave 等等。雖然背後有明確數學定義，但其能獲利的根本的原因卻是不明的。占星術和技術指標，其實是非常相似的，不是說不能用技術指標，只是在用的時候，我們要確保從統計的角度，有真的達到優化的效果，不然技術指標不就跟占星術沒什麼差別了 ！

另外，還有一門學派，會使用人眼來交易，在台灣稱為「裸K」，也就是不用任何技術指標！但這樣的交易手法，其實也非常困難。例如下面兩個時間序列，你可以用人眼看出哪個是價格？而哪個又是亂數產生的序列嗎？

電腦是可以輕易分辨的，但用人眼卻是非常的困難，這也是為什麼做交易，最好是用量化交易的原因！

另外你可能會想，量化交易好難學，為什麼我不直接複製別人的績效？其實現在也有很多類似的平台，例如 etoro 可以簡單的複製績效！然而你在複製績效時，可能會發現，為何績效看起來都很好，但是等到我開始跟單時，績效就變爛了呢？

這個原因是因為，通常跟單平台的排行榜，都有生存者偏差。某交易者可能在這禮拜因為表現很好，進了排行榜，但是下禮拜就被踢出！

另外，也有可能是某詐騙集團，開了很多個帳號，讓這些帳號用相反的手法交易，反覆留下勝利的帳號，就可以得到下圖中，這種高報酬的歷史報酬！

然而當募資結束後，可想而知，這樣的策略績效一定會一落千丈，反正他們已經抽到佣金，可能拔腿就跑了。這也是為什麼我們還是必須自己來研究量化交易的原因！

其實要做一個超強的歷史績效非常簡單，我們只要妥善的設定停損停利，就可以製造出勝率很高的假象！因為價格近似於隨機漫步，所以只要停利設定的很近，就更容易達成，只要停損設定很遠，就不容易達成。利用這個原理，大家都可以製作出高勝率策略！

但是一次的虧損，可能就會吃掉所有的獲利！所以網路上有些連勝的策略，看看就好，不需要太過相信。

撇除了以上用技術手段來獲得好的成果，我們在做量化投資時，要如何來預防過擬合 ？最原始的方式，就是將歷史資料，分成 In-sample 和 Out-of-sample。 

In-sample 簡稱 IS ，而 Out-of-sample 簡稱 OOS 。我們會用 In-sample 來進行策略研發，而 Out-of-sample 來做最後的驗證。假如我們反覆的使用 In-sample Out-of-sample 的方式來驗證，就會發現策略當我們使用 IS 研發策略時，調整策略回測越多次，就會造成 OOS 中失敗的比例，也逐漸升高，是成正比的關係！

也就是真正有效的策略，不能夠調整太多次，否則就會造成過擬合，使策略失效的機率就會大增！

那還有沒有什麼方法，可以避免過擬合策略呢？

避免研發失效策略

我們在這邊列舉出幾個簡單的方式，而在我們的線上課程中，我們也會提供大家更深入的學術工具，來預防過擬合喔！ 

首先，假如我們有長時間的資料量做回測，代表策略經的起更多的考驗，做出來的策略，經過更多驗證，會更有效，比較不容易做出過擬合的策略！

但假如我們沒有更多的歷史資料怎麼辦呢？

我們可以將相似的資產歷史資料疊加在一起，讓策略在這樣的資料中進行回測，讓同一個策略用於多種不同的金融商品，可以預防過擬合。

另外，我們也可以使用 bootstrap 的方式來驗證績效，是不是運氣好而產生的，我們會在線上課程中有更進一步的講解！

第三種，就是將回測的次數做紀錄，盡量不要進行太多次回測！

第四種，策略沒效果就是沒效果，不需要硬要調整！

假如策略的進出場訊號沒有效果，則不需要再增加濾網，添加過多的濾網，也是過擬合的原因之一。

第五種，就是我們線上課程中會教的統計方法，在之後的文章中，再慢慢跟各位分享囉！ 

總結一下，這篇文章中，我們介紹了策略為什麼會失效，以及如何預防的辦法！看完這篇文章，希望能讓正在研究量化投資的大家，有初步的瞭解。之後的文章中，也會給大家一些量化投資應用在不只是股票市場，甚至是加密貨幣市場的範例，讓大家可以跟著我們一起研究 Python 量化投資！

為什麼要加密貨幣交易呢？

以下總結六點，包含了數據佐證、基本面的因素，整體市場的發展前景向好，只要將「小部分」資產配置於加密貨幣，帶來可觀的影響！可以是總體資產的1％～5％，就能在有限的風險下，提升整體報酬率。

1. 多元資產配置

根據統計，只要持有一小部分的加密貨幣，即可讓資產配置組合大幅上升，當然你可能會說，誰叫比特幣過去一直上漲？但是跌幅也很大呀！

為了方便分析，我們可以使用 Markowitz 投資組合來彰顯投資加密貨幣的好處，下圖中，橫軸是風險（Volatility），縱軸是獲利（Return）。我們會發現，假如加入加密貨幣，在做資產配置最佳化後，風險從 -15％ 變成 -17%，獲利大幅上升，從+8.6% 每年，上升到＋15.6％ 每年！風險控制下，可以有效的增加報酬！

2. 市場效率低

加密貨幣比起其他國際商品，由於機構或投資法人，還沒有完全涉入加密貨幣的交易，市場效率偏低，投資人大部分都是主觀交易的業餘愛好者，價格波動比較有規律可循，適合用量化交易系統性投資，優勢非常明顯。有些加密貨幣（altcoin），甚至只要用簡單的均線，就可以創造出低風險、高報酬的策略。假如投資是一場考試，有送分題，當然要作答呀！

3. 經濟週期末稍

大國由於中美貿易戰、疫情的影響，大家對於實體經濟前景並不很樂觀（在這邊是指實體經濟，不是股市啦！）各國央行印鈔票、降低利率、資金氾濫，此時黃金、貴金屬、加密貨幣，就會有一部分的金額流入。

4. 國際機構參與

加密貨幣市場前景，相較於2017年泡沫時，有更多的應用，且區塊鏈的交易速度和成本也有所提升，日本提出加密貨幣的金融工具和交易所法案，歐盟研擬加密貨幣制度，還有 VISA 跟 MASTERCARD 這些大型機構的加持，發展支付應用程式。總體來說，產業的發展逐漸邁向穩定，前景看好。

5. 未來財富轉移

美國聯準會統計，目前 71.9% 的財富集中在 55 歲以上的人口。然而他們的投資行為比較保守，根據 Survey.blockchain.capital 統計，只有4％的人在未來五年內「可能」會買加密貨幣，相較於年輕人，有32％。當這55歲高齡人口的 71.9％ 財富，轉移到下一個世代時，加密貨幣的需求量也會有顯著的上升。

6. 目前市值

美國的大型科技藍籌股，例如 AAPL、MSFT、GOOGL、AMZN，等，市值是加密貨幣市場的數倍，另外，黃金的市值是加密貨幣的20倍以上！代表加密貨幣的價值還有很大的上漲空間。加密貨幣的帳戶人數，一直都在穩定增加中，甚至在通膨高的國家，例如委內瑞拉，擔任穩定市場價格的工具、衡量價值的單位！潛在的應用場景跟現在的市值不成正比。

雖然現在大家對加密貨幣有不好的印象，覺得是泡沫，充滿了詐騙，沒有實質用處，但是以歷史為借鏡，我們可以參考很多類似的例子：

科技的發明與普及

一個跨世代的發明，剛開始總是被人嘲笑，但到後來，往往跌破大家的眼鏡。當年，車子剛發明的時候，大家就嘲笑它旁然巨獸，聲音大聲，動不動就卡在泥坑裡，還需要隨時加油，根本沒有加油站呀！到底要怎麼開車？騎馬方便多了！

筆記型電腦剛發明時，大家都嘲笑這個比書還要重的工具，開機還要五分鐘，翻書只要幾秒鐘，何必抱著一個厚重的磚頭每天到處跑？

電燈泡剛發明的時候，大家都說燈泡是「瘋狂的有錢人」家裡的炫富裝置，一不小心還會把家整個燒掉！太可怕了！政府剛開始安置家用電網的時候，大多數人都非常抗拒，覺得非常危險，影響人身安全。「明明不需要燈泡，反正有蠟燭就很實用了！」。但到後來，隨著越來越多家電，如吹風機，電風扇，吸塵器等發明，直到現在，你能想像一個人家裡沒有電嗎？

基礎設施的建立

一項顛覆時代的產品，必定要伴隨著基礎設施的普及，才會開始越來越有用，例如燈泡之於電網、車子之於柏油路、筆記型電腦之於無線網路。當建立這些基礎設施後，這些產品的優勢突出，成為人類生活無可取代的一部份，我覺得加密貨幣也有可能成為這樣的一種存在！有很大的發展前景。

你可能會覺得 FinLab 這次賭太大，竟然跑去交易加密貨幣！對我來說，FinLab 的意義，一直沒變，努力將量化分析應用到不同的場景，擁抱最新的科技，例如是當初的 2018 年智能理財、2019年機器學習，到現在的 2020 加密貨幣，我們希望可以當幫大家，讓大家成為科技前沿的領導者。雖然可能會有人批評太激進，其實我們依然秉持初心。

新課程買課送幣

我們是真的很想讓大家可以交易加密貨幣！假如大家可以跟我們一起學習、一起交易加密貨幣，是我們莫大的榮幸！所以特別舉辦開課前三天「買課送幣」的活動，幫大家入金，可以一起參與加密貨幣的漲跌。只要在開始募資三天內（9/2～9/4）購買新課程，就可以獲得價值台幣100元的加密貨幣！跟我們一起做交易！

我已經在部落格中學很多了，這堂課有什麼新東西呢？

在新的課程中，我們進一步來研究如何用 Python 研發單一商品策略，單一商品策略，跟選股比起來，有很多不一樣的地方。例如，如何最佳化，才不會造成 overfitting？如何設定停損停利點？如何加減碼？如何多策略分配權重？

答案是，除了一般你會的暴力窮解，其實有很多的學術文章可以參考，我們也會在新的課程中介紹其中的數學原理，並且幫大家實做好程式碼，可以直接應用，相信功能上會比 Multicharts 或 XQ 有更多的實用的功能。大家只要上一次課程，就可以一輩子帶著走的程式碼與知識，比付費購買程式更划算！

這堂課程中，你可以獲得一個框架，快速研究策略，並且上架 Google Cloud Function 雲端自動交易。我們這次擁抱 Python 開源的特性，跟大家一同打造一個完整的回測生態系！在未來，希望甚至可以應用在期貨等不同的商品上。

我們的課程就是希望突破自我，學到新東西，分享新知識，所以不用擔心課程過於簡單（從來都沒發生過！XD），不同於以往的課程，我們這次特別將程式碼進行大量包裝，讓大家使用起來更方便，減低上手的時間成本。

用Python打造加密貨幣實戰策略，我們上課見！

Finlab課堂上同學們的問題有60%以上都是在資料整合的問題中卡住，若學好Pandas的基本功，許多事情將迎刃而解，Excel有的功能，你通通可以用Python輕鬆解決，且效能更好，還可以客製化許多功能。

Pandas功能繁多，究竟哪些是最實用的函數呢？會應用在財經數據處理的哪些場景？這篇文章將整理出最實用的招式，當您開發選股程式卡關時，可來查詢這篇筆記複習可用的工具。

pandas資料結構

Pandas的底層數值型態為Numpy，採用Array(陣列)的形式來操作資料矩陣，同學們常分不清list和array的差異，外表也確實很像，最主要的差別在list中的資料型別不必相同，而array的中的型別必須全部相同，像是list_data=[1,2,3,’Hi’]裡有不同型別的資料，增加了儲存和消耗cpu，效能會比統一型別的array差，在運算大型數據時，差距感受會很明顯。

series

Pandas最基本的操作物件，資料型態為一維陣列，由values和index組成，index預設值是RangeIndex(start=0, stop=資料長度, step=1)來說。你可以視一個series為一欄資料序列，而多個series可形成一個table矩陣，有多欄資料，組成另一個重要操作物件：Dataframe。

# 常用方法
import pandas as pd
# 產生series
series=pd.Series(data=[1,2,3,4,5,6],index=range(1,7))
# 取出內容值陣列
series.values
# 取出索引陣列
series.index
# 檢查內容值是否不重複
series.is_unique
# series繪圖
import matplotlib.pyplot as plt
series.plot()

dataframe(簡稱df)

與Series差異在data的部分是多維資料，data參數可以填入dict形式或是陣列形式，通常都使用dict。df非常相容於dict的特性，像取df特定欄位的語法為df[‘欄位名’]，dict的key剛好等於df的columns，dict的value剛好等於df的values。df物件的方法包括series的操作方法。index可以用tuple list來設定多重索引。

# 常用方法
import pandas as pd
# 產生單一索引DataFrame，以下4個方法都可以
df = pd.DataFrame(data ={'A':[7,8,9],'B':[1,2,3],'C':[4,5,6]})
df = pd.DataFrame(data = np.array([(7,8,9),(1,2,3),(4,5,6)]),columns=['A','B','C'] )
df = pd.DataFrame(data = [(7,8,9),(1,2,3),(4,5,6)],columns=['A','B','C'] )
df = pd.DataFrame(data = [[7,8,9],[1,2,3],[4,5,6]],columns=['A', 'B','C'] )

# 新增欄位
df['D']=[1,2,3]

#重新命名欄位
df.columns=['1','2','3','4']

# 雙索引範例
tuples = [
   ('cobra', 'mark i'), ('cobra', 'mark ii'),
   ('sidewinder', 'mark i'), ('sidewinder', 'mark ii'),
   ('viper', 'mark ii'), ('viper', 'mark iii')
]
index = pd.MultiIndex.from_tuples(tuples)
values = [[12, 2], [0, 4], [10, 20],
        [1, 4], [7, 1], [16, 36]]
df = pd.DataFrame(values, columns=['max_speed', 'shield'], index=index)

# 取出欄位名稱
df.columns
# 取出內容值陣列
df.values
# 取出索引陣列
df.index
# 資料維度
df.shape
# 資料轉置，索引與欄位翻轉
df.T

資料篩選

loc與iloc為最常用的資料切片方法，前者以值來選取，後者以定位的數值來選取。兩者皆用list[]來操縱索引和欄位的切片。另外也有at和iat可使用，差別在at和iat是直接取value出來，而不是取series或dataframe格式。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.loc.html

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.at.html

df = pd.DataFrame(data ={'A':[7,8,9],'B':[1,2,3],'C':[4,5,6]},index=['date1','date2','date3'])

# 取出單一欄位，型態為Series
df.A
df['A']
df.iloc[:,0]
# 取出單一欄位，型態為Dataframe
df.loc[:,['A']]
df.iloc[:,0:1]
# 取出多欄位，型態為Dataframe
df[['A','B']]
df.loc[:,['A','B']]
df.iloc[:,:2]

# 使用loc與Boolean list篩選
df.loc[df['A'] > 7]
df.loc[[False, True, True]]
df.loc[lambda df: df['A'] >7]

# 雙索引範例
tuples = [
   ('cobra', 'mark i'), ('cobra', 'mark ii'),
   ('sidewinder', 'mark i'), ('sidewinder', 'mark ii'),
   ('viper', 'mark ii'), ('viper', 'mark iii')
]
index = pd.MultiIndex.from_tuples(tuples)
values = [[12, 2], [0, 4], [10, 20],
        [1, 4], [7, 1], [16, 36]]
df_multi = pd.DataFrame(values, columns=['max_speed', 'shield'], index=index)

# 雙索引資料使用loc切片時需將索引值以tuple來取值
df_multi.loc[('cobra', 'mark i')]
df_multi .loc[('cobra', 'mark i'):('viper', 'mark ii')]

資料數值處理

apply

應用於將函數鑲嵌到df的欄位做處理，通常會結合匿名函數lambda來處理欄位裡的數值，像是我們想把某欄的“,”去掉、取代字元處理(結合str.replace)，或是自己寫函數依據欄位值當變數產生客製化資料就可以使用apply。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html

astypes

欄位資料型態轉換，處理爬蟲時很常會碰到文字、數字、日期格式互轉的問題。

to_datetime、to_timedelta、to_numeric也是pandas常見的數值轉換工具。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.astype.html

drop

刪去不需要的欄列，像有時太多多餘資料，且需要的欄位又十分散亂，切片又不好使用時，可使用drop刪除不需要的資料。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop.html

drop_duplicates

移除重複。subset為重複欄位基準設定，keep參數可選擇要保留重複列的第一筆還是最後一筆。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html

dropna

依據na值來決定刪去不需要的欄列，像有時拉出財報，發現某些財報項目在一些股票並沒有出現，此時會產生na，為了過濾資料，dropna就可派上用場。要注意的是axis參數決定要以欄或列為單位來處理，how參數中的all和any決定該列和該行是要全部為na，還是有一個值為na就要刪除，thresh參數決定要保留有幾個非na值的行列。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html

fillna

缺失值處理非常常使用，像是股價遇到暫停交易時，可能會有空值，這時我們需要用fillna來拿暫停交易前一天的股價來補，不然在回測運算時會產生錯誤。特別要注意的是method參數中的ffill和bifill，前者是拿na前的資料補，後者是拿na後的資料補。limit參數決定要補幾個na，預設是全補。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html

head, tail

取前、後幾筆資料，預設值為5。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.head.html

isna, isnull, notna, notnull

檢查是否有na值或空值。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.isna.html

rolling

滾動式計算，非常常用在計算指標，如產生近3月平均營收的時間序列。參數min_periods有時會用到，決定要至少多少數值才列入計算，如想要近11月平均營收，但資料卻只有近5月，就會被放掉，若沒有特別設定，就是用近X月來算。

set_index, reset_index

將特定欄位轉乘索引、重置索引(索引轉正常欄位)。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.set_index.html

shift

平移時間序列數值，此用場景在回測應用，像是營收資料在10號公佈，但我們買進的股價會在11號，這時算回社時，就不能用10號買入價計算，必須要用shift來平移數據。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.shift.html

sort_values , sort_index

兩個差異在要使用數值還是索引值資料排序。ascending參數決定升降冪，key參數可結合lambda做更複雜的排序方法。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.sort_values.html

sum, max, min, mean, std, cumsum, cumprod

分別為加總、最大值、最小值、平均值、標準差、累加、累成。常用於策略撰寫、指標開發、回測報酬率計算。經常搭配rolling方法使用。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.sum.html#pandas.Series.sum

to_frame, to_series, tolist

dataframe、series、list資料格式互相轉換，當一維數據的series需要用dataframe才有的方法處理時，要先用to_frame來轉換。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.to_frame.html

資料合併

merge, join, concatenate

處理資料合併，像是要把上市、上櫃、興櫃個市場價格資料合併成一張dataframe做計算。如果熟悉excel，就不會陌生。基本上3個都能達成功能。

https://pandas.pydata.org/pandas-docs/stable/user_guide/merging.html

reindex

索引對照，將A的index套入B的index，例如想以月營收每月10號的時間套入股價資料，讓股價資料只顯示月營收公布日對應的數據。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.reindex.html

資料分群

cut

Cut方法可以處理分類datafrme的資料，像我們常想把財報中ROE>20的標的分類為A、20>ROE>10為B、ROE>10為C，這時我們就可使用cut來輕鬆達成。之後使用groupby分群集合運算或是切片選取都非常方便。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.cut.html

groupby

group運算式不論在DB或Excel都有設置，是常使用的工具。可以幫我們分群整合運算，像我們要計算個股分點券商買賣超，就需要以stock_id當分群依據，之後用sum來加總每支個股的主力買賣超，也可以應用在計算各類股平均漲跌幅，以產業類別當分群依據。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.groupby.html

pivot

pivot方法可以重塑資料的shape，像課堂中大家常用的data.get()背後就是將雙索引資料解構成“columns=stock_id、index=date”的格式。stack與unstack也提供類似的功能，並可以互轉調整。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.pivot.html

時間序列

date_range

產生時間序列，應用場景於重塑特定時間序列來回測，例如想將date序列換成每月10號，可使用date_range快速產生日期區間，用簡易的start與end參數來控制。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.date_range.html

顯示設定

options and settings

很多人會覺得jupyter不方便如excel般審視資料，因為大量數據只會顯示前後10筆，中間會用’…’略過，能否解決這問題呢？set_option讓我們可以改變一些pandas的預設設定，想全展資料，用下列程式碼就可解決。

https://pandas.pydata.org/pandas-docs/stable/user_guide/options.html

pd.set_option("display.max_rows", None)

資料輸出/讀取

pandas提供多種格式可以輸出/輸入資料。

https://pandas.pydata.org/pandas-docs/stable/reference/io.html

df = pd.DataFrame(data ={'A':[7,8,9],'B':[1,2,3],'C':[4,5,6]})

# 輸出方法
df.to_csv('檔名.csv')
df.to_excel('檔名.xls')
df.to_pickle('檔名.pkl')

# 詳見 https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_sql.html
df.to_sql('table_name', con=' DB engine')

#讀取方法將to改成read，ex:df.read_csv('檔名.csv')

3步驟帶你分析台積電

這篇文章會分享怎麼研發台積電的投資策略，主要有三個步驟：

1. 使用 Colab 並安裝 yfinance 、 backtesting、talib 的函式庫
2. 下載台積電股價歷史紀錄，研發買賣訊號
3. 回測交易結果分析，並且研究策略如何優化

1. 使用 Colab 並下載環境

要建構一個股票策略，只要會基本的 Python ，就可以開始了，我們使用 Colab 來當作撰寫 Python 的平台，這是 Google 佛心推出的，讓我們可以線上撰寫程式，而且完全免費！我自己已經把幾乎所有程式碼搬到 Colab 上了！雖然速度比桌機稍慢，但是可以雲端任何地點編輯，就算換電腦也不用擔心！

安裝 Package

我們今天要用的 Package，有兩個，一個是 yfinance ，負責下載 yahoo finance 上的股價資料，另外一個是 backtesting，顧名思義就是用來研發策略用的！但研發策略，有時候會需要製作技術指標，並根據技術指標來交易，所以需要用到 talib 這個 Package，我們可以用簡單的三行指令完成安裝：

!pip install yfinance
!pip install Backtesting
!pip install talib-binary

上述三行，只要在程式碼輸入欄輸入，系統就會幫你安裝好這三款 package，這三行的第一個字符是驚嘆號，代表我們要執行 Shell 的語法，不是 Python 的語法！假如你不是用 Colab，而是用個人電腦，也可以在打開 Shell 輸入這些指令，記得將指令的驚嘆號移除喔！

2. 下載台積電股價，研發買賣訊號！

首先，我們先來下載台積電的歷史紀錄，在下方的程式碼中，我們已經幫大家寫好一個函式，叫做「get_historical_data」，可以直接呼叫它來獲取股價。由於 yfinance 的歷史紀錄算是滿豐富的，所以有很多股票都可以下載，包含美股台股，例如蘋果（AAPL），特斯拉（TSLA），微軟（MSFT），然而台股的部分，比較可惜的地方，就是只有上市資料，如台積電（2330.TW），以下是完整的範例。你可以 參考 yahoo finance 來下載你有興趣股票！

import yfinance as yf
import pandas as pd

def get_historical_data(ticker):
  d = yf.Ticker(ticker)
  df = d.history(period="max")
  df.columns = df.columns.str.lower()
  df.columns = pd.Series(df.columns).str.capitalize().values
  return df.dropna()

df = get_historical_data('2330.TW')
df

策略訊號研發

有了股票的歷史紀錄，就可以來研發策略了，由於 Python 是個執行速度很慢的語言（比起 C、C++），所以我們不太使用 for 迴圈 來回測，而是用向量矩陣的方式產生訊號，速度會快很多，其中的「sma1」、「sma2」、「signal_long」、「signal_short」都是時間序列，下方為均線為範例，假如你不喜歡均線，可以參考 talib 來製作你有興趣的技術指標喔！

import talib

# compute simple moving average using talib
sma1 = talib.SMA(df.Close, timeperiod=20)
sma2 = talib.SMA(df.Close, timeperiod=60)

# compute buy and sell signals (golden cross and death cross)
signal_long = (sma1 > sma2) & (sma1.shift() < sma2.shift())
signal_short = (sma1 < sma2) & (sma1.shift() > sma2.shift())

# combine long and short signals
signal = signal_long.copy()
signal[signal_short] = -1

程式碼看不懂嗎？沒關係，我們將這些時間序列 2020 年的數值繪製出來：

df.Close['2020'].plot()
sma1['2020'].plot()
sma2['2020'].plot()
signal['2020'].astype(int).plot(secondary_y=True)

• 藍色：df.Close —–> 台積電的股價（一飛沖天！）
• 黃色：sma1 —-> 20日均線
• 綠色：sma2 —-> 60日均線
• 紅色：signal —-> 買賣訊號

接下來，我們就可以根據上圖中，紅色訊號為 1 時買入， -1 時賣出，這樣的的方式來交易，但是效果會如何呢？沒有人知道，所以我們還要進行「回測」，也就是將此策略放在歷史上模擬交易的報酬率！

3. 回測和參數優化

接下來我們就可以來測測看，究竟這樣子買台積電效果如何？我們可以用 backtesting 這個工具來幫我們回測，完整的程式碼如下，雖然有點長，但你會發現核心程式碼，跟剛剛是非常類似的！所以不用擔心太複雜！你也可以參考 backtesting 的官方教學，來獲得更詳細的用法喔！

from backtesting import Backtest, Strategy

class Strategy(Strategy):
    
    n1 = 20
    n2 = 60
    
    def init(self):
        super().init()
        
        # Precompute the two moving averages
        close = pd.Series(self.data.Close)
        sma1 = talib.SMA(close, timeperiod=self.n1)
        sma2 = talib.SMA(close, timeperiod=self.n2)

        # Precompute signal
        signal_long = (sma1 > sma2) & (sma1.shift() < sma2.shift())
        signal_short = (sma1 < sma2) & (sma1.shift() > sma2.shift())

        # combine signal
        signal = signal_long
        signal[signal_short] = -1
        
        # plot sma
        self.I(lambda x: sma1, 'sma1')
        self.I(lambda x: sma2, 'sma2')

        # set signal to trade
        self.signal = self.I(lambda x: signal, 'signal')

    def next(self):
        super().next()

        entry_size = self.signal[-1]

        if entry_size > 0:
            self.buy()
        elif entry_size < 0:
          for trade in self.trades:
              trade.close()

bt = Backtest(df, Strategy)
result1 = bt.run()
bt.plot()

上圖就是我們的回測結果，這是一個動態的圖表，所以我們可以將一部分放大：

上圖從上到下，總共有五個小圖，我們一張一張解釋：

圖一：為最後的總績效結果（藍色線段），代表策略的報酬率，從2000到現在可以獲利約400％，而當中的紅色水平線段，代表最久沒有創新高的時間段，這段時間可能會讓你懷疑，這個策略有沒有效果，而放棄策略，這段時間當然是越短越好！

圖二：有很多的三角形，假如是正三角就是做多，倒三角就是做空，我們這次寫的策略是做多的策略！所以不會有做空的倒三角喔！另外顏色代表獲利或是虧損，綠色為獲利，紅色為虧損，這些三角形的高度代表獲利或虧損的程度，以虛線做區分，虛線上方是獲利，而虛線下方式虧損，可以看到這種交易方法 2008 年以後每次虧損不會太多，獲利有時候還滿驚人的！

圖三是交易的明細，除了股價 K 棒外，我們也看到了兩條均線（藍色跟橘色），方便我們核對交易的時間，另外我們可以看到綠色和紅色的虛線，每一條虛線都代表一次交易，虛線的起始和結束，代表交易的價格跟時間，綠色代表獲利，而紅色代表虧損。

第四和第五張圖，則是成交量以及 signal 訊號，此策略就是模擬 signal 訊號為 1 時買進，而 -1 時賣出，比對其他圖片的數據，非常合理！

策略效果不夠好？尋找最佳參數！

剛剛我們用的均線是20日跟60日，來做交易，然而這是最好的均線嗎？我們可以將這兩個參數，當成策略的參數，分別叫 n1 和 n2 ，透過暴力枚舉（range(5, 200)），來從 5 到 200 裡面挑出 Sharpe ratio 比較好的參數：

result2 = bt.optimize(n1=range(5, 200, 10),
                      n2=range(5, 200, 10))
result2._strategy

# 程式碼顯示結果：
<Strategy Strategy(n1=165,n2=5)>

以上，就是整個優化的過程，程式碼非常簡潔，最後優化完的數字是

• n1 = 165
• n2 = 2

眼尖的人會發現，奇怪怎麼長短週期倒過來了？代表我們死亡交叉買入，而黃金交叉賣出，這種交易比較像是均值回歸，在低點買，高點賣，屬於逆勢策略，我們用這兩個新的參數，來測測看結果如何？

雖然報酬率雖然比較低，但是交易的風險小滿多的，我們可以將順勢跟逆勢策略結合，獲得更穩定的報酬率，下方就是程式碼

((result1._equity_curve.Equity + 
result2._equity_curve.Equity)/2).plot()

基本上2008 到現在，沒什麼虧損過，台積電上漲時，會追蹤到漲幅，而下跌時也會危機入市，算是一個非常簡單，但績效很舒服的策略，分享給大家，現在就打開現成的 Colab 直接運行程式碼。假如大家對於我們這樣的分享有興趣，可以幫我們推廣一下！我們也有其他類似的文章可以參考：

• 低風險高報酬投資組合，股債平衡策略研發
• 避開危險的投資時機 – 夏普指數策略
• 找出會加速的股票 – 加速度指標實做

上次的程式碼爬取台積電

首先，我們上次已經教了怎麼樣爬取一檔股票：「台積電2330」，這次我們重新複習一下，下方的程式，假如有任何一個部分忘記了，都可以去前一個單元複習喔！

import yfinance as yf

df = yf.Ticker("2330.TW").history(period="max")
df

但是以上的程式碼只能爬「台積電」的股價，我想要爬其他的指數怎麼辦呢？

將上述程式碼打包成function

我們可以用function將上面的程式碼打包起來，方便我們多次使用，變成下面這樣，其實跟之前長的非常像，可以先比較一下：首先，第一行多了def crawl_price(stock_id):，這行的意思就是宣告一個可呼叫的程式區塊，叫做crawl_price(stock_id)，再來，原本的程式碼前方都被加了4個空白格，代表這些功能是同一個function中被執行的代碼。

import yfinance as yf

def crawl_price(stock_id):
  df = yf.Ticker(stock_id).history(period="max")
  return df

上面的代碼中，有個特別可以注意的變數：stock_id，當今天stock_id被傳進function中的時候，url就會隨著stock_id的不同，而出現不同的url所以我們就可以爬到不同的股票歷史股價！

既然我們已經寫好了此function，接下來就可以呼叫它，得到不同股票的歷史股價

使用function

假如以後我們需要爬取不同的股票，例如「鴻海2354」，我們就可以寫：

df = crawl_price("2354.TW")
df.Close.plot()

就可以順利將鴻海的股票爬取下來喔！

接下來我們就來爬取世界上重要的指數吧！

國際重要指數清單

首先我們必須要爬取到國際重要指數清單，可以到以下網址來獲取：
https://finance.yahoo.com/world-indices/

接下來我們就可以將上述清單給手動複製起來？！
不，我們要用更炫的方法，當然是要用程式來爬呀：

url = "https://finance.yahoo.com/world-indices/"
response = requests.get(url)

import io
f = io.StringIO(response.text)
dfs = pd.read_html(f)
world_index = dfs[0]

上述的程式碼，剛開始很簡單，就是用requests.get來獲取此網頁的資料，網頁中的資料都存在response.text中，跟之前一模一樣。

不過第5行有點不一樣，我們使用io.StringIO(response.text)將資料存成檔案f
第6行，我們將此文件利用pd.read_html(f)來分析網頁f中的表格，將所有的表格存成 a list of dataframe
第7行，我們將第一張dataframe給拿出來。

這樣我們就有了此表格中的symbol和name，以供之後歷史股價的爬取

這個單元的程式碼範例，都可以在colab上直接運行喔！趕快來跑跑看吧！

最後，終於要爬取全球股價了！

萬事俱備！只欠東風，不過由於這次的教學已經很多了，所以大家可以自己練習看看，或是前往下一個單元，來爬取所有的歷史指數吧！

這一系列是我們影音課程的化簡版，
假如對此教程有興趣，歡迎點選下方影音課程，會豐富到炸裂喔～

延續上個單元，我們應該已經爬取了world_index這張表格：

然後還有一個我們寫好的function

import json
import requests
import datetime
import pandas as pd
import numpy as np

def crawl_price(stock_id):

    d = datetime.datetime.now()
    url = "https://query1.finance.yahoo.com/v8/finance/chart/"+stock_id+"?period1=0&period2="+str(int(d.timestamp()))+"&interval=1d&events=history&=hP2rOschxO0"

    res = requests.get(url)
    data = json.loads(res.text)
    df = pd.DataFrame(data['chart']['result'][0]['indicators']['quote'][0], index=pd.to_datetime(np.array(data['chart']['result'][0]['timestamp'])*1000*1000*1000))
    return df

接下來就可以將他們結合，來爬取歷史資料了！在爬取資料之前，有幾個程式的小技巧必須要學會

1. for 迴圈

假如我們要執行重複性的動作，通常第一件事情就是想到for 迴圈，例如我們想要印出1～9，不用for迴圈，我們可以寫成

print(1)
print(2)
print(3)
print(4)
print(5)
print(6)
print(7)
print(8)
print(9)

但很明顯我們就已經快要中風了，所以改成for迴圈後

for i in [1,2,3,4,5,6,7,8,9]:
    print(i)

這樣短短的就寫完了！其中
第一行：我們有一個變數i，他會從1～9不斷變換，並且執行下方的print(i)。第二行要記得加上前方四個空白，通常叫做縮排「indent」，當第一行有for這個標示後，之後就必須用縮排indent直到寫完for迴圈裡的內容為止。

但有時候我們希望同時做兩個迴圈呢？

使用zip

我們可以使用zip，一次執行兩個list：

for number, letter in zip([1,2,3], ['a', 'b', 'c']):
    print(number, letter)

最後，我們要使用 dictionary 將全球的指數給存起來。

dictionary

這邊先示範最簡單的用法：

d = {}
d['a'] = 1
d['b'] = 2

# 查找
print(d['b']) # 2

# 迴圈
# 其中，d.items 有點像是zip的感覺，
# 針對dictionary中的['a', 'b']和[1,2]進行迴圈）
for letter, number in d.items():
    print(letter, number)
# a 1
# b 2

結合上述的小功能，就可以寫一個程式將世界指數都抓下來了！
我建議你自己試試看～
寫完之後再往下拉看範例：

import time
world_index_history = {}
for symbol, name in zip(world_index['Symbol'], world_index['Name']):
    
    print(name)
    
    world_index_history[name] = crawl_price(symbol)
    time.sleep(5)

假如你有認真研究前三點功能，相信這些代碼應該難不倒你！其中沒有教到的是，我們利用time.sleep(5)，來休息一下，不要抓的太頻繁，不然會被封鎖，除此之外，上述代碼非常簡單，寫一個for迴圈，將所有的指數都抓下來，存在world_index_history中。

繪製指數

接下來，我們可以用一樣的for迴圈，來將指數給畫出來

for name, history in world_index_history.items():
    history.close.plot()

這個單元的程式碼，都可以使用 colab 來執行喔！趕快來玩玩看吧！

有了指數，接下來要做什麼呢？

下個單元，我們要來分析一下這些指數，看看哪些適合投資，哪些不適合，敬請期待～

這一系列是我們影音課程的化簡版，

相關性

首先我們先介紹什麼是相關性，
相關性最白話的講法，你可以想像，看到天空烏雲密佈，代表可能要下雨了，
代表天空的顏色跟下雨機率有相關，
你可以由一個現象，去預測另一個現象，這就是相關性！

相關性稍微數學一點

相關性也可以更數值化的方式表示，先用以下例子講解：

這張圖中：

• 我們可以看上方左側圖，天氣溫度跟買冰棒人數的變化圖，可以想像某人每一天記錄天氣溫度與冰棒人數，每天畫一個黃點，時間久了，就可以看出黃點之間的關係，也就是天氣越熱，越有人會想要買冰棒！
• 同理，上方中間那張圖，某人也可以記錄每天生病的人數，此時就發現，天氣越冷，越多人會感冒！
• 當然某人覺得有趣，於是又記錄了溫度與擲筊的關係，最後發現：沒什麼關連

好了，某人已將觀測值變成數字記錄起來了，但每次都必須畫這麼多點，才能看出相關性，也太累了吧？能不能用一個數字取代呢？

這時就可以用

correlation coefficient （相關性係數）

有人可能覺得太多點點了，有密集恐懼症，希望可以將上方這三張圖，每張圖用一個數字代表就好，這樣就不需要看到這麼多點點。

所以某人提出了 correlation coefficient ，從上面第一張圖開始從左而又，分別可以用 1、-1、0來代表：

• 1 代表正相關，也就是X越高Y越高，X越低Y越低（成正比）
• ─1 代表負相關，也就是X越高Y越低，或X越低Y越高（成反比）
• 0 代表無相關性

上述只是化簡後的例子
事實上相關性係數不是整數，而是會介於─1～1間，代表正負相關的程度！

讀到這裡，你可能會問，

所以相關性跟投資有什麼關係？

投資就是預測未來現象與當下現象的相關性！
就像你看到天空烏雲密佈，就能預測接下來會下雨，
我們也可以將相關性係數用於全球指數，

為什麼美股大跌，在台灣的投資人要很緊張？原因就是相關性！
台股跟美股有正相關。

我們可以用Python將相關性畫出來，假如你還沒有爬取歷史股價的話，可以先到前個單元爬取喔！

程式碼撰寫

歷史數據回顧

首先我們可以看一下上個單元爬下來的歷史數據

print(world_index_history['S&P 500'].head())

還記得world_index_history嗎？它是一個dictionary，根據不同的字串，例如S&P 500，可以叫出相對應的表格（dataframe）

有了 world_index_history 我們就可以將國際指數的相關性給畫出來，但首先，我們要先來瞭解

比對歷史數據，發現close價格不一樣？

假如你認真的比對歷史數據（例如玩股網），就會發現離現在越久遠以前的歷史價格，誤差越大！這是為什麼呢？其實這個並不是誤差喔！因為 yahoo finance 的歷史價格是「調整後收盤價」代表這是考慮了除權息的價格變化，所計算出來的價格。

簡單的例子

當除權息、增減資時，一般股價會有大波動，以除權息為例，股票價格瞬間下跌
然而帳戶裡的股票張數會變多（例如領股利）
或是帳戶資金量變多（領股息）
總體來講是不賺不賠的

所以當除權息時，
正常的收盤價 會突然下跌很多，
而 yahoo finance 的調整後收盤價，不會因為除權息有巨幅下跌
更能夠精確的反映股票價值，跟投資的獲利狀況！

Python 終於開始了

首先我們先將所有指數的 Adj Close 先集合起來，變成一張表格(dataframe)

close = {}
for name, price in world_index_history.items():
    if len(price) != 0:
        close[name] = price['Close']

close = pd.DataFrame(close)
close = close.resample('1d').last().dropna(how='all', axis=1).dropna(how='all', axis=0)

接下來就可以來觀察每檔指數的 Adj Close 相關性，

corr = close.corr()
print(corr)

上圖可以看到一個二維的表，就是每個指數跟每個指數之間的相關性，
上圖中可以發現，指數自己跟自己的相關性一定是1，代表完全正相關！
而這張表會是symmetric matrix，也就是做對角線會是對稱的。

接下來我們可以用更視覺化的方式來表示，假如沒有sns的package，要記得先去安裝pip install sns即可，想瞭解如何安裝，可以到此安裝教學的下半部分，有簡單的教學喔！

import seaborn as sns
sns.heatmap(corr, square=True ,vmax=1.0, linecolor='white', annot=True)

假如你發現圖比我的小，字看不清楚，可以改成以下程式碼

# set figure size
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams['figure.figsize'] = (18, 18)

# original code
import seaborn as sns
sns.heatmap(corr, square=True ,vmax=1.0, linecolor='white', annot=True)

有了以上的code，我們就可以知道

台灣股票跟誰最連動

我們可以人眼觀察，發現台灣指數TSEC weighted index跟英國前一百大Cboe UK 100超像！相關係數高達0.9，代表非常非常像

我們可以將這兩個指數畫出來檢查一下：

close['Cboe UK 100']['2015':].plot()
close['TSEC weighted index']['2015':].plot()

雖然價格不同，但是趨勢還真的頗像的耶！然而台灣的加權指數，在2020年的價格，跟某幾個美國的指數相關性非常高，究竟是哪一個指數呢？可以使用我們寫好的colab範例跑跑看喔！

如何用於交易？

兩個相關性很高的股票，可以拿來做pair trading配對交易，但也不是只看相關性，
這個就容我們之後再慢慢分析吧！
這個單元會一直帶你從零開始，慢慢學習，直到機器學習的部分喔！敬請期待～
下一個單元中，我們來看一下要怎麼控制報酬與風險

首先，我們只要從這個網址，把資料get下來就行了！

爬取上櫃股價網址

import requests

link = 'http://www.tpex.org.tw/web/stock/aftertrading/daily_close_quotes/stk_quote_download.php?l=zh-tw&d=107/02/09&s=0,asc,0'
r = requests.get(link)
r.ok

可以看到網址中，包含了日期：107/02/09，這個字樣，可以改成其它日期。
get下來就是csv檔了！直接丟進pandas：

使用pandas讀取

lines = r.text.replace('\r', '').split('\n')

import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO("\n".join(lines[3:])), header=None)
df.head()

但我發現一個小問題：

• 在csv檔中，第一行是：”a”,”b”,”c”
• 但是在其它行，則顯示：a,b,c

有沒有雙引號很重要，會讓pandas沒辦法直接讀進來，所以我們前面幾行先去除（上段code中lines[3:]）

就可以得到下圖：

但我們的index跟column都還沒設定好（都是數字），要把它轉換成有意義的label：

整理index跟columns

df.columns = list(map(lambda l: l.replace(' ',''), lines[2].split(',')))
df.index = df['代號']
df = df.drop(['代號'], axis=1)
df.head()

首先先來換column，裡面有些複雜的程式（第一行）慢慢講解：

1. lambda l: l.replace(' ','') 是一個函式，但是我懶得命名，所以就用 lambda 賴省略函式名稱，它會讀入，這個函式讀入 l，並將l裡面的空白刪除並outpu出來。
2. 其中的map(func, array)就指：將array裡面所有元素，都用func處理一遍。
3. line[2].split(',')：將字串依照 “,” 分割成好幾個小字串。

總體來說，就是將資串分割->針對每個子字串刪除空白。

另外針對index，我們就單純用df.index = df['代號']來設定，並用df.drop將原本的 column刪除，
其實知道pandas有df.set_index()這個函式，但是發現存檔怪怪的，所以改用途法煉鋼（第2、3行）

這樣差不多就完成了：

那要如何把檔案存起來呢？

我們可以利用save file

df.to_csv('test.csv')
pd.read_csv('test.csv', index_col='代號').head()

來存檔跟讀檔喔！跑出來會是一模一樣的！

今天的簡易教學就到這邊！可以下載下來玩玩看喔！