資料源

台灣集中保管結算所 簡單說就是統計籌碼的單位，服務項目包括有價證券集中保管帳簿劃撥、集中交易及櫃檯買賣市場有價證券交割、興櫃股票款券結算交割、期貨結算電腦處理、無實體有價證券登錄、參加人有價證券電腦帳務處理等，並接受金融監督管理委員會證券期貨局委託辦理股務查核作業。

「集保戶股權分散表」是官方公開資料，每週六早上有新數據，資料查詢分兩種，一種是單一標的歷史資料查詢 (資料僅1年份) ; 另一種是總表查詢，可以一次抓全部資料，要注意總標指提供單週資料。所以若要歷史數據得自己每一檔慢慢搜集，或參考 FinLab 資料庫。

Python爬蟲程式範例

「集保戶股權分散表」爬蟲的資料處理細節見註解。

def crawl():
    
    # 將網站回傳資料轉到 read_csv 解析，加入 headers 的功能為防止反爬蟲辨識，官方有時會擋 
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_1\
    0_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'} 
    res = requests.get("https://smart.tdcc.com.tw/opendata/getOD.ashx?id=1-5", headers=headers)
    df = pd.read_csv(StringIO(res.text))
    df = df.astype(str)
    df = df.rename(columns={
        '證券代號': 'stock_id',
        '股數': '持有股數', '占集保庫存數比例%': '占集保庫存數比例'
    })
    
    # 移除「公債」相關的id
    debt_id = list(set([i for i in df['stock_id'] if i[0] == 'Y']))
    df = df[~df['stock_id'].isin(debt_id)]
    
    # 官方有時會有不同格式誤傳，做例外處理
    if '占集保庫存數比例' not in df.columns:
        df = df.rename(columns={'佔集保庫存數比例%': '占集保庫存數比例'})
        
    # 持股分級=16時，資料都為0，要拿掉
    df = df[df['持股分級'] != '16']
    
    # 資料轉數字
    float_cols = ['人數', '持有股數', '占集保庫存數比例']
    df[float_cols] = df[float_cols].apply(lambda s: pd.to_numeric(s, errors="coerce"))
    
    # 抓表格上的時間資料做處理
    df['date'] = datetime.datetime.strptime(df[df.columns[0]][0], '%Y%m%d')
    
    #只要第二層欄位名稱
    df = df.drop(columns=df.columns[0])
    
    # 索引設置 unique index
    df = df.set_index(['stock_id', 'date', '持股分級'])
    return df

輸出格式

未來開發

Python爬蟲蒐集完資料後，我們就可以用資料來撰寫策略或做資料視覺化～究竟「集保戶股權分散表」有沒有用？讓我們繼續看下去。
了解更多 爬蟲實做 ～

財經數據資料源

貨幣總計數的資料最源頭來自台灣中央銀行的新聞稿，每月23-30號間發布「上月金融狀況」，頁內有M1B和M2的年增率的表格資料。然而新聞稿區的早期資料不是那麼完全，網頁格式也變動多次，如果要在此爬蟲所有歷史資料，並非最佳解。

所幸 行政院主計處 也有M1B和M2的數據，而且看來是可以一次抓下JS圖表內的所有數據，會比央行省事省力的許多。然而不幸的是此資料並非完美，現在都已經2022/11/3了，主計處資料還停在8月數據，但中央銀行早在10/24就發布了，怎麼更新同步基調差那麼多？如果是10/31前公佈都還好，拖到11月就真的太慢了。
所以我們需要兩個Python爬蟲，一個爬主計處的財經數據歷史資料。一個爬中央銀行當月的貨幣總計數，作為之後更新最新資料使用。

主計處Python爬蟲

爬蟲開發的第一步是觀察網頁結構，如果資料是以html的table來呈現，那是用pandas的read_html，就非常好解析，據經驗，80％情況都是如此。然而如果不是table，就比較麻煩，若財經數據有直接渲染在網頁，可以用 Beatifulsoup 解析整份 html 檔，再定位標籤抓資料。
可以看到 行政院主計處 的最新M1B數據是7.55，我們可以在Chrome瀏覽器按右鍵選擇檢查，搜尋「7.55」放在哪邊？之後可以發現7.55出現在4個地方，然而table內只有一筆資料，由於我們要抓到歷史資料是放在圖表，圖表資料一般都放在<scripttype type=”text/javascript”>標籤裡的變數，經過搜尋發現我們要把chartValue變數內的資料解析出來。

Python爬蟲程式範例

流程和細節看程式註解，重點在BeautifulSoup網頁解析，和pandas如何產生目標時間序列。下列幾個要熟悉的工具說明。

• BeautifulSoup
• pandas.date_range
• pandas.tseries.offsets.MonthEnd

from bs4 import BeautifulSoup
import pandas as pd
import requests
from datetime import datetime


def crawl_history_from_dgbas():
    # 抓下網頁回傳資料
    response = requests.get('https://www.dgbas.gov.tw/point.asp?index=10')
    # 解析網頁
    parsed_file = BeautifulSoup(response.text)
    # 找出javascript區塊
    js_text = parsed_file.find_all('script', type="text/javascript")
    # 抓財經數據定位，資料為餘第3個javascript
    data = js_text[3].string

    # 文字資料定位，擷取數據部分，將js的日期型態Date.UTC取代成空白
    m1b = data[data.index('chartValue[6]') + len('chartValue[6]='):data.index(';\r\nchartValue[7]')].replace(
        'Date.UTC', '')
    # 將文字轉陣列
    eval_m1b = eval(m1b)
    # 取出數值，迴圈內d變數已被轉成空白，無意義
    m1b_values = [v for d, v in eval_m1b]

    # 重複上述動作，觀察chartValue內陣列定位，抓出M2數據
    m2 = data[data.index('chartValue[7]') + len('chartValue[7]='):data.index(';\r\nchartValue[8]')].replace(
        'Date.UTC', '')
    eval_m2 = eval(m2)
    m2_values = [v for d, v in eval_m2]
    
    # 日期處理，由於無法抓到即時公告日期，且央行公告日前每月不定，都在每月25號左右公告上月數據，為作業方便，目標將日期設為每月最後一天
    # 取出陣列內起始日期、結束日期
    start_date = eval_m1b[0][0]
    end_date = eval_m1b[-1][0]
    # 將日期格式轉為 pandas date_range 的參數格式，產生每月日期序列
    start = f'{start_date[0]}-{start_date[1]}-{start_date[2]}'
    end = f'{end_date[0]}-{end_date[1] + 1}-{end_date[2]}'
    # 日期序列為每月1日，為產生本月底公告去年數據的效果，使用tseries.offsets將日期後推
    dates = pd.date_range(start, end, freq='M') + pd.tseries.offsets.MonthEnd(2)
    
    # 產生m1b與m2數據，將數據併表
    m1b_df = pd.DataFrame({'stock_id': '貨幣總計數M1B', 'date': dates, '年增率(%)': m1b_values})
    m2_df = pd.DataFrame({'stock_id': '貨幣總計數M2', 'date': dates, '年增率(%)': m2_values})
    concat_df = pd.concat([m1b_df, m2_df])
    concat_df = concat_df.set_index(['stock_id', 'date'])
    return concat_df

Python爬蟲輸出結果

中央銀行Python爬蟲

這個爬蟲要分兩步驟，首先由於每月金融情況新聞稿的連結沒有規律，所以要先解析最新消息的>新聞稿的首頁，取出近月新聞稿的超連結，再將連結傳到 python requests 取得表格數據，之後再將資料稍微整理成前面主計處爬蟲的資料格式。
另外要注意若每月25號前就執行此爬蟲，可能會有當月資料還沒公告的問題，所以要加上例外狀況處理，回傳一個空的dataframe。

Python爬蟲程式範例

def central_bank_crawl():
    
    # 資料目標日期，轉成民國型態的上月日期
    now = datetime.now()
    year = now.year - 1911
    month = (now.month + 10) % 12 + 1
    if month == 12:
        year -= 1
    
    # 解析出最新消息內近月金融情況新聞稿的超連結
    menu_response = requests.get('https://www.cbc.gov.tw/tw/lp-302-1.html')
    parsed_file = BeautifulSoup(menu_response.text)
    text = parsed_file.find('a', title=f"{year}年{month}月金融情況")

    # 沒資料則回傳空表
    if text is None:
        return pd.DataFrame()

    # 取出超連結
    href = text['href']
    
    # read_html 解析表格數據
    report_response = requests.get(f'https://www.cbc.gov.tw/{href}')
    report_df = pd.read_html(report_response.text)[0]
    report_df.columns = report_df.columns.get_level_values(1)
    report_df = report_df.iloc[:, :3]
    report_df = report_df.rename(columns={'項 目': 'stock_id', '年增率': '年增率(%)'})
    report_df = report_df[['stock_id', '年增率(%)']]
    report_df['date'] = datetime(now.year, now.month, 1) + pd.tseries.offsets.MonthEnd(1)
    report_df = report_df.set_index(['stock_id', 'date'])
    return report_df

結論

colab程式範例
這個爬蟲和證交所那類好爬的表格與穩定資料相比，有一些要注意的坑，處理上也比較多層，所以特別記錄一下。行政院主計處和央行還有許多總經數據，如果你有需求，可以自己用上述範例練習抓抓看，或直接使用 FinLab資料庫 來抓喔。

如果你對爬蟲想知道更多，可參考我們其他教學文章

超簡單台股每日爬蟲教學
超簡單用python抓取每月營收
三大法人爬蟲：Python實作教學
python上櫃資料爬蟲輕鬆做
財報爬蟲超簡單 – 用Python一次抓綜合損益、資產負債、營利分析

這一篇文章會教大家使用FRED總體經濟網站的API輕鬆地獲取總經資料，並示範運用外部資料打造自己的總體經濟分析儀表板與如何套用美股標的到FinLab回測系統。

FRED API 操作說明

FRED (Federal Reserve Economic Data) 是路易斯聯邦儲備銀行研究部維護的數據庫，網站提供免費、多元、更新及時的總經資料庫、檢索、圖表功能。

和市面上的總經網站主要的差別是提供 FRED® API 服務，允許開發人員編寫程序和構建應用程式，可以根據數據源、發布、類別、系列和其他偏好自定義請求資料，比較方便程式人客製化使用資料。

帳號註冊&獲取API_KEY

依照FRED官網指示來操作，先註冊帳號，之後再申請API_KEY。

API使用規則

講解幾個最常用的功能，其他功能詳見FRED API文檔操作:

拉取總經指標的時間序列

詳見fred/series/observations，例如我們要抓取美股汽車庫存銷售比 (AISRSA) 的時間序列，可以從網址結構獲取series_id (AISRSA)，並使用python的requests.get() 抓取api回傳資料，我們可以將fred_api寫成下列function，只要替換不同series_id，就能獲取各式資料。

import requests
import json

def get_fred_series_data(series_id='AISRSA',api_key=''):
    res=requests.get(f'https://api.stlouisfed.org/fred/series/observations?series_id={series_id}&api_key={api_key}&file_type=json')
    df=json.loads(res.text)
    return df


aisrsa = get_fred_series_data('AISRSA')

依據索引拉取其他相關指標

當我們獲得”汽庫存銷售比”時，我們還想獲得其他汽車相關數據，像是”美國國內汽車製造數 (DAUPSA)”和”汽車零售銷售數 (DAUTOSA)”，之後將指標疊圖，做更細部的汽車進銷存分析。要怎麼知道汽車的索引還有哪些指標呢？
我們可以從 fred/series/categories 獲得 AISRSA的索引分類資料，從下圖的程式回傳資料可以得知，上層索引名稱為Motor Vehicles，id為32993。

# https://fred.stlouisfed.org/docs/api/fred/series_categories.html
# return: {'categories': [{'id': 32993, 'name': 'Motor Vehicles', 'parent_id': 33202}]}
series_id='AISRSA'
res=requests.get(f'https://api.stlouisfed.org/fred/series/categories?series_id={series_id}&api_key={api_key}&file_type=json')
df=json.loads(res.text)
df

再透過 fred/category/series 對應Motor Vehicles的id32993，取得汽車類別有哪些其他相關指標。再將其他相關指標的id透過前頭提到的fred/series/observations，取得時間序列資料。

# https://fred.stlouisfed.org/docs/api/fred/category_series.html

category_id=32993
res=requests.get(f'https://api.stlouisfed.org/fred/category/series?category_id={category_id}&api_key={api_key}&file_type=json')
df=json.loads(res.text)

覺得檢索方法複雜的，也可以透過網頁點選獲取相關id。

資料應用範例

美國汽車相關總體經濟指標繪圖

FRED只有單指標的繪圖，但透過api的資料結合plotly，我們可以很輕鬆客製化車用數據儀表板，像系的程式見文尾的colab檔案。

何時買的到新車?

總經數據週期長，很少拿來直接交易應用，但若到極端值，倒是可以注意一下大局下的細節。

2008、2020年的經濟衰退造成汽車庫存銷售比攀升到3以上的高水位，但指標轉壞的數據公告時，汽車類股股價早已下跌一大段，反而是中長線好買點，總經數據的遞延性是要注意的地方。

疫情後，美國汽車庫存銷售比受到汽車晶片缺乏的影響，雖然去年一直有新聞說會緩解，但新車製造數始終起不來，庫存銷售比現在低到只剩0.373，持續創造歷史低點，此現象前所未見。

正常來講，這個比率會大於1，確保有足夠數量應對市場需求。2015年來庫存去化到現在，美國車商如福特 (F)、通用 (GM)手上幾乎沒有新車庫存，在銷售數據不變下，庫存用盡會遇到無貨可賣的窘境。這連帶引發中古車價飆高、車用零組件廠商營收衰退、高端新車買不到等問題。前陣子台積電釋出消費電子有動能減緩的現象，手機鏡頭廠大立光也對未來展望保守，這兩家法說和財測都有一定參考價值。高毛利的手機晶片過去是晶圓代工廠的製造優先名單，汽車晶片相對低毛利，過去兩年在消費電子熱潮、晶圓代工產能有限下，只能委屈排在優先名單後。現在大廠釋出產業變化的看法，汽車電子能不能趁這個機會佔到產能，真的解決晶片荒呢？就看汽車庫存銷售比能不能物極必反，產生訂單遞延的爆發效應。除了整車廠，哪一些美股新車零組件能受惠呢？汽車族群經過利空測試後，復甦期與沈寂的股價表現值得留意。

美股回測

FinLab量化平台目前沒有對外開放美股資料的使用，但其實回測模組是有相關的接口讓大家自由回測全球市場。以下會使用美股汽車製造商的股價與汽車總經數據做簡單的策略回測範例，向大家示範如何串接美股資料套用回測程式。

美股資料爬蟲

下列是運用yahoo資料源爬取美股股價，程式修改來自於這篇”用爬蟲爬全世界股價“

import requests
import io
import datetime
import pandas as pd
import logging

# Get an instance of a logger
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

auto_manufacturers = {
    "BLBD": "BLUE BIRD CORP",
    "ELMS": "ELECTRIC LAST MILE SOLUTIONS INC",
    "F": "FORD MOTOR CO",
    "FFIE": "FARADAY FUTURE INTELLIGENT ELECTRIC INC",
    "FSR": "FISKER INC",
    "GM": "GENERAL MOTORS CO",
    "GOEV": "CANOO INC",
    "HYZN": "HYZON MOTORS INC",
    "LCID": "LUCID GROUP INC",
    "NKLA": "NIKOLA CORP",
    "PTRA": "PROTERRA INC",
    "RIDE": "LORDSTOWN MOTORS CORP",
}


def crawl_yahoo_finance(targets, all_data=True):

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}
    data = []
    for stock_id in targets:
        now = datetime.datetime.now()
        now_timestamp = int(now.timestamp()) + 86400
        if all_data:
            start_time = 0
        url = f"https://query1.finance.yahoo.com/v7/finance/download/{stock_id}?period1={start_time}&" \
              f"period2={now_timestamp}&interval=1d&events=history"
        try:
            response = requests.get(url, headers=headers)
            f = io.StringIO(response.text)
            df = pd.read_csv(f, index_col='Date', parse_dates=['Date'])
            df = df[~df.index.duplicated(keep='last')]
            df['stock_id'] = stock_id
            df = df.reset_index()
            df = df.rename(columns={'Date': 'date', 'High': 'high', 'Low': 'low', 'Open': 'open', 'Close': 'close',
                                    'Volume': 'vol', 'Adj Close': 'adj_close'})
        except Exception as e:
            logger.error(e)
            df = None
        data.append(df)

    df = pd.concat(data)

    return df


auto_price = crawl_yahoo_finance(auto_manufacturers.keys())
# 處理股價格式成pivot
adj_close = auto_price.pivot(index='date', columns='stock_id', values='adj_close')
adj_close = FinlabDataFrame(adj_close)

總經指標格式處理

總經指標要注意處理date，上月資料於近月底公布，ex:2021-4-30公告 2021-03月份數據，所以要使用date_range另外生成往後推的日期數列。
將汽車類股的stock_id對應進去，每一欄stock_id都有總經數據，並將總經數據dataframe套用到FinLab模組的FinlabDataFrame物件，方便之後選股條件交集運算。

aisrsa_df = pd.DataFrame(aisrsa['observations'])
aisrsa_df['value'] = aisrsa_df['value'].astype(float)
dates = pd.to_datetime(aisrsa_df['date'])
start = dates.iloc[0]+ relativedelta(months=1)
end = dates.iloc[-1]+ relativedelta(months=2)
update_date = pd.date_range(start=start,end=end,freq='M')
aisrsa_df = pd.DataFrame({i:aisrsa_df['value'] for i in auto_manufacturers.keys()})
aisrsa_df.index = update_date
aisrsa_df.index.name = 'date'
aisrsa_df = FinlabDataFrame(aisrsa_df)
aisrsa_df

選股條件

非常簡單，只有兩個條件。
還原股價站上月線，每月換股。
汽車庫存銷售銷售比大於12日均線，運用指標遞延的特性，抓汽車製造循環。

cond1 = adj_close > adj_close.average(20)
cond2 = aisrsa_df > aisrsa_df.average(12)
position = cond1 & cond2

美股市場market_info設定

這一步是將美股回測套用到FinLab的關鍵。
回測工具 sim(market=”TWSTOCK”) 會依照個別市場的MarketInfo物件，拉取對應市場的資料，目前內建market只有TWMarketInfo (台股)、CryptoMarketInfo (加密貨幣)，所以要外插一個USMarketInfo 給market參數。
USMarket的benchmark改用SP500指數。
回測若要upload，要注意時間序列長度有寫入限制，範例回測2000年後的數據。

程式如下:

from finlab.market_info import MarketInfo
from finlab.backtest import sim

class USMarketInfo(MarketInfo):

    @staticmethod
    def get_benchmark():
        world_index = data.get('world_index:close')
        sp500 = world_index['^GSPC'].ffill()
        return sp500

    @staticmethod
    def get_asset_id_to_name():
        return {}

    @staticmethod
    def get_price(trade_at_price, adj=True):
        if isinstance(trade_at_price, pd.Series):
            trade_at_price.name = position.name
            return trade_at_price.to_frame()

        if isinstance(trade_at_price, pd.DataFrame):
            return trade_at_price

        if isinstance(trade_at_price, str):
            if adj & (trade_at_price=='close'):
                trade_at_price = 'adj_' + trade_at_price

            price = auto_price.pivot(index='date', columns='stock_id', values=trade_at_price)
            return price

        raise Exception(f'**ERROR: trade_at_price is not allowed (accepted types: pd.DataFrame, pd.Series, str).')

report = sim(position=position.loc['2000':],resample='M',market=USMarketInfo,upload=True,name='test',stop_loss=0.1,position_limit=0.33)
report.display()

結語

這篇文章涉及FRED API串接、美股股價爬蟲、總經指標繪圖、指標解說、美股與總經回測～一條龍帶大家走一遍，開展了FinLab系統更多的可能性。
一樣附上程式範例檔，一同來開發多元市場的策略吧！

colab範例

從頭開始學 python

這篇文章中
我們會帶著初學者開始再從頭瞭解
如何用 python 分析財經資料，並從中獲利！

你是程式新手嗎？
不用擔心，只要跟著這一系列的教學，
保證你一定學的會！
這一系列教學將會是hahow課程中的化簡，但是可以幫助新手無痛的開始使用python！

請點選此此課程範例，免費線上運行程式碼

使用 Google Colab 來寫 Python

Google ，佛心來著的公司，最近推出了免費雲端寫程式的平台： Google Colab
不用安裝任何軟體，可以線上免費使用 Python 實在是太方便了！只要打開 Colab 並且新增一個 notebook ，並將下方的 Code 複製貼上跑一跑囉！當然你也可以打開已經寫好的課程範例，免費線上運行程式碼！讓你快速體驗 Colab 的實力！廢話不多說，進入今天的正題吧！

用 Python 製作爬蟲爬取歷史股價

首先要先獲取股價資料，我們會用常用的 Python 函式庫：yfinance
它可以將網路上的資料給下載下來，給程式使用，我們可以先用 pip 來安裝 yfinance，pip 就像是程式安裝精靈，可以幫我們安裝各式各樣的 Python package。

!pip install yfinance

上面第一個字是驚嘆號！是 Colab 上使用 bash 語法必需要使用的開頭。假如你是在自己的電腦，例如 cmd 或是 anaconda prompt，就不需要驚嘆號喔！

接下來

import yfinance as yf

這邊的import，就像是我們在電腦裡面打開某個軟體來使用，一樣的意思。我們打開 yfinance，並且重新將它取名為「yf」，方便我們之後呼叫（打兩個字比較輕鬆啦！）

接下來我們可以用它來下載「台積電」的資料：

df = yf.Ticker("2330.TW").history(period="max")
df

上述指令中，我們輸入的股票代號為：

• 2330.TW 是台積電在 yahoo finance 上的 symbol，你也可以任意換成其他的，例如蘋果（AAPL），特斯拉（TSLA），微軟（MSFT）等等
• period=’max’ ，我們希望拿取最多的歷史資料

透過上述簡單的語法，就可以將台積電在這兩個區間股價資訊給爬下來了！我們可以用 Python 把網址裡內的內容給爬下來。

顯示爬蟲下載數據

可以將下載下來的資料（ df ）顯示出來，之所以叫做 df，是 DataFrame 的簡寫：

df

我們可以看到下載了非常多種類的資料，包含了股票的「開高低收」，另外也有除權息增減資的資訊！該有的價格資料都有了！順帶一題，這個類似表格的格式，是 Python 裡面一個非常重要的 Package 「Pandas」，處理數據非常的方便，可以把它想像是強大且靈活的 Excel。

全球股價爬蟲

你可以將任何一檔股價，包含美股港股台股陸股，用同樣的方式爬下來，只要在yahoo finance可以找到，就一定可以下載的下來喔！例如微軟（MSFT）、蘋果（AAPL）、特斯拉（TSLA），都可以用類似的方法來下載！

有了 google 提供的免費伺服器，我們可以在雲端執行此單元程式碼範例

行有餘力，請點選下一單元，將全球大盤指數都下載下來！

這一系列是我們影音課程的化簡版，
假如對此教程有興趣，歡迎參考我們的影音課程，裡面有更詳細並完整的教學，包含資料庫建置、數據分析、回測等等。當然我們也有免費的文章，以爬蟲來說，就有非常多篇，你可以先逛一逛：

• 超簡單台股每日爬蟲教學
• 超簡單用python抓取每月營收
• 三大法人爬蟲：Python實作教學
• python上櫃資料爬蟲輕鬆做
• 財報爬蟲超簡單 – 用Python一次抓綜合損益、資產負債、營利分析
• Python爬蟲教學｜台股數據｜集保戶股權分散表

除了爬股票分析的資料，我們還有爬一些奇特的數據，有需要也可以來看看：

• 用程式分析房地產可行嗎？房地產爬蟲教學在這裡！
• 用Python投資加密貨幣：爬蟲下載歷史數據 (Part 2)
• Python爬蟲教學｜美國勞動部統計局API｜失業率
• Python爬蟲教學｜ 財經數據｜台灣貨幣總計數 M1B & M2

上次的程式碼爬取台積電

首先，我們上次已經教了怎麼樣爬取一檔股票：「台積電2330」，這次我們重新複習一下，下方的程式，假如有任何一個部分忘記了，都可以去前一個單元複習喔！

import yfinance as yf

df = yf.Ticker("2330.TW").history(period="max")
df

但是以上的程式碼只能爬「台積電」的股價，我想要爬其他的指數怎麼辦呢？

將上述程式碼打包成function

我們可以用function將上面的程式碼打包起來，方便我們多次使用，變成下面這樣，其實跟之前長的非常像，可以先比較一下：首先，第一行多了def crawl_price(stock_id):，這行的意思就是宣告一個可呼叫的程式區塊，叫做crawl_price(stock_id)，再來，原本的程式碼前方都被加了4個空白格，代表這些功能是同一個function中被執行的代碼。

import yfinance as yf

def crawl_price(stock_id):
  df = yf.Ticker(stock_id).history(period="max")
  return df

上面的代碼中，有個特別可以注意的變數：stock_id，當今天stock_id被傳進function中的時候，url就會隨著stock_id的不同，而出現不同的url所以我們就可以爬到不同的股票歷史股價！

既然我們已經寫好了此function，接下來就可以呼叫它，得到不同股票的歷史股價

使用function

假如以後我們需要爬取不同的股票，例如「鴻海2354」，我們就可以寫：

df = crawl_price("2354.TW")
df.Close.plot()

就可以順利將鴻海的股票爬取下來喔！

接下來我們就來爬取世界上重要的指數吧！

國際重要指數清單

首先我們必須要爬取到國際重要指數清單，可以到以下網址來獲取：
https://finance.yahoo.com/world-indices/

接下來我們就可以將上述清單給手動複製起來？！
不，我們要用更炫的方法，當然是要用程式來爬呀：

url = "https://finance.yahoo.com/world-indices/"
response = requests.get(url)

import io
f = io.StringIO(response.text)
dfs = pd.read_html(f)
world_index = dfs[0]

上述的程式碼，剛開始很簡單，就是用requests.get來獲取此網頁的資料，網頁中的資料都存在response.text中，跟之前一模一樣。

不過第5行有點不一樣，我們使用io.StringIO(response.text)將資料存成檔案f
第6行，我們將此文件利用pd.read_html(f)來分析網頁f中的表格，將所有的表格存成 a list of dataframe
第7行，我們將第一張dataframe給拿出來。

這樣我們就有了此表格中的symbol和name，以供之後歷史股價的爬取

這個單元的程式碼範例，都可以在colab上直接運行喔！趕快來跑跑看吧！

最後，終於要爬取全球股價了！

萬事俱備！只欠東風，不過由於這次的教學已經很多了，所以大家可以自己練習看看，或是前往下一個單元，來爬取所有的歷史指數吧！

這一系列是我們影音課程的化簡版，
假如對此教程有興趣，歡迎點選下方影音課程，會豐富到炸裂喔～

延續上個單元，我們應該已經爬取了world_index這張表格：

然後還有一個我們寫好的function

import json
import requests
import datetime
import pandas as pd
import numpy as np

def crawl_price(stock_id):

    d = datetime.datetime.now()
    url = "https://query1.finance.yahoo.com/v8/finance/chart/"+stock_id+"?period1=0&period2="+str(int(d.timestamp()))+"&interval=1d&events=history&=hP2rOschxO0"

    res = requests.get(url)
    data = json.loads(res.text)
    df = pd.DataFrame(data['chart']['result'][0]['indicators']['quote'][0], index=pd.to_datetime(np.array(data['chart']['result'][0]['timestamp'])*1000*1000*1000))
    return df

接下來就可以將他們結合，來爬取歷史資料了！在爬取資料之前，有幾個程式的小技巧必須要學會

1. for 迴圈

假如我們要執行重複性的動作，通常第一件事情就是想到for 迴圈，例如我們想要印出1～9，不用for迴圈，我們可以寫成

print(1)
print(2)
print(3)
print(4)
print(5)
print(6)
print(7)
print(8)
print(9)

但很明顯我們就已經快要中風了，所以改成for迴圈後

for i in [1,2,3,4,5,6,7,8,9]:
    print(i)

這樣短短的就寫完了！其中
第一行：我們有一個變數i，他會從1～9不斷變換，並且執行下方的print(i)。第二行要記得加上前方四個空白，通常叫做縮排「indent」，當第一行有for這個標示後，之後就必須用縮排indent直到寫完for迴圈裡的內容為止。

但有時候我們希望同時做兩個迴圈呢？

使用zip

我們可以使用zip，一次執行兩個list：

for number, letter in zip([1,2,3], ['a', 'b', 'c']):
    print(number, letter)

最後，我們要使用 dictionary 將全球的指數給存起來。

dictionary

這邊先示範最簡單的用法：

d = {}
d['a'] = 1
d['b'] = 2

# 查找
print(d['b']) # 2

# 迴圈
# 其中，d.items 有點像是zip的感覺，
# 針對dictionary中的['a', 'b']和[1,2]進行迴圈）
for letter, number in d.items():
    print(letter, number)
# a 1
# b 2

結合上述的小功能，就可以寫一個程式將世界指數都抓下來了！
我建議你自己試試看～
寫完之後再往下拉看範例：

import time
world_index_history = {}
for symbol, name in zip(world_index['Symbol'], world_index['Name']):
    
    print(name)
    
    world_index_history[name] = crawl_price(symbol)
    time.sleep(5)

假如你有認真研究前三點功能，相信這些代碼應該難不倒你！其中沒有教到的是，我們利用time.sleep(5)，來休息一下，不要抓的太頻繁，不然會被封鎖，除此之外，上述代碼非常簡單，寫一個for迴圈，將所有的指數都抓下來，存在world_index_history中。

繪製指數

接下來，我們可以用一樣的for迴圈，來將指數給畫出來

for name, history in world_index_history.items():
    history.close.plot()

這個單元的程式碼，都可以使用 colab 來執行喔！趕快來玩玩看吧！

有了指數，接下來要做什麼呢？

下個單元，我們要來分析一下這些指數，看看哪些適合投資，哪些不適合，敬請期待～

這一系列是我們影音課程的化簡版，

相關性

首先我們先介紹什麼是相關性，
相關性最白話的講法，你可以想像，看到天空烏雲密佈，代表可能要下雨了，
代表天空的顏色跟下雨機率有相關，
你可以由一個現象，去預測另一個現象，這就是相關性！

相關性稍微數學一點

相關性也可以更數值化的方式表示，先用以下例子講解：

這張圖中：

• 我們可以看上方左側圖，天氣溫度跟買冰棒人數的變化圖，可以想像某人每一天記錄天氣溫度與冰棒人數，每天畫一個黃點，時間久了，就可以看出黃點之間的關係，也就是天氣越熱，越有人會想要買冰棒！
• 同理，上方中間那張圖，某人也可以記錄每天生病的人數，此時就發現，天氣越冷，越多人會感冒！
• 當然某人覺得有趣，於是又記錄了溫度與擲筊的關係，最後發現：沒什麼關連

好了，某人已將觀測值變成數字記錄起來了，但每次都必須畫這麼多點，才能看出相關性，也太累了吧？能不能用一個數字取代呢？

這時就可以用

correlation coefficient （相關性係數）

有人可能覺得太多點點了，有密集恐懼症，希望可以將上方這三張圖，每張圖用一個數字代表就好，這樣就不需要看到這麼多點點。

所以某人提出了 correlation coefficient ，從上面第一張圖開始從左而又，分別可以用 1、-1、0來代表：

• 1 代表正相關，也就是X越高Y越高，X越低Y越低（成正比）
• ─1 代表負相關，也就是X越高Y越低，或X越低Y越高（成反比）
• 0 代表無相關性

上述只是化簡後的例子
事實上相關性係數不是整數，而是會介於─1～1間，代表正負相關的程度！

讀到這裡，你可能會問，

所以相關性跟投資有什麼關係？

投資就是預測未來現象與當下現象的相關性！
就像你看到天空烏雲密佈，就能預測接下來會下雨，
我們也可以將相關性係數用於全球指數，

為什麼美股大跌，在台灣的投資人要很緊張？原因就是相關性！
台股跟美股有正相關。

我們可以用Python將相關性畫出來，假如你還沒有爬取歷史股價的話，可以先到前個單元爬取喔！

程式碼撰寫

歷史數據回顧

首先我們可以看一下上個單元爬下來的歷史數據

print(world_index_history['S&P 500'].head())

還記得world_index_history嗎？它是一個dictionary，根據不同的字串，例如S&P 500，可以叫出相對應的表格（dataframe）

有了 world_index_history 我們就可以將國際指數的相關性給畫出來，但首先，我們要先來瞭解

比對歷史數據，發現close價格不一樣？

假如你認真的比對歷史數據（例如玩股網），就會發現離現在越久遠以前的歷史價格，誤差越大！這是為什麼呢？其實這個並不是誤差喔！因為 yahoo finance 的歷史價格是「調整後收盤價」代表這是考慮了除權息的價格變化，所計算出來的價格。

簡單的例子

當除權息、增減資時，一般股價會有大波動，以除權息為例，股票價格瞬間下跌
然而帳戶裡的股票張數會變多（例如領股利）
或是帳戶資金量變多（領股息）
總體來講是不賺不賠的

所以當除權息時，
正常的收盤價 會突然下跌很多，
而 yahoo finance 的調整後收盤價，不會因為除權息有巨幅下跌
更能夠精確的反映股票價值，跟投資的獲利狀況！

Python 終於開始了

首先我們先將所有指數的 Adj Close 先集合起來，變成一張表格(dataframe)

close = {}
for name, price in world_index_history.items():
    if len(price) != 0:
        close[name] = price['Close']

close = pd.DataFrame(close)
close = close.resample('1d').last().dropna(how='all', axis=1).dropna(how='all', axis=0)

接下來就可以來觀察每檔指數的 Adj Close 相關性，

corr = close.corr()
print(corr)

上圖可以看到一個二維的表，就是每個指數跟每個指數之間的相關性，
上圖中可以發現，指數自己跟自己的相關性一定是1，代表完全正相關！
而這張表會是symmetric matrix，也就是做對角線會是對稱的。

接下來我們可以用更視覺化的方式來表示，假如沒有sns的package，要記得先去安裝pip install sns即可，想瞭解如何安裝，可以到此安裝教學的下半部分，有簡單的教學喔！

import seaborn as sns
sns.heatmap(corr, square=True ,vmax=1.0, linecolor='white', annot=True)

假如你發現圖比我的小，字看不清楚，可以改成以下程式碼

# set figure size
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams['figure.figsize'] = (18, 18)

# original code
import seaborn as sns
sns.heatmap(corr, square=True ,vmax=1.0, linecolor='white', annot=True)

有了以上的code，我們就可以知道

台灣股票跟誰最連動

我們可以人眼觀察，發現台灣指數TSEC weighted index跟英國前一百大Cboe UK 100超像！相關係數高達0.9，代表非常非常像

我們可以將這兩個指數畫出來檢查一下：

close['Cboe UK 100']['2015':].plot()
close['TSEC weighted index']['2015':].plot()

雖然價格不同，但是趨勢還真的頗像的耶！然而台灣的加權指數，在2020年的價格，跟某幾個美國的指數相關性非常高，究竟是哪一個指數呢？可以使用我們寫好的colab範例跑跑看喔！

如何用於交易？

兩個相關性很高的股票，可以拿來做pair trading配對交易，但也不是只看相關性，
這個就容我們之後再慢慢分析吧！
這個單元會一直帶你從零開始，慢慢學習，直到機器學習的部分喔！敬請期待～
下一個單元中，我們來看一下要怎麼控制報酬與風險

Python真的很厲害～可以用少少的語法達到非常多的功能
我覺得python搭配excel是沒有必要的，直接使用python替代excel才是最佳的方式！

這禮拜終於比較悠閒一點，開始寫blog了，目前主要還是繼續培養大家的python實力為主，因為有一些同學說明課程有些地方跳的比較快，其實可以參考一些網路上免費的python課程來補齊，不過此blog也會隨時補充一些實用的功能，或是簡單的 python 常用的package和語法，幫助大家熟練 python。

今天要做的就是取得上市櫃股票代號與分類，首先，我們想要爬的網頁是：
http://isin.twse.com.tw/isin/C_public.jsp?strMode=2

其中strMode=2就是上市，而strMode=4就是上櫃，接下來我們就來將此網頁下載下來吧！

爬取網頁

import requests

res = requests.get("http://isin.twse.com.tw/isin/C_public.jsp?strMode=2")

其中，我們使用了常用的 package 叫做 requests，可以模擬網頁瀏覽器，其中 requests.get 就是模擬我們連到該網頁，下載網頁的原始碼～

將網頁轉成 DataFrame

我們用了上述的程式碼，就可以獲得該網頁的原始碼，瀏覽器就是用這些原始碼渲染成網頁讓您操作的，我們可以從網頁原始碼中萃取出表格，產生 DataFrame

import pandas as pd

df = pd.read_html(res.text)[0]
df

第一行：pd 就是我們萃取原始碼的package，全名叫做 pandas ，你可以想像 pandas 就是 python 界的 excel 軟體，可以操作各式各樣的表格，進行運算。

第三行：我們可以利用 pd.read_html 將我們剛剛爬取到的網頁原始碼 res.text 中的表格給萃取出來，而其中 [0] 是指說，萃取出來的可能有很多張表格，我們只需要第一張表格即可～

整理資料 1 整理column名稱

可以看到上圖，目前column名稱只是1、2、3、4，一些數字而已，但我們希望它們是有意義的文字，而我們又可以發現，其中第一行row，就是我們所需要的，所以，我們可以將第一行變成columns的名稱：

# 設定column名稱
df.columns = df.iloc[0]
# 刪除第一行
df = df.iloc[1:]

整理資料 2 刪除冗餘行列

接下來我們發現整理好column名稱後，還是有一些row很明顯是多餘的，我們必須要把它們刪除，刪除的方式，最簡單就是使用 dropna，並且設定當 row 或是 column 的 NaN 數量大於某個數字（例如3）時，我們就將該 column 或 row 移除：

# 先移除row，再移除column，超過三個NaN則移除
df = df.dropna(thresh=3, axis=0).dropna(thresh=3, axis=1)

設定index

我們可以看到index目前也是數字，我們希望它是股票代號，則可以使用

df = df.set_index('有價證券代號及名稱')

即可！

由今天的練習，我們學到了使用 requests 來模擬瀏覽器，用 pandas 解析出網頁中的 table，並且利用 pandas 中的功能，將 table 作整理！

博士班口試結束了，接下來我會盡力開始維持blog正常出貨！也希望能提供更多的選股、程式上的教學！

首先，我們只要從這個網址，把資料get下來就行了！

爬取上櫃股價網址

import requests

link = 'http://www.tpex.org.tw/web/stock/aftertrading/daily_close_quotes/stk_quote_download.php?l=zh-tw&d=107/02/09&s=0,asc,0'
r = requests.get(link)
r.ok

可以看到網址中，包含了日期：107/02/09，這個字樣，可以改成其它日期。
get下來就是csv檔了！直接丟進pandas：

使用pandas讀取

lines = r.text.replace('\r', '').split('\n')

import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO("\n".join(lines[3:])), header=None)
df.head()

但我發現一個小問題：

• 在csv檔中，第一行是：”a”,”b”,”c”
• 但是在其它行，則顯示：a,b,c

有沒有雙引號很重要，會讓pandas沒辦法直接讀進來，所以我們前面幾行先去除（上段code中lines[3:]）

就可以得到下圖：

但我們的index跟column都還沒設定好（都是數字），要把它轉換成有意義的label：

整理index跟columns

df.columns = list(map(lambda l: l.replace(' ',''), lines[2].split(',')))
df.index = df['代號']
df = df.drop(['代號'], axis=1)
df.head()

首先先來換column，裡面有些複雜的程式（第一行）慢慢講解：

1. lambda l: l.replace(' ','') 是一個函式，但是我懶得命名，所以就用 lambda 賴省略函式名稱，它會讀入，這個函式讀入 l，並將l裡面的空白刪除並outpu出來。
2. 其中的map(func, array)就指：將array裡面所有元素，都用func處理一遍。
3. line[2].split(',')：將字串依照 “,” 分割成好幾個小字串。

總體來說，就是將資串分割->針對每個子字串刪除空白。

另外針對index，我們就單純用df.index = df['代號']來設定，並用df.drop將原本的 column刪除，
其實知道pandas有df.set_index()這個函式，但是發現存檔怪怪的，所以改用途法煉鋼（第2、3行）

這樣差不多就完成了：

那要如何把檔案存起來呢？

我們可以利用save file

df.to_csv('test.csv')
pd.read_csv('test.csv', index_col='代號').head()

來存檔跟讀檔喔！跑出來會是一模一樣的！

今天的簡易教學就到這邊！可以下載下來玩玩看喔！

三大法人買賣超還有很多種用法，我們之後再一一說明，
今天最主要就是先獲取到「三大法人」的資料！之後呢，我們會利用這個財經資料
來建立一個投信買賣超的簡單策略。

import requests
from io import StringIO
import pandas as pd

date = '20180102'
r = requests.get('http://www.tse.com.tw/fund/T86?response=csv&date='+date+'&selectType=ALLBUT0999')#
df = pd.read_csv(StringIO(r.text), header=1).dropna(how='all', axis=1).dropna(how='any')
df

什麼！這樣就爬好了～！對呀～那請問怎麼把他們都存在資料庫中呢？
假如您有上課程的話，可以結合我們寫好的GUI外掛可以用：

# finlab 軟體包要上課才有喔～
from finlab.crawler import widget, date_range

# 讀入一些package
import sqlite3
import os
import requests
from io import StringIO
import pandas as pd

# 爬取資料
def crawl_legal_person(date):
    
    # 將時間物件變成字串：'20180102'
    datestr = date.strftime('%Y%m%d')
    
    # 下載三大法人資料
    try:
        r = requests.get('http://www.tse.com.tw/fund/T86?response=csv&date='+datestr+'&selectType=ALLBUT0999')#
    except:
        return None

    # 製作三大法人的DataFrame
    try:
        df = pd.read_csv(StringIO(r.text), header=1).dropna(how='all', axis=1).dropna(how='any')
    except:
        return None
    
    # 微調整（為了配合資料庫的格式）

    # 刪除逗點
    df = df.astype(str).apply(lambda s: s.str.replace(',',''))

    # 刪除「證券代號」中的「"」和「=」
    df['stock_id'] = df['證券代號'].str.replace('=','').str.replace('"','')

    # 刪除「證券代號」這個欄位
    df = df.drop(['證券代號'], axis=1)

    # 設定index
    df['date'] = date
    df = df.set_index(['stock_id', 'date'])
    
    # 將dataframe的型態轉成數字
    return df.apply(lambda s: pd.to_numeric(s, errors='coerce')).dropna(how='all', axis=1)

# 打開資料庫
conn = sqlite3.connect(os.path.join('data', 'data.db'))

# 開啟GUI介面
widget(conn, 'legal_person', crawl_legal_person, date_range)

才多加幾行，我們就將GUI的插件給寫好了～
可以調整時間範圍，來下載每天的三大法人買賣超，並且存在資料庫裡面～
下一次我們就來實做三大法人的策略囉！敬請期待～！