Bert 模型離線下載使用

主要是為了能夠讓模型檔放入工作環境使用,所以需要簡單記錄一下,主要是要讓 pytorch-transformer 能夠動起來.

關鍵是針對每一個模型必須要下載 model.bin / config.json 與 tokenizer 需要的 vocab.txt

這幾個檔案其實都可以在 pytorch-transformer 裡面找到下載路徑,所以簡單透過 wget 下載下來並改名字統一放在一個目錄下就可以了

mkdir bert-base-chinese

wget https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin -O ./bert-base-chinese/pytorch_model.bin

wget https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-config.json -O ./bert-base-chinese/config.json

wget https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt -O ./bert-base-chinese/vocab.txt

使用的時候直接使用

model = BertModel.from_pretrained(‘./bert-base-chinese’)

--

--

aha 專長於組裝各式語言與各大平台服務,打造最小可行產品原型.曾獲得2011 政府開放資料平台App社會組首獎.2015 PIXNET Mobile Service社會組首獎.2014 DSC R 課程講師.2017pycon與2017 DSC講者,2022 法律x法遵黑客松第三名。

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
Cheng-Yu Lin

aha 專長於組裝各式語言與各大平台服務,打造最小可行產品原型.曾獲得2011 政府開放資料平台App社會組首獎.2015 PIXNET Mobile Service社會組首獎.2014 DSC R 課程講師.2017pycon與2017 DSC講者,2022 法律x法遵黑客松第三名。