Bert 模型離線下載使用

aha (Cheng-Yu Lin)
1 min readSep 18, 2019

主要是為了能夠讓模型檔放入工作環境使用,所以需要簡單記錄一下,主要是要讓 pytorch-transformer 能夠動起來.

關鍵是針對每一個模型必須要下載 model.bin / config.json 與 tokenizer 需要的 vocab.txt

這幾個檔案其實都可以在 pytorch-transformer 裡面找到下載路徑,所以簡單透過 wget 下載下來並改名字統一放在一個目錄下就可以了

以 bert-base-chinese 為例

mkdir bert-base-chinese

wget https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-pytorch_model.bin -O ./bert-base-chinese/pytorch_model.bin

wget https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-config.json -O ./bert-base-chinese/config.json

wget https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt -O ./bert-base-chinese/vocab.txt

使用的時候直接使用

model = BertModel.from_pretrained(‘./bert-base-chinese’)

--

--

aha (Cheng-Yu Lin)

Passionate about reading, gaming, and travel. Using AI to connect the physical & virtual worlds, I enjoy sharing ideas with others. Let's connect!