[HuggingFace] 허깅페이스 모델 로컬에 다운 받기

허깅 페이스 서버가 가끔 불안정할 때가 있다. 

모델을 로딩할 때 허깅 페이스 서버에 접속이 되지 않는 다면 치명적인 에러가 발생할 수 있기 때문에 로컬에 모델을 다운로드하여두고 사용하는 것을 권장한다.

 

허깅 페이스에서 모델을 로컬에 다운로드하는 두 가지 방법이 있다.

 

1. 허깅페이스 홈페이지에서 다운로드하기

먼저, HuggingFace 홈페이지에서 각 모델에 대해 Command-line interface, CLI를 이용하여 다운로드를 할 수 있다.

 

원하는 모델을 찾아서 들어가면 하기 이미지에 노란색 버튼 </> Use in sentence-transformers을 눌러주면 model repo를 clone 할 수 있는 명령어를 복사하여 CLI에서 입력을 해주면 모델이 다운로드된다. 

 

 

2. 소스코드를 사용하여 다운로드하기

기본적으로 관련 패키지를 import를 하고 모델명을 적어 모델을 로드한 후에 바로 사용할 수 있다. 

그 후 해당 모델을 원하는 경로에 save 시켜주면 된다. 

from sentence_transformers import SentenceTransformer
 
model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
model.save('./tokenizer_multilingual')

 

주피터 노트북에서 해당 코드로 확인해보면 된다.

위와 같이 다운로드가 되는 것을 볼 수 있다.

그리고 지정한 경로에 파일들이 생성된 것을 확인할 수 있다.

 

 

 

로컬에 다운로드가 완료되었으면, 이제 모델을 로드할 때 모델 경로만 입력해주고 사용할 수 있다.

 

 

허깅 페이스 서버가 접근되지 않을 때 모델 로드 부분에서 에러가 발생해 곤란함을 겪지 마시길...