模型获取

本文以Meta-Llama-3-8B-Instruct模型为例,介绍如何进行模型的获取, 该模型获取目前主要有三种方式,Meta官方HuggingFacehf-mirror, 下面将详细说明这三种获取模型的方法。

Meta官方

下载模型前需要获取licence,前往 Meta官网,提供信息获取到许可证,拿到已签名的URL。

  • 链接类似于下面:

1https://download6.llamameta.net/*?Policy=eyJTdGF0ZW1lbnQiOlt7InVuaXF1ZV9oYXNoIjoibGJuYXc0bzdrY2pqNnoxeXZ1N3hmcmNvIiwiUmVzb3VyY2UiOiJodHRwczp
2cL1wvZG93bmxvYWQ2LmxsYW1hbWV0YS5uZXRcLyoiLCJDb25kaXRpb24iOnsiRGF0ZUxlc3NUaGFuIjp7IkFXUzpFcG9jaFRpbWUiOjE3MTY0MzYyMTF9fX1dfQ__&Signature=KTyc
3LZkPxqMYY0XqW047tNN9IWX%7EOxlQbqCsDqmcX0vE8oia3Qej-x6aGFQSJhkHRULu8Efso5Qde8KRiptK5rGh9oLrtMeAS3SID%7EOyk38o9NNLKxWokA7yQxwvUVRqibVMJyhkE8XE
4K2HDNftKT9KLaDG8HHFQmGWuhdTJSvCezJIRKWPtzRf0dohepOiOHOcQW%7Ermo7m6iI595PuoX7o3bVYpFYQf1Syrp05XCr9t2-Rzf8xaIYF5-2vFqELFyFyJys%7E5lA4178elcJcU
5ImSSokn1IJBARAZ0iLaWDFsuTbvDJmz9j-ccHFJzgDPCMLQjHpK6QfCk4TWGmdyXMg__&Key-Pair-Id=K15QRJLYKIFSLZ&Download-Request-ID=1502880093958574
  • 之后获取源码,使用以下命令下载并进入到工作目录:

1git clone https://github.com/meta-llama/llama3.git
2cd llama3
  • 运行脚本:

1./download.sh

运行时输入上边获取到的URL,即可进行模型的下载。

HuggingFace

HuggingFace同样需要获得licence,访问仓库 meta-llama/Meta-Llama-3-8B-Instruct ,接受许可后等待请求获得批准即可。

得到权限后,点击”文件和版本”标签,下载原始文件夹的内容或通过以下命令行下载:

  • 安装huggingface-hub:

pip install huggingface-hub
  • 下载文件:

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include “original/*” --local-dir meta-llama/Meta-Llama-3-8B-Instruct

以上两种方法国内用户可能无法完成,下面推荐 国内用户 的获取模型的方式。

hf-mirror

hf-mirror是更适合国内用户获取模型的方式,它是HuggingFace平台的镜像网站, 提供了一个备用的域名来访问HuggingFace的资源和功能, 以 Qwen2-7B-Instruct 为例(Meta-Llama-3-8B-Instruct同样需要获取license,不方便国内用户, 这里用Qwen2代替说明), 共有三种方法,下面依次进行介绍。

直接下载

点击模型的下的 图标下载文件,如下:

../../_images/downloadmodel.png

修改镜像源

  • 修改环境变量HF_ENDPOINT,该变量会替换huggingface.co域名:

1# 临时生效
2export HF_ENDPOINT=https://hf-mirror.com
3# 永久生效
4echo export HF_ENDPOINT=https://hf-mirror.com >> ~/.bashrc
  • 安装huggingface-hub:

pip install huggingface-hub
  • 下载文件:

1# huggingface_hub下载单个文件
2from huggingface_hub import hf_hub_download
3hf_hub_download(repo_id="Qwen/Qwen2-7B-Instruct", filename="config.json", cache_dir="./your/path/Qwen")
4
5# huggingface_hub下载整个项目
6from huggingface_hub import snapshot_download
7snapshot_download(repo_id="Qwen/Qwen2-7B-Instruct", cache_dir="./your/path/Qwen")

git lfs

使用以下命令下载模型:

1# Make sure you have git-lfs installed (https://git-lfs.com)
2git lfs install
3
4git clone https://hf-mirror.com/Qwen/Qwen2-7B-Instruct
5
6# If you want to clone without large files - just their pointers
7# GIT_LFS_SKIP_SMUDGE=1 git clone https://hf-mirror.com/Qwen/Qwen2-7B-Instruct

使用以上任意一种方式即可完成模型的获取,将模型保存在本地路径后可以进行 微调预训练模型推理 等操作。