使用镜像下载模型和数据集¶
虽然官方的HuggingFace存储库提供了许多高质量的模型和数据集,但由于网络问题,它们可能总是无法访问的。 为了使访问更轻松,MindNLP使您可以从各种HuggingFace或其他模型存储库中下载模型和数据集。
在这里,我们向您展示如何设置所需的镜像。
您可以通过环境变量设置HuggingFace,或者在本地更大,指定镜像 from_pretrained 下载模型时的方法。
通过环境变量设置HuggingFace¶
通过Mindnlp使用的拥抱表镜可以通过 HF_ENDPOINT 环境变量。
您可以在终端中设置此变量,然后再借鉴Python脚本:
export HF_ENDPOINT="https://hf-mirror.com"
os 包裹:
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
如果是 HF_ENDPOINT 用户未明确设置变量,MindNLP默认情况下将使用'https://hf-mirror.com'。 您可以将其更改为官方的HuggingFace存储库“ https://huggingface.co'。
重要的:
URL不应包括最后一个'/'。 将Varialble设置为“ https://hf-mirror.com”将有效,同时将其设置为'https://hf-mirror.com/'将导致错误。
重要的:
作为 HF_ENDPOINT 在MindNLP的初始导入期间读取变量,设置 HF_ENDPOINT 在导入MindNLP之前。 如果您在Jupyter笔记本电脑中,并且已经导入MindNLP软件包,则可能需要重新启动笔记本以进行更改才能生效。
现在您可以下载所需的模型,例如:
from mindnlp.transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
指定HuggingFace from_pretrained 方法¶
您也可以在环境变量上全球设置HuggingFace,而是可以在 from_pretrained 方法。
例如:
from mindnlp.transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', mirror='modelscope', revision='master')
MindNLP接受以下选项 mirror 争论:
*'huggingface'
从通过指定的HuggingFace下载 HF_ENDPOINT 环境变量。 默认情况下,它指向 HF MIRROR.
*'ModelsCope'
从 ModelsCope.
*'Wisemodel'
从 始智ai.
*'gitee'
*'aifast'
从 ai快站.
请注意,并非所有模型都可以从单个镜像中找到,您可能需要检查要下载的模型是否由您选择的镜像提供。
除了指定镜像外,您还需要指定 revision 争论。 这 revision 根据您选择的镜像,参数可以是“主”或“主”。 默认情况下,revision='main'.
*如果是 mirror 是“拥抱面”,“ Wisemodel”或“ Gitee”revision='main'.
*如果是 mirror 是“ ModelsCope”,设置 revision='master'.
*如果是 mirror 是“ aifast”,revision 不需要指定。