我对如何在自己的桌面或服务器上从HuggingFace安装库感到困惑。安装一个库有多复杂?哪里有逐步的指导?我找到了一些文章,但它们假设了一定的知识水平,而我完全是新手,无法跟上这些指导。
更具体地说,我在看GPT库。GPT Neo 125M似乎是这些库中最小的,所以我假设这将是最容易安装的。https://huggingface.co/EleutherAIhttps://huggingface.co/EleutherAI/gpt-neo-125M
另外,一旦你在自己的机器上安装了一个库,它的使用是免费的吗?我看到HuggingFace有一个定价结构:
https://huggingface.co/pricing
但我不确定它适用于什么情况。如果你在自己的电脑上托管模型,这个定价结构是否适用?
我对这些东西完全是新手,所以任何建议都非常受欢迎。
回答:
将gpt-neo-125m下载到你自己的桌面
我实际上有一个关于GPT-Neo-2.7B模型的YouTube视频,如果你有兴趣的话。步骤对于gpt-neo-125M
完全相同
首先,移动到Hugging Face中相应模型的官方页面上的“文件和版本”选项卡。对于gpt-neo-125M,它将是这个
然后点击右上角的“在Transformers中使用”,你会看到一个这样的窗口
现在只需按照那里的git克隆命令进行操作 – 对于gpt-neo125M,它将是
git lfs install
git clone https://huggingface.co/EleutherAI/gpt-neo-125M
这将把你在那个页面看到的所有文件和模型下载到你本地机器的目录中。
现在你可以运行下面的代码,严格按照官方文档进行操作,只需将“model”参数的值更改为你上面刚用git克隆的本地目录即可。
## 以下是我从本地机器获取模型的实现
from transformers import pipeline
generator = pipeline('text-generation', model='/your_local_dir_where_you_downloaded/')
generator("USA will be ", do_sample=True, max_length=120, min_length=20)
另外,请注意,如果你不想使用git lfs
,你可以从上面的HuggingFace网站手动下载模型文件(通过点击向下箭头)。在这种情况下,你需要传递GIT_LFS_SKIP_SMUDGE=1
,如文档所述
# 如果你想克隆但不包括大文件 - 只克隆它们的指针
# 在你的git克隆命令前加上以下环境变量:
GIT_LFS_SKIP_SMUDGE=1
如果你在自己的电脑上托管模型,这个定价结构是否适用?
不。如果你在离线使用,即在自己的电脑上托管模型 – 没有费用。
如果你在自己的云硬件上使用这些模型,比如AWS ec2,或者你自己的服务器,那么也没有费用。
但如果你使用Huggingface的API端点进行推理,那么你将按相应的费用收取!!
所以在huggingface.co/pricing给出的定价 – 适用于你直接访问Huggingface自己的API端点进行推理时。