目录

前言

问题记录

hugging face无法访问

前言

大模型应用相关涉及了一系列上下游过程，如算力GPU、模型训练、微调、大模型应用开发等。相关工具使用过程，有一些点就逐步记录下来，以备后续回看。

问题记录

hugging face无法访问

hugging可以说是大模型相关领域的GitHub，相关模型、数据集多数都需要从这里下载。

这里主要说的通过transformers包下载模型、tokener的情况。

但是由于墙，国内无法直接访问。这个时候可以借助镜像网站解决这个问题。

直接配置系统环境变量：HF_ENDPOINT，值：https://hf-mirror.com，这个就是一个huggingface的镜像网站，以后想手动下载相关模型文件也是很方便。

为何这么配置，大概看下相关代码就了解了

至于为啥没有直接使用.env配置，这个我也是测试过了，但是在正式代码中就是有问题，获取不到这个环境变量，但是通过test.py测试可以。

再一个，配置了系统环境变量，需要重启开发工具才会生效。

其他问题

待写…