开始安装transformers, transformers主要依赖tokenizers,安装tokenizers依赖rust,所以需要先安装rust。递进关系,直接安装会失败。

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env
conda install -c conda-forge tokenizers 
conda install -c conda-forge transformers==4.4.2 
#如果需要还可以安装huggeface的datasets,安装方法如下
conda install -c conda-forge pyarrow
conda install -c conda-forge datasets

文章来自zh大佬:链接附上

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐