失败,rknn_toolkit工具不支持F5-TTS模型的部分算子

一、Miniconda安装

1.下载miniconda

地址:https://docs.conda.io/en/latest/miniconda.html

选择Miniconda3 Linux 64-bit 和 Miniconda3 Linux-aarch64 64-bit

2.拷贝下载好的Miniconda3-latest-Linux-x86_64.sh 安装包到虚拟机 ubuntu 上

3.运行下面的指令安装

./Miniconda3-latest-Linux-x86_64.sh

安装完成后重新打开终端在用户名出现(base)就代表成功

4.在home目录下新建.condarc(这个文件新建之后是隐式的,用普通的ls是找不到的)

touch .condarc

sudo vim .condarc

在文件里添加下面的内容

channels:
- defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

二、创建RKNN虚拟环境

1.使用conda创建RKNN虚拟环境

conda create -n rknn python=3.8

执行这个命令之后按要求安装就可以了

2.安装好之后输入下面的命令激活

conda activate rknn

3.安装numpy

pip install numpy==1.19.5 scipy==1.5.4 -i https://pypi.tuna.tsinghua.edu.cn/simple

4.安装瑞芯微提供的requirements_cp38-1.4.0.txt 文件所记录的依赖包
依赖包

这是文件内容

# if install failed, please change the pip source to 'https://mirror.baidu.com/pypi/simple'

# base deps
numpy==1.19.5
protobuf==3.12.2
flatbuffers==1.12

# utils
requests==2.27.1
psutil==5.9.0
ruamel.yaml==0.17.4
scipy==1.5.4
tqdm==4.64.0
bfloat16==1.1
opencv-python==4.5.5.64

# base
onnx==1.9.0
onnxoptimizer==0.2.7
onnxruntime==1.10.0
torch==1.10.1
torchvision==0.11.2
tensorflow==2.6.2

然后运行

pip install -r requirements_cp38-1.4.0.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

5.安装rknn_toolkit2-1.4.0 版本的软件包,要先下载这个软件包,后续我会把这个安装包整理出来,然后发在评论区。这一步在安装的时候一直显示

ERROR: Invalid requirement: 'rknn-toolkit2==1.4.0-22dcfef4': Expected end or semicolon (after version specifier)
    rknn-toolkit2==1.4.0-22dcfef4
                 ~~~~~~~~~~^
这个报错,查了半天说是pip的版本的问题,于是把版本降到23,现在安装成功了

python -m pip install "pip<24"

pip install rknn_toolkit2-1.4.0_22dcfef4-cp38-cp38-linux_x86_64.whl

三、安装pycharm

1.在官网下载:https://www.jetbrains.com/pycharm/    选择Linux 操作系统的 Community ,下载后拷贝到虚拟机里

2.将下载的压缩包进行解压

tar -vxf pycharm-community-2023.1.tar.gz

3.进入安装包的bin目录下,使用命令运行Pycharm,然后正常安装就好了

cd pycharm-community-2023.1/bin/

./pycharm.sh

4.配置pycharm

安装文插件

5.配置 RKNN 解释器

新建项目,然后这样设置

点击添加解释器

这样PyCharm 的 RKNN 虚拟环境就配置好了

四、模型转换

这里一直显示安装的numpy和python3.8版本太老,和RKNN的环境不匹配,看了手册RK3588是可以直接将.pt转换为.rknn模型的,但是为了保险起见,我新建了一个虚拟环境在虚拟环境中将.pt模型转换为.onnx模型,再回到原环境下,将.onnx模型转换为.rknn模型,python的版本是3.10,numpy的版本是1.26.4,x_transformers是1.31.14,安装F5-TTS所需要的库。因为关于F5-TTS的模型转换的脚本太少了。

1.将自己的模型和源码拷贝到虚拟机里

我是用F5-TTS训练出来的模型

2.先安装库(在新建的虚拟环境里)

pip install x-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install soundfile librosa -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install matplotlib "pydantic<=2.10.6" pypinyin -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install rjieba safetensors tomli -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install torchcodec torchdiffeq transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install transformers_stream_generator unidecode vocos wandb -i https://pypi.tuna.tsinghua.edu.cn/simple

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐