将F5-TTS训练的.pt音色模型转换为适配RK3588的RKNN模型 ------------失败了RKNN模型转换不支持F5-TTS的部分算子 ,记录下软件安装部分
失败,rknn_toolkit工具不支持F5-TTS模型的部分算子
一、Miniconda安装
1.下载miniconda
地址:https://docs.conda.io/en/latest/miniconda.html
选择Miniconda3 Linux 64-bit 和 Miniconda3 Linux-aarch64 64-bit
2.拷贝下载好的Miniconda3-latest-Linux-x86_64.sh 安装包到虚拟机 ubuntu 上

3.运行下面的指令安装
./Miniconda3-latest-Linux-x86_64.sh
安装完成后重新打开终端在用户名出现(base)就代表成功
4.在home目录下新建.condarc(这个文件新建之后是隐式的,用普通的ls是找不到的)
touch .condarc
sudo vim .condarc
在文件里添加下面的内容
channels:
- defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
二、创建RKNN虚拟环境
1.使用conda创建RKNN虚拟环境
conda create -n rknn python=3.8
执行这个命令之后按要求安装就可以了
2.安装好之后输入下面的命令激活
conda activate rknn
3.安装numpy
pip install numpy==1.19.5 scipy==1.5.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
4.安装瑞芯微提供的requirements_cp38-1.4.0.txt 文件所记录的依赖包
依赖包
这是文件内容
# if install failed, please change the pip source to 'https://mirror.baidu.com/pypi/simple'
# base deps
numpy==1.19.5
protobuf==3.12.2
flatbuffers==1.12
# utils
requests==2.27.1
psutil==5.9.0
ruamel.yaml==0.17.4
scipy==1.5.4
tqdm==4.64.0
bfloat16==1.1
opencv-python==4.5.5.64
# base
onnx==1.9.0
onnxoptimizer==0.2.7
onnxruntime==1.10.0
torch==1.10.1
torchvision==0.11.2
tensorflow==2.6.2
然后运行
pip install -r requirements_cp38-1.4.0.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
5.安装rknn_toolkit2-1.4.0 版本的软件包,要先下载这个软件包,后续我会把这个安装包整理出来,然后发在评论区。这一步在安装的时候一直显示
ERROR: Invalid requirement: 'rknn-toolkit2==1.4.0-22dcfef4': Expected end or semicolon (after version specifier)
rknn-toolkit2==1.4.0-22dcfef4
~~~~~~~~~~^
这个报错,查了半天说是pip的版本的问题,于是把版本降到23,现在安装成功了
python -m pip install "pip<24"
pip install rknn_toolkit2-1.4.0_22dcfef4-cp38-cp38-linux_x86_64.whl
三、安装pycharm
1.在官网下载:https://www.jetbrains.com/pycharm/ 选择Linux 操作系统的 Community ,下载后拷贝到虚拟机里
2.将下载的压缩包进行解压
tar -vxf pycharm-community-2023.1.tar.gz
3.进入安装包的bin目录下,使用命令运行Pycharm,然后正常安装就好了
cd pycharm-community-2023.1/bin/
./pycharm.sh
4.配置pycharm
安装文插件

5.配置 RKNN 解释器
新建项目,然后这样设置

点击添加解释器

这样PyCharm 的 RKNN 虚拟环境就配置好了
四、模型转换
这里一直显示安装的numpy和python3.8版本太老,和RKNN的环境不匹配,看了手册RK3588是可以直接将.pt转换为.rknn模型的,但是为了保险起见,我新建了一个虚拟环境在虚拟环境中将.pt模型转换为.onnx模型,再回到原环境下,将.onnx模型转换为.rknn模型,python的版本是3.10,numpy的版本是1.26.4,x_transformers是1.31.14,安装F5-TTS所需要的库。因为关于F5-TTS的模型转换的脚本太少了。
1.将自己的模型和源码拷贝到虚拟机里
我是用F5-TTS训练出来的模型
2.先安装库(在新建的虚拟环境里)
pip install x-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install soundfile librosa -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install matplotlib "pydantic<=2.10.6" pypinyin -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install rjieba safetensors tomli -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torchcodec torchdiffeq transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install transformers_stream_generator unidecode vocos wandb -i https://pypi.tuna.tsinghua.edu.cn/simple
更多推荐


所有评论(0)