参考内容:

https://blog.csdn.net/Changxing_J/article/details/139563269

对于flash_attn对应的cxx11abiFALSE还是cxx11abiTRUE,使用如下方式判断

import torch
print(torch._C._GLIBCXX_USE_CXX11_ABI)

下载链接:

wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.3/flash_attn-2.7.3+cu12torch2.6cxx11abiFALSE-cp312-cp312-linux_x86_64.whl

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐