-
-
Notifications
You must be signed in to change notification settings - Fork 4.2k
Open
Labels
Description
自查清单
- 我已仔细阅读了 UnSloth 的官方安装文档和 Windows 支持说明
- 我已尝试更新
xformers和torch到最新版本(包括 nightly 版) - 我已搜索并查看了现有的 issues,确认目前暂不支持 RTX 50xx 系列
问题描述
在 RTX 5060 上使用 Unsloth 时,由于 GPU 架构过新,xformers 库无法找到对应的预编译二进制文件,导致程序启动失败。
目前的 UnSloth 源码强制使用 xformers 或 flash_attn,未提供优雅降级到 PyTorch 原生SDPA的选项。
其他信息
临时修复方案:
通过修改 UnSloth 源码,注释掉 xformers 和 flash_attn 的强制检查,并强制模型使用 PyTorch 原生的 SDPA。
建议:
希望能增加一个环境变量(如 UNSLOOTH_USE_NATIVE_SDPA=1)或配置项,允许用户在 xformers 不可用时自动回退到原生 SDPA,以确保在新架构 GPU 上的可用性。