Skip to content

在RTX 5060上使用 Unsloth 时,由于GPU架构过新,导致程序启动失败。 #3870

@suichengxuan

Description

@suichengxuan

自查清单

  • 我已仔细阅读了 UnSloth 的官方安装文档和 Windows 支持说明
  • 我已尝试更新 xformerstorch 到最新版本(包括 nightly 版)
  • 我已搜索并查看了现有的 issues,确认目前暂不支持 RTX 50xx 系列

问题描述

在 RTX 5060 上使用 Unsloth 时,由于 GPU 架构过新,xformers 库无法找到对应的预编译二进制文件,导致程序启动失败。
目前的 UnSloth 源码强制使用 xformersflash_attn,未提供优雅降级到 PyTorch 原生SDPA的选项。

其他信息

临时修复方案
通过修改 UnSloth 源码,注释掉 xformersflash_attn 的强制检查,并强制模型使用 PyTorch 原生的 SDPA。

建议
希望能增加一个环境变量(如 UNSLOOTH_USE_NATIVE_SDPA=1)或配置项,允许用户在 xformers 不可用时自动回退到原生 SDPA,以确保在新架构 GPU 上的可用性。

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions