rx6600xt（A卡）使用ollama GPU跑大模型（解决默认CPU运行问题）

在 Windows 环境下很多使用AMD 显卡如 RX6600XT的用户会发现使用官方Ollama运行大模型时默认只使用 CPU即使机器有 GPU 也不会调用。原因是官方 Ollama Windows 版本只支持部分 AMD GPU 架构很多显卡没有默认适配因此只能 fallback 到 CPU。本文介绍一种通过替换 ROCm 库的方式让 RX6600XT 等 AMD 显卡在 Windows 下使用 GPU 跑 Ollama 模型的方法。一、环境说明本文测试环境硬件配置CPUIntel i7内存32GBGPURX6600XT系统Windows 11Ollama官方最新版ROCm6.4.2适用显卡架构点击查询A卡的gfx版本其中RX6600XT 属于 gfx1032 架构理论上是可以跑 GPU 的只是Ollama 官方 Windows 版本没有完整打包 ROCm 依赖。二、核心原理Ollama Windows GPU 运行依赖ROCmHIP库。但官方安装包ROCm 组件不完整缺少部分rocblas计算库GPU 架构列表不完整解决方案手动替换 Ollama 的 ROCm 运行库。核心步骤1️⃣ 安装官方 Ollama2️⃣ 替换 ROCm 运行库3️⃣ 更新 rocblas 库4️⃣ 启动 Ollama三、安装 Ollama先安装官方版本OllamaSetup.exe安装完成后默认路径C:\Users\用户名\AppData\Local\Programs\Ollama不想装C盘可以用下面的命令换其他盘OllamaSetup.exe /DIRd:\some\location重点目录C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocm四、替换 ROCm 运行库下载适配版本下载地址ollama-windows-amd64.7z ROCm 6.4.2解压后替换以下目录删除 C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocm 然后复制新的 ollama-windows-amd64\rocm C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\五、更新 ROCm 计算库Ollama GPU 推理依赖rocblas.dll操作步骤进入C:\Users\用户名\AppData\Local\Programs\Ollama\lib\ollama\rocm找到rocblas删除rocblas/library然后下载ROCmLibs 6.4.2替换为新的rocblas/library目录结构示例rocm ├── rocblas.dll ├── rocblas │ └── library │ ├── TensileLibrary.dat │ └── ...六、特殊显卡gfx1200 / gfx1201如果 GPU 识别异常需要替换amdhip64.dll来源C:\Windows\System32\amdhip64.dll替换到Ollama\lib\ollama\rocm七、启动 Ollama安装完成后启动ollama serve然后运行模型ollama run qwen:7b如果 GPU 正常工作可以看到GPU detected ROCm initialized也可以通过命令查看ollama ps也可以通过任务管理器看 gpu 的使用情况还可以右键 ollama 查看log搜索显卡型号即可。八、常见错误1 amdgpu is not supported错误示例amdgpu is not supported supported types: [gfx1030 gfx1100 gfx1101 gfx1102 gfx906]原因ROCm libs 没有替换GPU 架构未包含解决重新替换ROCmlibs 6.4.22 模型仍然跑 CPU可能原因rocblas 没替换GPU 架构未加入ROCm 版本错误建议使用ROCm 6.4.2版本。九、性能测试测试模型qwen2:7b运行方式Token速度CPU2~3 token/sRX6600XT GPU20~35 token/s性能提升约10 倍。十、总结在 Windows 上使用 AMD GPU 跑 Ollama大部分问题来自ROCm 运行库不完整。核心解决方法1️⃣ 安装官方 Ollama2️⃣ 替换 ROCm 运行库3️⃣ 更新 rocblas 库4️⃣ 必要时替换amdhip64.dll完成后即可让RX6600XTRX6700XTRX6800RX7000 系列在Windows 上使用 GPU 推理大模型。