数据库管理-第390期 Ollama如何正常调用AMD GPU(20251114)
作者:胖头鱼的鱼缸(尹海文) Oracle ACE Pro: Database PostgreSQL ACE OpenTenBase ACE 10年数据库行业经验 拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证 墨天轮MVP,ITPUB认证专家 圈内拥有“总监”称号,非著 名社恐(社交恐怖分子) 公众号:胖头鱼的鱼缸 CSDN:胖头鱼的鱼缸(尹海文) 墨天轮:胖头鱼的鱼缸 ITPUB:yhw1809 IFClub:胖头鱼的鱼缸 除授权转载并标明出处外,均为“非法”抄袭
在前一篇使用Ollama在本地运行QWen3:30B的时候,发现一个问题,即大模型本地运行时没有调用AMD Ryzen AI Max+ 395的GPU,是使用的CPU和分配给CPU的内存在运行,这就导致了大模型运行非常缓慢,在Cline中经常超时。在之前的Ollama版本中是可以看到GPU被调用的,本期总结一下解决该问题的过程 。
1 安装ROCm
AMD RCOm是AMD提供的一款开放式软件栈包含多种编程模型、工具、编译器、库和运行时,助力开发基于AMD GPU的AI和HPC解决方案。可以通过下面地址下载Windows需要安装的SDK:
https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html
下载安装检查官方文档,确认6.4.2是支持AMD Ryzen AI Max+ 395的最新的ROCm版本:
https://rocm.docs.amd.com/projects/install-on-windows/en/docs-6.4.2/reference/system-requirements.html
确认版本并下载SDK安装包后。按照Windows安装软件的正常流程一直下一步即可,最后在选择显卡驱动时,如果当前已安装显卡驱动较新,选择默认的不安装老的显卡驱动即可。
2 调整Ollama
2.1 检查Ollama版本
ollama -v
当前版本是v0.12.10,该版本号用于下载匹配的包。
2.2 下载附加内容
到Ollama的GitHub中下载对应版本的两个包,主要是为了添加AMD的完整支持以及添加ROCm的对接库文件:
https://github.com/ollama/ollama/releases
在对应的版本下载对应的包。

将两个ZIP压缩包中的所有文件解压至Ollama的安装目录中:

2.3 检查硬件占用
这里再在Ollama中随意执行一些问题,就可以看到GPU和显存已经正常调用了:

3 Ollama访问
要想Ollama运行的LLM能够被访问到,还需要进行一些额外的操作。
3.1 Ollama配置
其实Ollama本身还需要附加一些配置,才能让Cline或其他程序能够正常调用:
在设置(setting)中,将Ollama配置为网络可见,并将Context length拉到需求长度:

3.2 环境变量配置
在Windows的环境变量中也要添加以下内容,Ollama才能被访问:
OLLAMA_ORIGINS=*

总结
本文总结了Ollama正常调用AMD GPU的处理过程。如果是使用Nvidia的GPU,则仅需安装CUDA相关配套软件即可。 老规矩,知道写了些啥。
