随着大语言模型（LLM）的发展，越来越多的开发者希望在本地运行这些模型，以便更好地掌控数据安全、避免延迟、并利用自有硬件的计算能力。但是大多数 AI 模型训练和推理的框架通常对 NVIDIA 的 CUDA 提供支持，而 AMD 显卡的兼容性相对较弱。本文将介绍如何利用 ROCm 和 ollama 在本地运行大语言模型。