使用Docker运行AI大模型
1 | docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama |
如何在容器中运行基于GPU的大模型
需要安装驱动的,所以安装驱动吧
Nvidia安装地址: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installation
1 | #基于Debain系列服务器 |