#导包

import os
import subprocess

#设置 CUDA_VISIBLE_DEVICES 环境变量,使用前 4 个 GPU

os.environ[‘CUDA_VISIBLE_DEVICES’] = ‘0,1,2,3’

#设置 OLLAMA_MODELS 环境变量

os.environ[‘OLLAMA_MODELS’] = ‘/root/autodl-tmp/models’

#启动 ollama 服务

process1 = subprocess.Popen([“ollama”, “serve”])

等待进程结束

process1.wait()

Logo

一站式 AI 云服务平台

更多推荐