#导包
import os
import subprocess
#设置 CUDA_VISIBLE_DEVICES 环境变量,使用前 4 个 GPU
os.environ[‘CUDA_VISIBLE_DEVICES’] = ‘0,1,2,3’
#设置 OLLAMA_MODELS 环境变量
os.environ[‘OLLAMA_MODELS’] = ‘/root/autodl-tmp/models’
#启动 ollama 服务
process1 = subprocess.Popen([“ollama”, “serve”])
等待进程结束
process1.wait()
所有评论(0)