算力环境配置参考:

Linux环境下部署百度百川AI大模型-CSDN博客

步骤一:下载llama3-Chinese-chat模型

cd /workspace/
git clone https://github.com/CrazyBoyM/llama3-Chinese-chat --depth 1

步骤二:下载依赖

pip install streamlit

步骤三:下载模型库

git lfs install
git lfs clone https://www.modelscope.cn/baicai003/Llama3-Chinese_v2.git

步骤四:启动大模型

cd /workspace/llama3-Chinese-chat/
streamlit run deploy/web_streamlit_for_v1.py /workspace/Llama3-Chinese_v2 --theme.base="dark"

参考:

魔搭社区

GitHub - CrazyBoyM/llama3-Chinese-chat: Llama3 中文仓库(聚合资料,各种网友及厂商微调、魔改版本有趣权重 & 训练、推理、评测、部署教程视频 & 文档)

Logo

一站式 AI 云服务平台

更多推荐