本地部署LLM
最近开源的llama模型非常火，BX同学在这里向大家演示一下，如何本地部署。* *本文章谨代表BX个人思考 
Meta公司发布的新一代大语言模型，
本期介绍如何在本地，在自己电脑上利用CPU/GPU部署运行，
介绍：
第一步:
用Ollama 
下载ollama： https://ollama.com/
第二步：
下载Docker desk：https://www.docker.com/get-started/ 
根据提示操作 按部就班 的下载
检查： 
第三步：
下载 ****open-webui框架
- GitHub：https://github.com/open-webui/open-webui
- 在cmd/powershell中
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这样就安装完成了
第四步：
在docker中运行这个项目 
然后进入：
第五步：
注册登录后进入界面 
然后进入设置去下载模型 
进入到模型选择界面 
有一个70B和8B和两种情况，根据自己的情况去下载 
把下载指令填入下载框，等待下载就行了
最后一步：
选择模型就可以开始对话了
效果还是很不错！
感谢大家观看，让我们一起进步