本地部署LLM

文章摘要

Bpple-GPT

最近开源的llama模型非常火,BX同学在这里向大家演示一下,如何本地部署。* *本文章谨代表BX个人思考

dsd

Meta公司发布的新一代大语言模型,

本期介绍如何在本地,在自己电脑上利用CPU/GPU部署运行,


介绍:

第一步:

用Ollama 下载ollama: https://ollama.com/

第二步:

下载Docker desk:https://www.docker.com/get-started/ 根据提示操作 按部就班 的下载

检查:

第三步:

下载 ****open-webui框架

 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这样就安装完成了

第四步:

在docker中运行这个项目 然后进入:

http://localhost:3000/

第五步:

注册登录后进入界面 然后进入设置去下载模型 进入到模型选择界面 有一个70B和8B和两种情况,根据自己的情况去下载 把下载指令填入下载框,等待下载就行了

最后一步:

选择模型就可以开始对话了

效果还是很不错!


感谢大家观看,让我们一起进步


用键盘敲击出的不只是字符,更是一段段生活的剪影、一个个心底的梦想。希望我的文字能像一束光,在您阅读的瞬间,照亮某个角落,带来一丝温暖与共鸣。

BX33661

站长

不具版权性
不具时效性

文章内容不具时效性。若文章内容有错误之处,请您批评指正。


目录

欢迎来到Bpple的站点,为您导航全站动态

64 文章数
20 分类数
44 评论数
15标签数
最近评论
bpple

bpple


一切顺利

fetain

fetain


good luck

bx

bx


good luck

热门文章

Emoji收集

2024-11-01

542
Hello Halo

2024-10-30

524
本地部署LLM

2024-08-22

505
Uptime Kuma

2024-11-29

499
229

访问统计