本地化部署 deepseek-r1

步骤一:安装Ollama

Ollama是一个开源框架,旨在简化在本地运行大型语言模型(LLM)的过程。

Ollama官网:https://ollama.com/download

本地化部署 deepseek-r1

选择对应系统安装包下载,本文以macOS为例。

下载完后是一个.zip包

本地化部署 deepseek-r1

双击解压出一个App,拖入应用程序里面运行:

本地化部署 deepseek-r1
本地化部署 deepseek-r1

按提示复制指令,到终端粘贴后回车:

本地化部署 deepseek-r1
本地化部署 deepseek-r1

开始安装Ollama,等待下载安装完成

本地化部署 deepseek-r1


步骤二:获取 deepseek-r1 模型

先在此处看看可以获取的模型版本https://ollama.com/library/deepseek-r1

本地化部署 deepseek-r1

一般默认7b,性能好的电脑往上去尝试,模型越大越强,对GPU的需求也更大。

同样在终端输入指令:

ollama run deepseek-r1 

后回车,就会安装默认的7b版本,如果要安装别的版本,则这样输入:

ollama run deepseek-r1:8b 

也就是在默认指令后面加英文冒号和版本

本地化部署 deepseek-r1

成功后会显示如下:

本地化部署 deepseek-r1

这里可以直接输入指令来运行了,但是在终端输入的交互体验不好,我们需要安装一个更好用的GUI界面。



步骤三:安装 Anything LLM

AnythingLLM非常适合需要构建私有知识库或智能聊天系统的企业和个人。它不仅支持本地部署,也可以在云端运行,使其具有灵活性和可扩展性。通过将现有文档转化为可交互的知识库,用户能够快速获取所需信息并提高工作效率。

官网https://anythingllm.com/desktop

下载对应系统的版本:

本地化部署 deepseek-r1

安装完后双击启动,会有引导页面,创建一个工作区,名称随便起就行了。

关键点在此:

点击界面左下角的设置进入:

本地化部署 deepseek-r1

LLM首选项 – LLM提供商(选择Ollama)– 下面的 Ollama Model(选择deepseek-r1刚刚前面下载的对应版本):

本地化部署 deepseek-r1

返回工作区,聊天框就可以开始使用本地模型进行对话了。

本地化部署 deepseek-r1

电脑风扇开始狂转,且显卡温度飙升,那么恭喜你,成功部署在本地了。

本地化部署 deepseek-r1


原文始发于微信公众号(NecoTalk):本地化部署 deepseek-r1

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/310045.html

(0)
李, 若俞的头像李, 若俞

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!