文章目录
- 1. 本地部署Deepseek-R1
- 2. 本地部署AnythingLLM
- 3. 打造本地化RAG知识库
1. 本地部署Deepseek-R1
1.1进入ollama官网,并下载对应的版本
- 官方网址:Ollama
- 国内加速网址:Ollama中文官网 - Ollama国内加速下载
1.2 下载成功后,打开Windows PowerShell,输入ollama,显示如下命令,表示安装成功:
ollama
1.3. 点击ollama官网的models,找到deepseek-r1,按照自己的电脑配置下载对应的版本
1.4. 打开Windows PowerShell,输入下载命令, 下载成功后提示success:
ollama run deepseek-r1:8b
1.5. 安装成功后,就可以在终端于deepseek进行对话
2. 本地部署AnythingLLM
2.1. 官网下载AnythingLLM,并安装:(可能验证较慢,需要魔法)
- 官方网址:AnythingLLM | The all-in-one AI application for everyone
2.2. 打开AnythingLLM,找到ollamma,选择本地下载好的deepseek模型,并点击下一步两次,并按照如下配置
2.3. 配置完成后,正式进入对话界面
2.4. 点击含有deeepseek模型的自定义工作区,就可以与deepseek进行对话。
(在DeepSeek思考的时候,会根据本地下载的模型来占用电脑的CPU、内存、GPU、显存,因此要根据自己机器的配置来下载合适参数的deepseek模型)
2.5. 切换其他的AI模型
- 方法1:同一工作空间切换
- 方法2:新建工作空间,并更改聊天设置(更改完,记得保存)
2.6. 使用llama模型,对话测试
3. 打造本地化RAG知识库
- 什么是RAG知识库?
- RAG:“Retrieval-Augmented Generation”,即增强检索生成。它结合了检索和生成技术,使模型能够利用外部知识来回答问题。
3.1. 打开Windows PowerShell,执行命令,安装嵌入模型:nomic-embed-text
ollama pull nomic-embed-text
3.2. 打开AnythingLLM, 进行相关设置
3.3. 上传本地RAG知识库
3.4. 回到对话界面,并开启一个新的会话