AI知识库 DeepSeek

Window部署本地AI知识库

方案: DeepSeek+BGE-M3+Milvus+AnythingLLM

● DeepSeek - 使用硅基流动的API
● BGE-M3 - 通过Ollama安装
● Milvus - 通过Docker安装
● AnythingLLM - 直接安装

CMD命令行终端都以管理员方式运行，减少踩坑
即：Window+R -> 输入cmd -> Ctrl+Shift+Enter的方式启动CMD

1. DeepSeek

• 访问 官网, 注册登录
• 生成API密钥

2. BGE-M3（Embedder模型）

2.1 安装Ollama

• 通过 官网 下载
• 双击安装即可
• CMD命令行执行 ollama -v，查看是否安装成功

2.2 配置Ollama

• 新建环境变量 OLLAMA_MODELS, 指定ollama模型默认安装路径
  

• 重启ollama

2.3 拉取BGE-M3

也可以拉取其它的Embedder，因为我的是中文，所以选了BGE-M3

• CMD命令行执行 ollama pull bge-m3
• CMD命令行执行 ollama list

3. Milvus

3.1 安装Hyper-V

• 下载 hyper-v.cmd 文件
• 右键-管理员身份运行
• 等待加载完成即可，成功安装后，输入y并回车即可

3.2 启用Hyper-V

• CMD命令行输入 optionalfeatures
• 回车即弹出功能面板

3.3 安装Docker

• 通过 官网 下载
• 双击安装即可
• CMD命令行执行 docker -v 判断是否安装成功

3.4 配置Docker

镜像源配置

"registry-mirrors": [
    "https://docker.registry.cyou",
    "https://docker-cf.registry.cyou",
    "https://dockercf.jsdelivr.fyi",
    "https://docker.jsdelivr.fyi",
    "https://dockertest.jsdelivr.fyi",
    "https://mirror.aliyuncs.com",
    "https://dockerproxy.com",
    "https://mirror.baidubce.com",
    "https://docker.m.daocloud.io",
    "https://docker.nju.edu.cn",
    "https://docker.mirrors.sjtug.sjtu.edu.cn",
    "https://docker.mirrors.ustc.edu.cn",
    "https://mirror.iscas.ac.cn",
    "https://docker.rainbond.cc",
    "https://do.nark.eu.org",
    "https://dc.j8.work",
    "https://dockerproxy.com",
    "https://gst6rzl9.mirror.aliyuncs.com",
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "http://mirrors.ustc.edu.cn/",
    "https://mirrors.tuna.tsinghua.edu.cn/",
    "http://mirrors.sohu.com/"
]

3.5 下载Milvus

• 通过 github 或 当前博客 下载
• 重命名 “docker-compose.yml”

3.6 安装Milvus

• 进入docker-compose.yml所在文件夹
• CMD命令行执行 docker compose up -d，等待安装成功
• CMD命令行执行 docker ps，查看三个服务是否都启动成功

3.7 attu访问Milvus

• 通过 github 下载 attu-Setup-2.5.6.exe

  // attu其它下载链接
  https://zilliz.com.cn/attu
  https://docs.zilliz.com.cn/docs/quick-start
  https://zilliz.com.cn/
  https://github.com/zilliztech/attu/releases

• 双击安装即可
• 安装完成后访问

4. AnythingLLM

4.1 安装

• 通过 官网 下载
• 双击安装即可

4.2 配置

4.3 使用

参考文档:
【2.2】 Ollama修改存储路径
【2.3】 中文embedding模型的选择
【3.1】 离线文档_Win11家庭版专业版开启Hyper-V.pdf
【3.4】 Windows10 docker安装D盘，更改docker镜像默认保存路径
【3.4】 Docker设置阿里镜像源
【3.4】 Docker设置其它镜像源

【选择技术方案】 网上的方案
【选择技术方案】 阿里的方案

踩坑:

1. 国内centos7下载ollamat太慢
   解决1: https://cloud.tencent.com/developer/article/2503867
   解决2：https://www.jianshu.com/p/4f48bcce7346
2. centos7用不了ollama，报错version `GLIBC_2.27’ not found
   解决：centos7通常使用的是Glibc 2.17，centos8是2.28
3. ollama pull 后期拉取镜像慢
   解决：停掉下载，重新开始就好