DeepSeek 本地部署一键运行 DeepSeek-tool v17,解压即可使用 最低支持2G显卡 支持99%的语言大模型 支持联网搜索+知识库

AI,开源 34 12536

琢磨了一天,把DeepSeek的本地部署彻底完成了,并测试了一下午基本完美运行了。当然AI环境你们必须要先安装好。然后下载这个这个本地部署压缩,解压即可完美运行。

我的4070ti spuer 运行32b已经是极限了,所以我也只能把模型下载到32b了,如果你们有更牛的显卡,可以继续下载模型。

这是我运行14b的截图 你们看看显卡占用

2025-02-11_15-26-20.png

默认的管理员账号是jian27@126.com 和123@123.com 密码1234 进去后 自行修改

2025-02-11_15-28-34.png

其他参数不熟悉的话 最好是不要乱动。等熟悉后再折腾

暂命名为DeepSeek-tool 。如果有更好的建议 留言下啊

关于版本的说明

mini版 去掉了所有的模型文件,需要自行下载

傻木优化版 模型已替换为 Q2量化版,模型只保留了14b和32b,显存占用大幅降低 更新地址 http://gpcb.net/4429.html

我在视频里面忘记说了。一定要运行一次.bat这个文件放到你解压的目录中,双击运行一次。必须要运行一次,以后就不用了,否则会出错。

20250217 更新记录

1 更新启动代码逻辑,启动速度提升

2 把上次忘记放的那个一定要运行一次.bat 放进压缩包了

20250221 更新记录

1 升级了open-webui 版本

2 升级了ollama 版本

3 优化启动逻辑

4 优化部分参数设置

20250226 更新记录

1 升级了升级了ollama 版本

20250307 更新记录

1 升级了open-webui 版本

2 升级了ollama 版本


20250329

升级ollama版本

20250430

1 升级虚拟环境的cuda版本为12.4,运行速度更快

2 整合QWEN3 8b 模型

升级ollama版本

20250516

1 升级ollama版本

20250707

1 升级ollama版本

20250822

1 升级整合包的AI环境 版本,执行效率更高

2 升级open-webui和ollama版本

3 修正部分小BUG

20250707

1 升级ollama版本

2 升级open-webui版本

20251011

1 升级ollama版本

2 升级open-webui版本

20251103

1 升级ollama版本

2 升级open-webui版本


整合包说明

1 虽然叫DeepSeek-tool,但是实际上支持99%以上的语言大模型

2 不再设置默认账号,第一次运行的时候,自己创建的账号就是管理员账号

3 执行效率高,对比同类工具 显存占用更低 

4 启动前,必须执行一次 一定要运行一次.bat,否则可能会有各种错误

5 目前整合包包含一个qwen-code模型文件,其他模型可以自行去下载,非常简单


下载有疑问看下这里


相关推荐:

我要评论:

◎欢迎参与讨论,请自觉遵守国家法律法规。

已有 34 条评论

  1. 沉默给故事 沉默给故事

    系统提示词怎么写呀!

  2. 潇洒用红酒 潇洒用红酒

    32b 量化或者蒸馏版本在哪里下

    1. 剑心 剑心

      ollama 如果本身就有 直接在模型那里下载 如果没有 就去huggingface 自己下载 在模型那里上传即可

  3. 毛衣细心 毛衣细心

    求剑哥给个模型下载的链接咯,拜谢,百度夸克都可以咯。v3咱们可以跑吗?嘻嘻

    1. 剑心 剑心

      模型不需要单独给你下载地址,会自动下载,可以看看视频教程再操作。支持的模型列表 https://ollama.com/search

  4. 勤劳闻钥匙 勤劳闻钥匙

    ERROR: HTTP error 403 while getting https://pypi.tuna.tsinghua.edu.cn/packages/6e/34/63b0b07c81177b5680ce0c512cbfb17f90a097b5e94310dc41edb4d5159d/open_webui-0.6.5-py3-none-any.whl (from https://pypi.tuna.tsinghua.edu.cn/simple/open-webui/) (requires-python:=3.11)
    ERROR: Could not install requirement open-webui from https://pypi.tuna.tsinghua.edu.cn/packages/6e/34/63b0b07c81177b5680ce0c512cbfb17f90a097b5e94310dc41edb4d5159d/open_webui-0.6.5-py3-none-any.whl because of HTTP error 403 Cl

    1. 剑心 剑心

      重新执行

      1. 勤劳闻钥匙 勤劳闻钥匙

        后续可以更新联网功能吗

        1. 剑心 剑心

          现在就支持

          1. 日记本无聊 日记本无聊

            需要密钥的部分不会设置,请教一下局域网内怎么访问。

            1. 剑心 剑心

              去看下 Open WebUI的文档

      2. 勤劳闻钥匙 勤劳闻钥匙

        第二天重新运行就可以了

    2. 勤劳闻钥匙 勤劳闻钥匙

      出现红字

  5. 大卫 大卫

    老师,其他的大模型取哪里下载?

    1. 剑心 剑心

      仔细看视频教程啊

  6. 称心保卫猫咪 称心保卫猫咪

    其他模型可以使用吗?除了deepseek

    1. 剑心 剑心

      应该是你能知道的模型都可以支持

  7. 拉长等于柜子 拉长等于柜子

    首先感谢剑哥辛勤付出,离线版deep seek非常好。同步想问下,离线版怎么投喂文章更新完善专用知识库,以便更精准回答问题?

    1. 剑心 剑心

      去翻下open webui的文档

  8. 故事温暖 故事温暖

    1、在笔记本上运行后,提问出现错误:500: Ollama: 500, message='Internal Server Error', url='http://localhost:11434/api/chat'
    2、请教一下在另外一台不能连接互联网的电脑上,该怎样获取安装webui呢?

    1. 剑心 剑心

      1 不要修改删除任何地方,2 必须要连上网才能安装open-webui 就是那个一定要运行一次.bat。安装后可以不用上网

  9. 星星傲娇 星星傲娇

    使用录音和呼叫会报错
    [ERROR: 400: [ERROR: Cannot find an appropriate cached snapshot folder for the specified revision on the local disk and outgoing traffic has been disabled. To enable repo look-ups and downloads online, pass 'local_files_only=False' as input.]]

    1. 剑心 剑心

      没有设置缓存文件夹

  10. 铃铛动听 铃铛动听

    amd文件下载解压要密码

    1. 剑心 剑心

      那个未完善,半成品 不能使用 所以加了密码 以后等心血来潮再完善

  11. 落寞给毛衣 落寞给毛衣

    A卡用户能用吗

    1. 剑心 剑心

      应该不能,你可以试试

  12. 含糊电源 含糊电源

    good

  13. 彪壮有发夹 彪壮有发夹

    剑哥~AI环境挂了0.0

    1. 剑心 剑心

      换了百度网盘链接了

  14. 求百度网盘 求百度网盘

    求百度盘,夸克没会员

    1. 剑心 剑心

      求眼睛睁大一点

  15. 自信打小虾米 自信打小虾米

    夸克盘里没有东西啊

只显示最新的15条留言