琢磨了一天,把DeepSeek的本地部署彻底完成了,并测试了一下午基本完美运行了。当然AI环境你们必须要先安装好。然后下载这个这个本地部署压缩,解压即可完美运行。
我的4070ti spuer 运行32b已经是极限了,所以我也只能把模型下载到32b了,如果你们有更牛的显卡,可以继续下载模型。




这是我运行14b的截图 你们看看显卡占用

默认的管理员账号是jian27@126.com 和123@123.com 密码1234 进去后 自行修改

其他参数不熟悉的话 最好是不要乱动。等熟悉后再折腾
暂命名为DeepSeek-tool 。如果有更好的建议 留言下啊
关于版本的说明
mini版 去掉了所有的模型文件,需要自行下载
傻木优化版 模型已替换为 Q2量化版,模型只保留了14b和32b,显存占用大幅降低 更新地址 http://gpcb.net/4429.html
我在视频里面忘记说了。一定要运行一次.bat这个文件放到你解压的目录中,双击运行一次。必须要运行一次,以后就不用了,否则会出错。
20250217 更新记录
1 更新启动代码逻辑,启动速度提升
2 把上次忘记放的那个一定要运行一次.bat 放进压缩包了
20250221 更新记录
1 升级了open-webui 版本
2 升级了ollama 版本
3 优化启动逻辑
4 优化部分参数设置
20250226 更新记录
1 升级了升级了ollama 版本
20250307 更新记录
1 升级了open-webui 版本
2 升级了ollama 版本
20250329
升级ollama版本
20250430
1 升级虚拟环境的cuda版本为12.4,运行速度更快
2 整合QWEN3 8b 模型
3 升级ollama版本
20250516
1 升级ollama版本
20250707
1 升级ollama版本
20250822
1 升级整合包的AI环境 版本,执行效率更高
2 升级open-webui和ollama版本
3 修正部分小BUG
20250707
1 升级ollama版本
2 升级open-webui版本
20251011
1 升级ollama版本
2 升级open-webui版本
20251103
1 升级ollama版本
2 升级open-webui版本
整合包说明
1 虽然叫DeepSeek-tool,但是实际上支持99%以上的语言大模型
2 不再设置默认账号,第一次运行的时候,自己创建的账号就是管理员账号
3 执行效率高,对比同类工具 显存占用更低
4 启动前,必须执行一次 一定要运行一次.bat,否则可能会有各种错误
5 目前整合包包含一个qwen-code模型文件,其他模型可以自行去下载,非常简单
系统提示词怎么写呀!
32b 量化或者蒸馏版本在哪里下
ollama 如果本身就有 直接在模型那里下载 如果没有 就去huggingface 自己下载 在模型那里上传即可
求剑哥给个模型下载的链接咯,拜谢,百度夸克都可以咯。v3咱们可以跑吗?嘻嘻
模型不需要单独给你下载地址,会自动下载,可以看看视频教程再操作。支持的模型列表 https://ollama.com/search
ERROR: HTTP error 403 while getting https://pypi.tuna.tsinghua.edu.cn/packages/6e/34/63b0b07c81177b5680ce0c512cbfb17f90a097b5e94310dc41edb4d5159d/open_webui-0.6.5-py3-none-any.whl (from https://pypi.tuna.tsinghua.edu.cn/simple/open-webui/) (requires-python:=3.11)
ERROR: Could not install requirement open-webui from https://pypi.tuna.tsinghua.edu.cn/packages/6e/34/63b0b07c81177b5680ce0c512cbfb17f90a097b5e94310dc41edb4d5159d/open_webui-0.6.5-py3-none-any.whl because of HTTP error 403 Cl
重新执行
后续可以更新联网功能吗
现在就支持
需要密钥的部分不会设置,请教一下局域网内怎么访问。
去看下 Open WebUI的文档
第二天重新运行就可以了
出现红字
老师,其他的大模型取哪里下载?
仔细看视频教程啊
其他模型可以使用吗?除了deepseek
应该是你能知道的模型都可以支持
首先感谢剑哥辛勤付出,离线版deep seek非常好。同步想问下,离线版怎么投喂文章更新完善专用知识库,以便更精准回答问题?
去翻下open webui的文档
1、在笔记本上运行后,提问出现错误:500: Ollama: 500, message='Internal Server Error', url='http://localhost:11434/api/chat'
2、请教一下在另外一台不能连接互联网的电脑上,该怎样获取安装webui呢?
1 不要修改删除任何地方,2 必须要连上网才能安装open-webui 就是那个一定要运行一次.bat。安装后可以不用上网
使用录音和呼叫会报错
[ERROR: 400: [ERROR: Cannot find an appropriate cached snapshot folder for the specified revision on the local disk and outgoing traffic has been disabled. To enable repo look-ups and downloads online, pass 'local_files_only=False' as input.]]
没有设置缓存文件夹
amd文件下载解压要密码
那个未完善,半成品 不能使用 所以加了密码 以后等心血来潮再完善
A卡用户能用吗
应该不能,你可以试试
good
剑哥~AI环境挂了0.0
换了百度网盘链接了
求百度盘,夸克没会员
求眼睛睁大一点
夸克盘里没有东西啊