FramePack 是一个开源项目,旨在通过创新的神经网络结构实现高效的视频生成。以下是对其的详细介绍:
项目概述
FramePack 是 “Packing Input Frame Contexts in Next - Frame Prediction Models for Video Generation” 论文的官方实现和桌面软件。它采用逐帧(或逐帧段)预测的方式生成视频,能将输入上下文压缩到固定长度,使生成工作负载与视频长度无关,即使在笔记本 GPU 上,13B 模型也能处理大量帧。
优势特点
- 低资源要求 :对于生成 1 分钟(60 秒)30fps(1800 帧)的视频,最低只需 6GB GPU 显存,适合在 RTX 30XX、40XX、50XX 系列的 Nvidia GPU 上运行,GTX 10XX/20XX 未测试。
- 高效性 :在 RTX 4090 桌面 GPU 上,生成速度为 2.5 秒 / 帧(未优化)或 1.5 秒 / 帧(启用 teacache),即使在 3070ti 或 3060 笔记本 GPU 上,也仅是慢 4 - 8 倍,并且生成过程可实时看到帧反馈。
- 大批次训练 :能像图像扩散训练一样使用较大批次大小进行训练。
安装与使用
- 安装 :目前该项目是一个功能性的桌面软件,Windows 的一键安装包即将推出。Linux 系统下,推荐使用独立的 Python 3.10 环境,通过 pip 安装 torch、torchvision、torchaudio 等依赖,并安装 requirements.txt 中的其他要求。还支持多种注意力机制,如 PyTorch attention、xformers、flash - attn、sage - attention,默认使用 PyTorch attention,也可根据需要安装其他注意力内核。
- 使用 :其 GUI 界面简洁,左侧上传图像并输入提示词,右侧显示生成的视频和潜在预览。由于是逐帧段预测模型,视频会越来越长,可看到每个部分的进度条和下一区域的潜在预览。初始进度可能较慢,因为设备需要预热。
示例与指南
项目提供了多个示例,如 “Image - to - 5 - seconds”“Image - to - 1 - minute” 等,用户可下载示例图像,复制提示词,按照指定参数设置进行操作,观察生成结果。还给出了使用 ChatGPT 生成提示词的模板,帮助用户编写更有效的提示词。
注意事项
- TeaCache 和量化等技术虽能提高速度,但可能会影响结果质量,建议先用这些技术尝试想法,再用完整扩散过程获得高质量结果。
- 不同设备可能会得到略有不同的结果,但总体应相似,在某些情况下可能完全相同。
总之,FramePack 为视频生成领域提供了一种高效、实用的解决方案,具有广阔的应用前景。
整合包说明
1 汉化界面
2 功能未做任何修改
3 自行安装好cuda12.4
4 再次感谢大神lllyasviel无私分享
5 官方的整合包和我制作的整合包 区别有3个 a cuda版本不同,b 官方整合包还需要下载模型文件 c 官方是英文的
20250505 更新
1 未做任何修改,保持原汁原味
2 自行安装好cuad12.4
3 更新到FramePack-F1
20250511 更新
1 支持批量生成视频
2 自行安装好cuad12.4
3 详细介绍说明 https://github.com/chuckkay/QueueItUp_FramePack/blob/QueueItUp/
视频演示
常见问题解答以及解决方法
https://www.myhelen.cn/helen/270.htm
20系列GPU不支持?
应该是不支持 主要是20系列的显卡已经不支持flash-attn 这个依赖了,你试试下载里面那个官方的包,他没有开启这个,不知道能不能行 你试试
--------更多AI工具,开源免费软件 请前往 https://www.jian27.com--------
请关注我的微信公众号 剑二十七
Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
Xformers is not installed!
Flash Attn is not installed!
Sage Attn is not installed!
Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
Free VRAM 6.8994140625 GB
High-VRAM Mode: False
Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00
Loading checkpoint shards: 0%| | 0/3 [00:00
继续等待
等待之后就是电脑突然卡了一下,然后就是提示输入任意键继续,再按回车就自动退出了。估计就是gpu不够,但是我的电脑是4060TI的显卡,正常来说应该是满足的啊。
内存不够,起码要30G 以上
我试过在两台电脑安装,有一台成功了,成功那台最后的文件大小是80G左右,另外一台电脑,前面步骤都没有问题,安装完成后,运行也正常,和你视频演示的一样,但当第一秒视频生成完成后,窗口显示错误是什么原因?这台失败的电脑的文件大小是40G左右。
成功的那台电脑刚开始也是40G左右的,但点击更新后就变成80G了。
提示:PermissionError: [WinError 5] 拒绝访问。
咋办
不用管
可是127.0.0.1一直拒绝访问
仔细看视频教程
Currently enabled native sdp backends: ['flash', 'math','mem_efficient', 'cudnn']Xformers is not installed!Flash Attn is installed!Sage Attn is not installed!Namespace(share=False,server='0.0.0.0',port=None, inbrowser=False)Free VRAM 6.890625 GBHigh-VRAM Mode: FalseTraceback(most recent call last):File "F:\FramePack jian27\lib\site-packages\transformers\configuration_utils.py",line 668, in _get_config_dictconfig_dict= cls._dict_from_json_file(resolved_config_file)File "F: \Fr
大佬能帮忙有偿看看嘛,搞不明白了,。
咋一看 有点像图片路径有问题
生成的视频不能在在HeyGem数字人使用,提示检测到多脸?什么情况?
没玩过
点赞
网址为 http://0.0.0.0:7860/ 的网页可能暂时无法连接,或者它已永久性地移动到了新网址。
用浏览器打开这个网址,显示这样。不知道是代理问题,还是什么。有好几个软件都碰到了。但是同样版本的软件,别站下载打开网址可以运行。
仔细看视频
File "F:\FramePack\jian27\lib\site-packages\urllib3\connection.py", line 198, in _new_conn
sock = connection.create_connection(
File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 85, in create_connection
raise err
File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 73, in create_connection
sock.connect(sa)
ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝,无法连接。
大佬这个怎么解决啊,看教程也没发现提到相关问题
这个不影响什么 你继续操作就是了
有没有A卡能用的
没有
最近都无法下载,是怎么回事,改了DNS也没用
刷新下这个页面,我把网盘地址 直接显示出来了
可以了,非常及时,谢谢~~
我是cuda12.6,可以用汉化版吗?
没试过你试试
老大,多谢之前的解答。经查还是WINRAR要用管理员权限打开的问题。WIN11要改注册表才能出现在右键菜单里。
但我速度很慢,10秒视频要半小时以上。3060,显存12G。CUDA 12.7,已装F1
Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
Xformers is not installed!
Flash Attn is installed!
Sage Attn is not installed!
Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
Free VRAM 10.9833984375 GB
High-VRAM Mode: False
Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00
cuda12.4。内存要足够大,比如大于48G
内存32G,显存12G,3060显卡。是不是确实会很慢?
大佬哪里可以学习提示词的写法?
谢谢大佬
提示词 没什么写法,随便写中文翻译成英文即可,应该不会太慢
我是CUDA 12.7, 和F1适配吗?
Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00
仔细看常见问题解答以及解决方法
Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
Xformers is not installed!
Flash Attn is not installed!
Sage Attn is not installed!
Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
Free VRAM 6.890625 GB
High-VRAM Mode: False
Traceback (most recent call last):
File "E:\FramePack\jian27\lib\site-packages\transformers\configuration_utils.py", line 668, in _get_config_dict
config_dict = cls._dict_from_json_file(resolved_config_file)
File
如果连看完视频教程这点耐心都没有。建议还是放弃吧 有这时间打打王者什么的难道不香?
突然还挺能体会到剑哥的无奈了!