FramePack 是一个开源项目,旨在通过创新的神经网络结构实现高效的视频生成。以下是对其的详细介绍:
项目概述
FramePack 是 “Packing Input Frame Contexts in Next - Frame Prediction Models for Video Generation” 论文的官方实现和桌面软件。它采用逐帧(或逐帧段)预测的方式生成视频,能将输入上下文压缩到固定长度,使生成工作负载与视频长度无关,即使在笔记本 GPU 上,13B 模型也能处理大量帧。
优势特点
- 低资源要求 :对于生成 1 分钟(60 秒)30fps(1800 帧)的视频,最低只需 6GB GPU 显存,适合在 RTX 30XX、40XX、50XX 系列的 Nvidia GPU 上运行,GTX 10XX/20XX 未测试。
- 高效性 :在 RTX 4090 桌面 GPU 上,生成速度为 2.5 秒 / 帧(未优化)或 1.5 秒 / 帧(启用 teacache),即使在 3070ti 或 3060 笔记本 GPU 上,也仅是慢 4 - 8 倍,并且生成过程可实时看到帧反馈。
- 大批次训练 :能像图像扩散训练一样使用较大批次大小进行训练。
安装与使用
- 安装 :目前该项目是一个功能性的桌面软件,Windows 的一键安装包即将推出。Linux 系统下,推荐使用独立的 Python 3.10 环境,通过 pip 安装 torch、torchvision、torchaudio 等依赖,并安装 requirements.txt 中的其他要求。还支持多种注意力机制,如 PyTorch attention、xformers、flash - attn、sage - attention,默认使用 PyTorch attention,也可根据需要安装其他注意力内核。
- 使用 :其 GUI 界面简洁,左侧上传图像并输入提示词,右侧显示生成的视频和潜在预览。由于是逐帧段预测模型,视频会越来越长,可看到每个部分的进度条和下一区域的潜在预览。初始进度可能较慢,因为设备需要预热。
示例与指南
项目提供了多个示例,如 “Image - to - 5 - seconds”“Image - to - 1 - minute” 等,用户可下载示例图像,复制提示词,按照指定参数设置进行操作,观察生成结果。还给出了使用 ChatGPT 生成提示词的模板,帮助用户编写更有效的提示词。
注意事项
- TeaCache 和量化等技术虽能提高速度,但可能会影响结果质量,建议先用这些技术尝试想法,再用完整扩散过程获得高质量结果。
- 不同设备可能会得到略有不同的结果,但总体应相似,在某些情况下可能完全相同。
总之,FramePack 为视频生成领域提供了一种高效、实用的解决方案,具有广阔的应用前景。
整合包说明
1 汉化界面
2 功能未做任何修改
3 自行安装好cuda12.4
4 再次感谢大神lllyasviel无私分享
5 官方的整合包和我制作的整合包 区别有3个 a cuda版本不同,b 官方整合包还需要下载模型文件 c 官方是英文的
20250505 更新
1 未做任何修改,保持原汁原味
2 自行安装好cuad12.4
3 更新到FramePack-F1
20250511 更新
1 支持批量生成视频
2 自行安装好cuad12.4
3 详细介绍说明 https://github.com/chuckkay/QueueItUp_FramePack/blob/QueueItUp/
视频演示
常见问题解答以及解决方法
https://www.myhelen.cn/helen/270.htm
llama_attention_length = int(llama_attention_mask.sum())
RuntimeError: CUDA error: no kernel image is available for execution on the device
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
大神,可以请教一下吗?是不是我的笔记本5070TI的显卡用不了,一直报错,跪求大神解惑一下
自行安装好cuad12.4
20系列GPU不支持?
可以了,framepack项目lssues搜2080,最底下那个问题里面有大佬给了方案,下载好那个framepack-nv2的压缩包(几百kb),解压全选拖到整合包里面替换文件,10,16,20系就能用了,我1070跑1秒需要40-50分钟,他们2080ti要13分钟左右
应该是不支持 主要是20系列的显卡已经不支持flash-attn 这个依赖了,你试试下载里面那个官方的包,他没有开启这个,不知道能不能行 你试试
--------更多AI工具,开源免费软件 请前往 https://www.jian27.com--------
请关注我的微信公众号 剑二十七
Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
Xformers is not installed!
Flash Attn is not installed!
Sage Attn is not installed!
Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
Free VRAM 6.8994140625 GB
High-VRAM Mode: False
Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00
Loading checkpoint shards: 0%| | 0/3 [00:00
继续等待
等待之后就是电脑突然卡了一下,然后就是提示输入任意键继续,再按回车就自动退出了。估计就是gpu不够,但是我的电脑是4060TI的显卡,正常来说应该是满足的啊。
内存不够,起码要30G 以上
我试过在两台电脑安装,有一台成功了,成功那台最后的文件大小是80G左右,另外一台电脑,前面步骤都没有问题,安装完成后,运行也正常,和你视频演示的一样,但当第一秒视频生成完成后,窗口显示错误是什么原因?这台失败的电脑的文件大小是40G左右。
成功的那台电脑刚开始也是40G左右的,但点击更新后就变成80G了。
提示:PermissionError: [WinError 5] 拒绝访问。
咋办
不用管
可是127.0.0.1一直拒绝访问
仔细看视频教程
Currently enabled native sdp backends: ['flash', 'math','mem_efficient', 'cudnn']Xformers is not installed!Flash Attn is installed!Sage Attn is not installed!Namespace(share=False,server='0.0.0.0',port=None, inbrowser=False)Free VRAM 6.890625 GBHigh-VRAM Mode: FalseTraceback(most recent call last):File "F:\FramePack jian27\lib\site-packages\transformers\configuration_utils.py",line 668, in _get_config_dictconfig_dict= cls._dict_from_json_file(resolved_config_file)File "F: \Fr
大佬能帮忙有偿看看嘛,搞不明白了,。
咋一看 有点像图片路径有问题
生成的视频不能在在HeyGem数字人使用,提示检测到多脸?什么情况?
没玩过
点赞
网址为 http://0.0.0.0:7860/ 的网页可能暂时无法连接,或者它已永久性地移动到了新网址。
用浏览器打开这个网址,显示这样。不知道是代理问题,还是什么。有好几个软件都碰到了。但是同样版本的软件,别站下载打开网址可以运行。
仔细看视频
File "F:\FramePack\jian27\lib\site-packages\urllib3\connection.py", line 198, in _new_conn
sock = connection.create_connection(
File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 85, in create_connection
raise err
File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 73, in create_connection
sock.connect(sa)
ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝,无法连接。
大佬这个怎么解决啊,看教程也没发现提到相关问题
这个不影响什么 你继续操作就是了
有没有A卡能用的
没有
最近都无法下载,是怎么回事,改了DNS也没用
刷新下这个页面,我把网盘地址 直接显示出来了
可以了,非常及时,谢谢~~
我是cuda12.6,可以用汉化版吗?
没试过你试试
老大,多谢之前的解答。经查还是WINRAR要用管理员权限打开的问题。WIN11要改注册表才能出现在右键菜单里。
但我速度很慢,10秒视频要半小时以上。3060,显存12G。CUDA 12.7,已装F1
Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
Xformers is not installed!
Flash Attn is installed!
Sage Attn is not installed!
Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
Free VRAM 10.9833984375 GB
High-VRAM Mode: False
Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00
cuda12.4。内存要足够大,比如大于48G
内存32G,显存12G,3060显卡。是不是确实会很慢?
大佬哪里可以学习提示词的写法?
谢谢大佬
提示词 没什么写法,随便写中文翻译成英文即可,应该不会太慢
我是CUDA 12.7, 和F1适配吗?
Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00
仔细看常见问题解答以及解决方法
Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
Xformers is not installed!
Flash Attn is not installed!
Sage Attn is not installed!
Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
Free VRAM 6.890625 GB
High-VRAM Mode: False
Traceback (most recent call last):
File "E:\FramePack\jian27\lib\site-packages\transformers\configuration_utils.py", line 668, in _get_config_dict
config_dict = cls._dict_from_json_file(resolved_config_file)
File
如果连看完视频教程这点耐心都没有。建议还是放弃吧 有这时间打打王者什么的难道不香?
突然还挺能体会到剑哥的无奈了!