AI 视频生成新突破:FramePack 开源项目引领视频扩散技术变革 一键汉化整合包 FramePack-F1 20250512更新 支持批量生成视频

AI,开源 42 7813
FramePack 是一个开源项目,旨在通过创新的神经网络结构实现高效的视频生成。以下是对其的详细介绍:

项目概述

FramePack 是 “Packing Input Frame Contexts in Next - Frame Prediction Models for Video Generation” 论文的官方实现和桌面软件。它采用逐帧(或逐帧段)预测的方式生成视频,能将输入上下文压缩到固定长度,使生成工作负载与视频长度无关,即使在笔记本 GPU 上,13B 模型也能处理大量帧。

优势特点

  • 低资源要求 :对于生成 1 分钟(60 秒)30fps(1800 帧)的视频,最低只需 6GB GPU 显存,适合在 RTX 30XX、40XX、50XX 系列的 Nvidia GPU 上运行,GTX 10XX/20XX 未测试。
  • 高效性 :在 RTX 4090 桌面 GPU 上,生成速度为 2.5 秒 / 帧(未优化)或 1.5 秒 / 帧(启用 teacache),即使在 3070ti 或 3060 笔记本 GPU 上,也仅是慢 4 - 8 倍,并且生成过程可实时看到帧反馈。
  • 大批次训练 :能像图像扩散训练一样使用较大批次大小进行训练。

安装与使用

  • 安装 :目前该项目是一个功能性的桌面软件,Windows 的一键安装包即将推出。Linux 系统下,推荐使用独立的 Python 3.10 环境,通过 pip 安装 torch、torchvision、torchaudio 等依赖,并安装 requirements.txt 中的其他要求。还支持多种注意力机制,如 PyTorch attention、xformers、flash - attn、sage - attention,默认使用 PyTorch attention,也可根据需要安装其他注意力内核。
  • 使用 :其 GUI 界面简洁,左侧上传图像并输入提示词,右侧显示生成的视频和潜在预览。由于是逐帧段预测模型,视频会越来越长,可看到每个部分的进度条和下一区域的潜在预览。初始进度可能较慢,因为设备需要预热。

示例与指南

项目提供了多个示例,如 “Image - to - 5 - seconds”“Image - to - 1 - minute” 等,用户可下载示例图像,复制提示词,按照指定参数设置进行操作,观察生成结果。还给出了使用 ChatGPT 生成提示词的模板,帮助用户编写更有效的提示词。

注意事项

  • TeaCache 和量化等技术虽能提高速度,但可能会影响结果质量,建议先用这些技术尝试想法,再用完整扩散过程获得高质量结果。
  • 不同设备可能会得到略有不同的结果,但总体应相似,在某些情况下可能完全相同。
总之,FramePack 为视频生成领域提供了一种高效、实用的解决方案,具有广阔的应用前景。

2025-04-18_11-14-44.png

2025-04-18_11-22-17.png

整合包说明

1 汉化界面

2 功能未做任何修改

3 自行安装好cuda12.4

4 再次感谢大神lllyasviel无私分享

5 官方的整合包和我制作的整合包 区别有3个 a cuda版本不同,b 官方整合包还需要下载模型文件 c 官方是英文的

20250505 更新

1 未做任何修改,保持原汁原味

2 自行安装好cuad12.4

3 更新到FramePack-F1

20250511 更新

1 支持批量生成视频

2 自行安装好cuad12.4

3 详细介绍说明 https://github.com/chuckkay/QueueItUp_FramePack/blob/QueueItUp/

视频演示

常见问题解答以及解决方法

https://www.myhelen.cn/helen/270.htm

点击查看

下载有疑问看下这里

相关推荐:

我要评论:

◎欢迎参与讨论,请自觉遵守国家法律法规。

已有 42 条评论

  1. 翅膀害羞 翅膀害羞

    llama_attention_length = int(llama_attention_mask.sum())
    RuntimeError: CUDA error: no kernel image is available for execution on the device
    CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
    For debugging consider passing CUDA_LAUNCH_BLOCKING=1
    Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
    大神,可以请教一下吗?是不是我的笔记本5070TI的显卡用不了,一直报错,跪求大神解惑一下

    1. 剑心 剑心

      自行安装好cuad12.4

  2. 饱满 饱满

    20系列GPU不支持?

    1. 轻松和裙子 轻松和裙子

      可以了,framepack项目lssues搜2080,最底下那个问题里面有大佬给了方案,下载好那个framepack-nv2的压缩包(几百kb),解压全选拖到整合包里面替换文件,10,16,20系就能用了,我1070跑1秒需要40-50分钟,他们2080ti要13分钟左右

    2. 剑心 剑心

      应该是不支持 主要是20系列的显卡已经不支持flash-attn 这个依赖了,你试试下载里面那个官方的包,他没有开启这个,不知道能不能行 你试试

  3. 舒心小蚂蚁 舒心小蚂蚁

    --------更多AI工具,开源免费软件 请前往 https://www.jian27.com--------
    请关注我的微信公众号 剑二十七
    Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
    Xformers is not installed!
    Flash Attn is not installed!
    Sage Attn is not installed!
    Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
    Free VRAM 6.8994140625 GB
    High-VRAM Mode: False
    Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00

    1. 舒心小蚂蚁 舒心小蚂蚁

      Loading checkpoint shards: 0%| | 0/3 [00:00

      1. 剑心 剑心

        继续等待

        1. 舒心小蚂蚁 舒心小蚂蚁

          等待之后就是电脑突然卡了一下,然后就是提示输入任意键继续,再按回车就自动退出了。估计就是gpu不够,但是我的电脑是4060TI的显卡,正常来说应该是满足的啊。

          1. 剑心 剑心

            内存不够,起码要30G 以上

  4. 感性和蜻蜓 感性和蜻蜓

    我试过在两台电脑安装,有一台成功了,成功那台最后的文件大小是80G左右,另外一台电脑,前面步骤都没有问题,安装完成后,运行也正常,和你视频演示的一样,但当第一秒视频生成完成后,窗口显示错误是什么原因?这台失败的电脑的文件大小是40G左右。

    1. 感性和蜻蜓 感性和蜻蜓

      成功的那台电脑刚开始也是40G左右的,但点击更新后就变成80G了。

  5. 大树闪闪元素 大树闪闪元素

    提示:PermissionError: [WinError 5] 拒绝访问。
    咋办

    1. 剑心 剑心

      不用管

      1. 大树闪闪元素 大树闪闪元素

        可是127.0.0.1一直拒绝访问

        1. 剑心 剑心

          仔细看视频教程

  6. 小熊猫可爱 小熊猫可爱

    Currently enabled native sdp backends: ['flash', 'math','mem_efficient', 'cudnn']Xformers is not installed!Flash Attn is installed!Sage Attn is not installed!Namespace(share=False,server='0.0.0.0',port=None, inbrowser=False)Free VRAM 6.890625 GBHigh-VRAM Mode: FalseTraceback(most recent call last):File "F:\FramePack jian27\lib\site-packages\transformers\configuration_utils.py",line 668, in _get_config_dictconfig_dict= cls._dict_from_json_file(resolved_config_file)File "F: \Fr
    大佬能帮忙有偿看看嘛,搞不明白了,。

    1. 剑心 剑心

      咋一看 有点像图片路径有问题

  7. 大叔无私 大叔无私

    生成的视频不能在在HeyGem数字人使用,提示检测到多脸?什么情况?

    1. 剑心 剑心

      没玩过

  8. 月饼合适 月饼合适

    点赞

  9. zzhx zzhx

    网址为 http://0.0.0.0:7860/ 的网页可能暂时无法连接,或者它已永久性地移动到了新网址。
    用浏览器打开这个网址,显示这样。不知道是代理问题,还是什么。有好几个软件都碰到了。但是同样版本的软件,别站下载打开网址可以运行。

    1. 剑心 剑心

      仔细看视频

  10. xin xin

    File "F:\FramePack\jian27\lib\site-packages\urllib3\connection.py", line 198, in _new_conn
    sock = connection.create_connection(
    File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 85, in create_connection
    raise err
    File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 73, in create_connection
    sock.connect(sa)
    ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝,无法连接。

    大佬这个怎么解决啊,看教程也没发现提到相关问题

    1. 剑心 剑心

      这个不影响什么 你继续操作就是了

  11. 勤奋闻大叔 勤奋闻大叔

    有没有A卡能用的

    1. 剑心 剑心

      没有

  12. zzhx zzhx

    最近都无法下载,是怎么回事,改了DNS也没用

    1. 剑心 剑心

      刷新下这个页面,我把网盘地址 直接显示出来了

      1. zzhx zzhx

        可以了,非常及时,谢谢~~

  13. 红满堂 红满堂

    我是cuda12.6,可以用汉化版吗?

    1. 剑心 剑心

      没试过你试试

      1. elevenlala elevenlala

        老大,多谢之前的解答。经查还是WINRAR要用管理员权限打开的问题。WIN11要改注册表才能出现在右键菜单里。
        但我速度很慢,10秒视频要半小时以上。3060,显存12G。CUDA 12.7,已装F1
        Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
        Xformers is not installed!
        Flash Attn is installed!
        Sage Attn is not installed!
        Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
        Free VRAM 10.9833984375 GB
        High-VRAM Mode: False
        Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00

        1. 剑心 剑心

          cuda12.4。内存要足够大,比如大于48G

          1. elevenlala elevenlala

            内存32G,显存12G,3060显卡。是不是确实会很慢?
            大佬哪里可以学习提示词的写法?
            谢谢大佬

            1. 剑心 剑心

              提示词 没什么写法,随便写中文翻译成英文即可,应该不会太慢

      2. elevenlala elevenlala

        我是CUDA 12.7, 和F1适配吗?

  14. 红满堂 红满堂

    Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00

    1. 剑心 剑心

      仔细看常见问题解答以及解决方法

  15. 盼望复杂 盼望复杂

    Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
    Xformers is not installed!
    Flash Attn is not installed!
    Sage Attn is not installed!
    Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
    Free VRAM 6.890625 GB
    High-VRAM Mode: False
    Traceback (most recent call last):
    File "E:\FramePack\jian27\lib\site-packages\transformers\configuration_utils.py", line 668, in _get_config_dict
    config_dict = cls._dict_from_json_file(resolved_config_file)
    File

    1. 剑心 剑心

      如果连看完视频教程这点耐心都没有。建议还是放弃吧 有这时间打打王者什么的难道不香?

      1. 废狗一条 废狗一条

        突然还挺能体会到剑哥的无奈了!

只显示最新的15条留言