AI 视频生成新突破:FramePack 开源项目引领视频扩散技术变革 一键汉化整合包 FramePack-F1 20250512更新 支持批量生成视频

AI,开源 39 5886
FramePack 是一个开源项目,旨在通过创新的神经网络结构实现高效的视频生成。以下是对其的详细介绍:

项目概述

FramePack 是 “Packing Input Frame Contexts in Next - Frame Prediction Models for Video Generation” 论文的官方实现和桌面软件。它采用逐帧(或逐帧段)预测的方式生成视频,能将输入上下文压缩到固定长度,使生成工作负载与视频长度无关,即使在笔记本 GPU 上,13B 模型也能处理大量帧。

优势特点

  • 低资源要求 :对于生成 1 分钟(60 秒)30fps(1800 帧)的视频,最低只需 6GB GPU 显存,适合在 RTX 30XX、40XX、50XX 系列的 Nvidia GPU 上运行,GTX 10XX/20XX 未测试。
  • 高效性 :在 RTX 4090 桌面 GPU 上,生成速度为 2.5 秒 / 帧(未优化)或 1.5 秒 / 帧(启用 teacache),即使在 3070ti 或 3060 笔记本 GPU 上,也仅是慢 4 - 8 倍,并且生成过程可实时看到帧反馈。
  • 大批次训练 :能像图像扩散训练一样使用较大批次大小进行训练。

安装与使用

  • 安装 :目前该项目是一个功能性的桌面软件,Windows 的一键安装包即将推出。Linux 系统下,推荐使用独立的 Python 3.10 环境,通过 pip 安装 torch、torchvision、torchaudio 等依赖,并安装 requirements.txt 中的其他要求。还支持多种注意力机制,如 PyTorch attention、xformers、flash - attn、sage - attention,默认使用 PyTorch attention,也可根据需要安装其他注意力内核。
  • 使用 :其 GUI 界面简洁,左侧上传图像并输入提示词,右侧显示生成的视频和潜在预览。由于是逐帧段预测模型,视频会越来越长,可看到每个部分的进度条和下一区域的潜在预览。初始进度可能较慢,因为设备需要预热。

示例与指南

项目提供了多个示例,如 “Image - to - 5 - seconds”“Image - to - 1 - minute” 等,用户可下载示例图像,复制提示词,按照指定参数设置进行操作,观察生成结果。还给出了使用 ChatGPT 生成提示词的模板,帮助用户编写更有效的提示词。

注意事项

  • TeaCache 和量化等技术虽能提高速度,但可能会影响结果质量,建议先用这些技术尝试想法,再用完整扩散过程获得高质量结果。
  • 不同设备可能会得到略有不同的结果,但总体应相似,在某些情况下可能完全相同。
总之,FramePack 为视频生成领域提供了一种高效、实用的解决方案,具有广阔的应用前景。

2025-04-18_11-14-44.png

2025-04-18_11-22-17.png

整合包说明

1 汉化界面

2 功能未做任何修改

3 自行安装好cuda12.4

4 再次感谢大神lllyasviel无私分享

5 官方的整合包和我制作的整合包 区别有3个 a cuda版本不同,b 官方整合包还需要下载模型文件 c 官方是英文的

20250505 更新

1 未做任何修改,保持原汁原味

2 自行安装好cuad12.4

3 更新到FramePack-F1

20250511 更新

1 支持批量生成视频

2 自行安装好cuad12.4

3 详细介绍说明 https://github.com/chuckkay/QueueItUp_FramePack/blob/QueueItUp/

视频演示

常见问题解答以及解决方法

https://www.myhelen.cn/helen/270.htm

点击查看

下载有疑问看下这里

相关推荐:

我要评论:

◎欢迎参与讨论,请自觉遵守国家法律法规。

已有 39 条评论

  1. 饱满 饱满

    20系列GPU不支持?

    1. 剑心 剑心

      应该是不支持 主要是20系列的显卡已经不支持flash-attn 这个依赖了,你试试下载里面那个官方的包,他没有开启这个,不知道能不能行 你试试

  2. 舒心小蚂蚁 舒心小蚂蚁

    --------更多AI工具,开源免费软件 请前往 https://www.jian27.com--------
    请关注我的微信公众号 剑二十七
    Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
    Xformers is not installed!
    Flash Attn is not installed!
    Sage Attn is not installed!
    Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
    Free VRAM 6.8994140625 GB
    High-VRAM Mode: False
    Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00

    1. 舒心小蚂蚁 舒心小蚂蚁

      Loading checkpoint shards: 0%| | 0/3 [00:00

      1. 剑心 剑心

        继续等待

        1. 舒心小蚂蚁 舒心小蚂蚁

          等待之后就是电脑突然卡了一下,然后就是提示输入任意键继续,再按回车就自动退出了。估计就是gpu不够,但是我的电脑是4060TI的显卡,正常来说应该是满足的啊。

          1. 剑心 剑心

            内存不够,起码要30G 以上

  3. 感性和蜻蜓 感性和蜻蜓

    我试过在两台电脑安装,有一台成功了,成功那台最后的文件大小是80G左右,另外一台电脑,前面步骤都没有问题,安装完成后,运行也正常,和你视频演示的一样,但当第一秒视频生成完成后,窗口显示错误是什么原因?这台失败的电脑的文件大小是40G左右。

    1. 感性和蜻蜓 感性和蜻蜓

      成功的那台电脑刚开始也是40G左右的,但点击更新后就变成80G了。

  4. 大树闪闪元素 大树闪闪元素

    提示:PermissionError: [WinError 5] 拒绝访问。
    咋办

    1. 剑心 剑心

      不用管

      1. 大树闪闪元素 大树闪闪元素

        可是127.0.0.1一直拒绝访问

        1. 剑心 剑心

          仔细看视频教程

  5. 小熊猫可爱 小熊猫可爱

    Currently enabled native sdp backends: ['flash', 'math','mem_efficient', 'cudnn']Xformers is not installed!Flash Attn is installed!Sage Attn is not installed!Namespace(share=False,server='0.0.0.0',port=None, inbrowser=False)Free VRAM 6.890625 GBHigh-VRAM Mode: FalseTraceback(most recent call last):File "F:\FramePack jian27\lib\site-packages\transformers\configuration_utils.py",line 668, in _get_config_dictconfig_dict= cls._dict_from_json_file(resolved_config_file)File "F: \Fr
    大佬能帮忙有偿看看嘛,搞不明白了,。

    1. 剑心 剑心

      咋一看 有点像图片路径有问题

  6. 大叔无私 大叔无私

    生成的视频不能在在HeyGem数字人使用,提示检测到多脸?什么情况?

    1. 剑心 剑心

      没玩过

  7. 月饼合适 月饼合适

    点赞

  8. zzhx zzhx

    网址为 http://0.0.0.0:7860/ 的网页可能暂时无法连接,或者它已永久性地移动到了新网址。
    用浏览器打开这个网址,显示这样。不知道是代理问题,还是什么。有好几个软件都碰到了。但是同样版本的软件,别站下载打开网址可以运行。

    1. 剑心 剑心

      仔细看视频

  9. xin xin

    File "F:\FramePack\jian27\lib\site-packages\urllib3\connection.py", line 198, in _new_conn
    sock = connection.create_connection(
    File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 85, in create_connection
    raise err
    File "F:\FramePack\jian27\lib\site-packages\urllib3\util\connection.py", line 73, in create_connection
    sock.connect(sa)
    ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝,无法连接。

    大佬这个怎么解决啊,看教程也没发现提到相关问题

    1. 剑心 剑心

      这个不影响什么 你继续操作就是了

  10. 勤奋闻大叔 勤奋闻大叔

    有没有A卡能用的

    1. 剑心 剑心

      没有

  11. zzhx zzhx

    最近都无法下载,是怎么回事,改了DNS也没用

    1. 剑心 剑心

      刷新下这个页面,我把网盘地址 直接显示出来了

      1. zzhx zzhx

        可以了,非常及时,谢谢~~

  12. 红满堂 红满堂

    我是cuda12.6,可以用汉化版吗?

    1. 剑心 剑心

      没试过你试试

      1. elevenlala elevenlala

        老大,多谢之前的解答。经查还是WINRAR要用管理员权限打开的问题。WIN11要改注册表才能出现在右键菜单里。
        但我速度很慢,10秒视频要半小时以上。3060,显存12G。CUDA 12.7,已装F1
        Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
        Xformers is not installed!
        Flash Attn is installed!
        Sage Attn is not installed!
        Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
        Free VRAM 10.9833984375 GB
        High-VRAM Mode: False
        Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00

        1. 剑心 剑心

          cuda12.4。内存要足够大,比如大于48G

          1. elevenlala elevenlala

            内存32G,显存12G,3060显卡。是不是确实会很慢?
            大佬哪里可以学习提示词的写法?
            谢谢大佬

            1. 剑心 剑心

              提示词 没什么写法,随便写中文翻译成英文即可,应该不会太慢

      2. elevenlala elevenlala

        我是CUDA 12.7, 和F1适配吗?

  13. 红满堂 红满堂

    Downloading shards: 100%|██████████████████████████████████████████████████████████████| 4/4 [00:00

    1. 剑心 剑心

      仔细看常见问题解答以及解决方法

  14. 盼望复杂 盼望复杂

    Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
    Xformers is not installed!
    Flash Attn is not installed!
    Sage Attn is not installed!
    Namespace(share=False, server='0.0.0.0', port=None, inbrowser=False)
    Free VRAM 6.890625 GB
    High-VRAM Mode: False
    Traceback (most recent call last):
    File "E:\FramePack\jian27\lib\site-packages\transformers\configuration_utils.py", line 668, in _get_config_dict
    config_dict = cls._dict_from_json_file(resolved_config_file)
    File

    1. 剑心 剑心

      如果连看完视频教程这点耐心都没有。建议还是放弃吧 有这时间打打王者什么的难道不香?

      1. 废狗一条 废狗一条

        突然还挺能体会到剑哥的无奈了!

只显示最新的15条留言