Loading video...

Video Failed to Load

Go Home

看到一个可以将文章直接转换成 PPT 演讲的工具，Paper2Video，一篇文章+一个头像+一段语音样本，它就能帮你生成一个生动的演讲解说视频。对于偏专业和学术性的场景，这个工具几乎能承担起人工完成的工作，做学术汇报和做课程的朋友有福了😄 仔细阅读了源码和论文，它的实现方式颇为精妙，整个 PPT 的渲染，主要基于 Beamer 这个声明式布局框架： 1）首先让大模型对内容做一次通篇的解说，并做好摘要分段，确保能够把核心知识表达清晰； 2）对于每页 PPT 的布局，通过视觉模型判断是否存在溢出、错位、拥挤等情况，如果存在类似的问题，就会让布局模块生成多套拼接方案，对图片和文字进行缩放后进行不同组合，再由视觉模型从中挑选出最优的一张； 3）过程中还添加了一个虚拟鼠标，方便捕获观众的注意力，也让整个呈现更具动态感与交互感； 4）口型采用的是 Hallo2，这是一种支持长时长、高分辨率、音频驱动的人像动画模型，能够让头像与语音同步地做口型/表情动画。 这个工具主要解决的还是论文汇报场景，不过有几个思路值得借鉴，包括如何将文章内容做拆解、如何做好 PPT 排版，如何做好口型等。 稍微改改，应该也能适配到更大众化的领域，例如做自动培训视频、技术方案的交互式解说，甚至产品手册的可视化呈现，把 Paper2Video 升级成 Doc2Video。

Barret_China's profile picture

Barret李靖

81,651 subscribers

58,159 views • 8 months ago •via X (Twitter)

Health & WellnessScience & TechnologyEducation
LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

推荐一下 张咋啦 的 PPT Skill：frontend-slides。 对于我这种不爱做 PPT，但又有演示需求的人来说，实在是太友好了。 这个 Skill 的思路是把 PPT 变成网页。 并且动画效果比 PowerPoint 好、生成的是单个 HTML 文件、浏览器直接打开。 AI 会生成多个不同风格的预览，每个风格都是定制的，字体、配色、动画都不一样。 同时还能直接在浏览器里编辑文字，改完自动保存。 如果你有现成的 .pptx 文件，也能直接转成网页版。 经常做 PPT 的话，可以试试，链接放评论区。
1:02

推荐一下 张咋啦 的 PPT Skill：frontend-slides。 对于我这种不爱做 PPT，但又有演示需求的人来说，实在是太友好了。 这个 Skill 的思路是把 PPT 变成网页。 并且动画效果比 PowerPoint 好、生成的是单个 HTML 文件、浏览器直接打开。 AI 会生成多个不同风格的预览，每个风格都是定制的，字体、配色、动画都不一样。 同时还能直接在浏览器里编辑文字，改完自动保存。 如果你有现成的 .pptx 文件，也能直接转成网页版。 经常做 PPT 的话，可以试试，链接放评论区。

余温

115,358 views • 3 months ago

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。 这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。 它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。 这样就可以让用户和 AI 在任意模态下实时进行交互： 你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。 核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分： 前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应 后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容 用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。
2:15

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。 这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。 它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。 这样就可以让用户和 AI 在任意模态下实时进行交互： 你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。 核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分： 前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应 后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容 用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

46,883 views • 1 month ago

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程 以下是GPT4总结的制作流程： 1. 文本到3D生成 在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。 预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型 导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。 调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。 组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。 模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出 应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。 导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑 动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。 相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。 渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理 渲染动画：在Blender中渲染完成的动画，导出为视频文件。 后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。 通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。
18:17

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程 以下是GPT4总结的制作流程： 1. 文本到3D生成 在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。 预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型 导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。 调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。 组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。 模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出 应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。 导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑 动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。 相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。 渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理 渲染动画：在Blender中渲染完成的动画，导出为视频文件。 后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。 通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

Yangyi

25,446 views • 2 years ago

如果你在做游戏, 那一定要看看这个大模型! 给大家带来腾讯刚刚发布的可以生成人物动作的大模型hunyuan-motion-1.0 实测 这个模型最大的特性是可以通过文字描述生成动作, 并且它是端到端的模型, 生成的动作可以直接用于Blender、Unity、UE等主流3D工具 我简单测试了几个极限场景, 这个模型对于日常场景的动作还原很不错, 甚至一些复杂一点的, 比如黑客帝国中的子弹时间的下腰动作还原得也不错. 那么极限在哪里呢? 简单来讲, 职业运动员的动作不太行, 比如跳台滑雪, 跳水, 小轮车这类. 总结, 这个模型用于快速生成游戏场景中NPC的日常生活动作是完全够用的, 不过主要角色的动作设计还是需要大量修改才能使用.
1:21

如果你在做游戏, 那一定要看看这个大模型! 给大家带来腾讯刚刚发布的可以生成人物动作的大模型hunyuan-motion-1.0 实测 这个模型最大的特性是可以通过文字描述生成动作, 并且它是端到端的模型, 生成的动作可以直接用于Blender、Unity、UE等主流3D工具 我简单测试了几个极限场景, 这个模型对于日常场景的动作还原很不错, 甚至一些复杂一点的, 比如黑客帝国中的子弹时间的下腰动作还原得也不错. 那么极限在哪里呢? 简单来讲, 职业运动员的动作不太行, 比如跳台滑雪, 跳水, 小轮车这类. 总结, 这个模型用于快速生成游戏场景中NPC的日常生活动作是完全够用的, 不过主要角色的动作设计还是需要大量修改才能使用.

karminski-牙医

35,801 views • 6 months ago

兄弟们！这套Skills 你们需要吗？ 核心功能就是： 你直接丢一个文章、视频、音频链接等 直接解析后帮你生成PPT！ 并且PPT可以有16种主题风格生成，可以自定义配图模型和指定的风格！ 也可以直接使用精美的网页设计的样式生成！支持多种播放动画自动切换和播放！ 看到这还没完！ 🤔 我还增加了一个可以直接生成一键讲解PPT的讲解视频功能，音画同步，支持详细模式和简单讲解等！ 最后导出支持html 或者mp4 视频、音频等。 点赞过100 ❤️/评论 哟哟 我就开源！等等我吧 （视频是1.0版本）
0:52

兄弟们！这套Skills 你们需要吗？ 核心功能就是： 你直接丢一个文章、视频、音频链接等 直接解析后帮你生成PPT！ 并且PPT可以有16种主题风格生成，可以自定义配图模型和指定的风格！ 也可以直接使用精美的网页设计的样式生成！支持多种播放动画自动切换和播放！ 看到这还没完！ 🤔 我还增加了一个可以直接生成一键讲解PPT的讲解视频功能，音画同步，支持详细模式和简单讲解等！ 最后导出支持html 或者mp4 视频、音频等。 点赞过100 ❤️/评论 哟哟 我就开源！等等我吧 （视频是1.0版本）

Berryxia.AI

46,359 views • 4 months ago

兄弟们 这个有点强啊 而且是完全开源的 感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。
2:15

兄弟们 这个有点强啊 而且是完全开源的 感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

小互

44,263 views • 1 year ago

Google 发布 Gemma 4 12B 开源模型 16GB 笔记本跑全模态 AI Gemma 4 12B 采用了一种叫"Unified"的无编码器架构，让文字、图像、音频、视频四种输入直接进入同一个 Transformer 主干网络处理。 模型可直接处理原始的图像和声音 用一个类比讲清楚 传统多模态模型处理图片和音频的方式，类似于一个只会中文的老板配了两个翻译：一个英文翻译（视觉编码器），一个日文翻译（音频编码器）。 每次有英文或日文材料进来，必须先让翻译转成中文，老板才能看懂。翻译本身占工位（显存），翻译过程要排队等（延迟），而且老板拿到的是翻译加工过的版本，不是原文。 Gemma 4 12B 做的事情是：把两个翻译都裁了，让老板自己学会了直接看英文和日文。 几个关键数字： 16GB 显存或统一内存能跑，4-bit 量化低到 8GB，目标就是在普通笔记本上本地运行 256K Token 上下文窗口，支持 140+ 种语言 内置 Thinking 模式（逐步推理）和原生 Function Calling
1:39

Google 发布 Gemma 4 12B 开源模型 16GB 笔记本跑全模态 AI Gemma 4 12B 采用了一种叫"Unified"的无编码器架构，让文字、图像、音频、视频四种输入直接进入同一个 Transformer 主干网络处理。 模型可直接处理原始的图像和声音 用一个类比讲清楚 传统多模态模型处理图片和音频的方式，类似于一个只会中文的老板配了两个翻译：一个英文翻译（视觉编码器），一个日文翻译（音频编码器）。 每次有英文或日文材料进来，必须先让翻译转成中文，老板才能看懂。翻译本身占工位（显存），翻译过程要排队等（延迟），而且老板拿到的是翻译加工过的版本，不是原文。 Gemma 4 12B 做的事情是：把两个翻译都裁了，让老板自己学会了直接看英文和日文。 几个关键数字： 16GB 显存或统一内存能跑，4-bit 量化低到 8GB，目标就是在普通笔记本上本地运行 256K Token 上下文窗口，支持 140+ 种语言 内置 Thinking 模式（逐步推理）和原生 Function Calling

小互

57,071 views • 27 days ago

太酷了，阿里通义实验室给出了一套完整的可实时交互的数字人系统！ 先是一款单图秒级3D数字人生成模型：LAM，支持实时动画和交互功能 支持跨平台、低延迟、实时渲染 另外还开源了两个配套工具，形成了一个完整的可实时交互的数字人系统 1、Audio2Expression，一个音频驱动的表情动画模型，用于驱动LAM生成的数字人头像，根据音频做出相应的嘴型和表情 2、OpenAvatarChat，数字人实时对话系统，核心是多模态低延迟，平均回答延迟在2.2秒左右 #AI数字人 #虚拟主播
1:06

太酷了，阿里通义实验室给出了一套完整的可实时交互的数字人系统！ 先是一款单图秒级3D数字人生成模型：LAM，支持实时动画和交互功能 支持跨平台、低延迟、实时渲染 另外还开源了两个配套工具，形成了一个完整的可实时交互的数字人系统 1、Audio2Expression，一个音频驱动的表情动画模型，用于驱动LAM生成的数字人头像，根据音频做出相应的嘴型和表情 2、OpenAvatarChat，数字人实时对话系统，核心是多模态低延迟，平均回答延迟在2.2秒左右 #AI数字人 #虚拟主播

AIGCLINK

47,683 views • 1 year ago

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。 这是全球第一个实时多模态世界模型。 它不只是生成画面，还能同时生成真实世界的声音。 视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。 以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。 这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。
2:15

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。 这是全球第一个实时多模态世界模型。 它不只是生成画面，还能同时生成真实世界的声音。 视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。 以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。 这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,194 views • 1 month ago

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。 （对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看） 先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。 在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。 最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案： 比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。 比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。 即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！ 当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。 对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？ 陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频：
57:23

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。 （对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看） 先摘录几个冷知识： 1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘 2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。 在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。 最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案： 比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。 比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。 即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！ 当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。 对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？ 陶哲轩也给出了他的看法： > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向： - AI 能够非常好地生成有价值的猜想 > 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好： > 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频：

宝玉

300,761 views • 1 year ago

🔥熬了一晚，你们想要的remotion skill的案例来了！ 用remotion做了一个产品广告宣传片 Gemini的模型审美更强 过程中用了多个skill配合 1.先用Gemini模型做策划出30秒视频方案 2.用方案去寻找对应的素材（要配合文案优化关键词才会精准匹配，用media-download skill） 3.同时用TTS skill生成配音 4.根据配音长度自动剪辑视频, cc+remotion就可以 5.最后让CC配上符合文案和主题的BGM 要求动态效果，封面，结尾这些都是remotion能做的事 一开始自己需要走完一遍流程，调试和效果 做好了之后，再做类似了，换词就能做到一键成片了
0:30

🔥熬了一晚，你们想要的remotion skill的案例来了！ 用remotion做了一个产品广告宣传片 Gemini的模型审美更强 过程中用了多个skill配合 1.先用Gemini模型做策划出30秒视频方案 2.用方案去寻找对应的素材（要配合文案优化关键词才会精准匹配，用media-download skill） 3.同时用TTS skill生成配音 4.根据配音长度自动剪辑视频, cc+remotion就可以 5.最后让CC配上符合文案和主题的BGM 要求动态效果，封面，结尾这些都是remotion能做的事 一开始自己需要走完一遍流程，调试和效果 做好了之后，再做类似了，换词就能做到一键成片了

huangserva

122,316 views • 5 months ago

兄弟们，又出来个牛P玩意 阿里那个被截胡了，这个直接能用 可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。 不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。 核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。 官网： 可以去他们discord免费体验： ViggleAI
1:00

兄弟们，又出来个牛P玩意 阿里那个被截胡了，这个直接能用 可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小case... 最牛P的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。 不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换... 其核心技术基于JST-1模型。JST-1是首个具有实际物理理解能力的视频-3D基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。 核心功能： 1、可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle将根据这些指示生成视频。 2、基于物理的动画：JST-1模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3、3D角色和场景创建：Viggle不仅限于传统的2D视频制作，它还能够创建3D角色和场景。 官网： 可以去他们discord免费体验： ViggleAI

小互

103,553 views • 2 years ago

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】 最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。 以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。
1:53

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】 最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。 以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。

傅盛

89,082 views • 5 months ago

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态 与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求 它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程 输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的 核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新 对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成 对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能
0:26

空间智能赛道刚刚又出了新模型：Moonlake，能生成3D世界，还能同时处理物理、声音、逻辑规则等多种模态 与李飞飞的World Labs不同的是，World Labs偏场景生成，Moonlake更重交互，更像是在构建一个可交互、物理正确、逻辑完整、视听一体的“活世界” 给定一句“在街机室里做一个赛博朋克风格的保龄球游戏”需求 它能自动拆解成生成3D模型、加物理、摆位置、写规则等10个阶段，自主完成从零到一的开发过程 输出一个实时可玩的虚拟保龄球馆，能交互，拿球、投掷、有声音、有分数变化，所有东西都按物理规律运作的 核心机制是所有模态绑定在同一个实体上，一次事件，比如球击中瓶子时，位置、物理状态、分数、音效等全模态同步更新 对于做游戏的，原来要用一个团队干的活，现在可能一个人就能完成 对于老师，几句话生成学生能实时交互的物理实验场景 #世界模型生成 #Moonlake #WorldLabs #空间智能

AIGCLINK

10,970 views • 4 months ago

哈佛的CS50课程节选：GPT-4是如何工作的？ 在这门课程中，介绍了GPT-4的基本概念和工作原理，介绍了GPT-4的基本概念、工作原理和应用前景，展示了其在各种场景下的强大能力。 GPT-4作为一种生成式AI和大型语言模型，是基于神经网络和人工智能的。它可以作为文化模拟器、文本预测器、写作助手和内容生成器。 GPT-4的训练目标是预测给定单词序列的下一个单词。通过对五万个单词的词汇表进行概率分布生成，模型可以生成各种可能的后续单词。通过不断迭代这一过程，GPT-4能够生成连贯的文本。 随着模型训练时间的增加，GPT-4表现出越来越强的表现力和能力，甚至变得更加“聪明”。这使得它能够模仿不同类型的文本风格和语言注册。例如，GPT-3通过观察大量问题和答案示例，实际上已经知道如何回答问题，从而形成了ChatGPT。这使得GPT-4可以以问答的形式工作，为用户提供解决问题的帮助。 此外，GPT-4通过指令调整、强化与人类反馈对齐等方法，与现有的工具和服务相结合。这使得GPT-4能够帮助用户执行各种任务，如搜索网络、查找食谱等。通过将GPT-4转变为代理，实现任何模糊目标成为未来发展的方向。 YouTube：
7:42

哈佛的CS50课程节选：GPT-4是如何工作的？ 在这门课程中，介绍了GPT-4的基本概念和工作原理，介绍了GPT-4的基本概念、工作原理和应用前景，展示了其在各种场景下的强大能力。 GPT-4作为一种生成式AI和大型语言模型，是基于神经网络和人工智能的。它可以作为文化模拟器、文本预测器、写作助手和内容生成器。 GPT-4的训练目标是预测给定单词序列的下一个单词。通过对五万个单词的词汇表进行概率分布生成，模型可以生成各种可能的后续单词。通过不断迭代这一过程，GPT-4能够生成连贯的文本。 随着模型训练时间的增加，GPT-4表现出越来越强的表现力和能力，甚至变得更加“聪明”。这使得它能够模仿不同类型的文本风格和语言注册。例如，GPT-3通过观察大量问题和答案示例，实际上已经知道如何回答问题，从而形成了ChatGPT。这使得GPT-4可以以问答的形式工作，为用户提供解决问题的帮助。 此外，GPT-4通过指令调整、强化与人类反馈对齐等方法，与现有的工具和服务相结合。这使得GPT-4能够帮助用户执行各种任务，如搜索网络、查找食谱等。通过将GPT-4转变为代理，实现任何模糊目标成为未来发展的方向。 YouTube：

宝玉

403,590 views • 3 years ago

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。
1:32

Kyutai 又推出了一个新的语音模型： Unmute 这是一个高度模块化的语音 AI 系统，可以为任何文本大语言模型快速添加语音功能。 也就是它可以插入到任意的模型当中，让该模型具有语音能力。 -它能够很智能判断你是否说完一句话，然后再接茬 -你也可以随时打断它 -基于 10 秒语音样本即可定制声音 -能实现“文本流式”合成，支持在文本尚未完全生成时开始说话，进一步降低响应延迟。

小互

37,051 views • 1 year ago

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。
0:27

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。

小互

19,850 views • 1 year ago

基于藏师傅 PPT Skill 的讲解视频生成 Skill，差不多搞定了！ Codex 配合远程控制不在家也可以一键产出视频内容 可以用非常低的成本保证视频内容的可用性和表现力 这里的视频是我随便找了一个徒步文案一次生成的。 主要的内容用前端生成，只有配音和部分分镜使用音频和Seedance 2.0 模型
2:06

基于藏师傅 PPT Skill 的讲解视频生成 Skill，差不多搞定了！ Codex 配合远程控制不在家也可以一键产出视频内容 可以用非常低的成本保证视频内容的可用性和表现力 这里的视频是我随便找了一个徒步文案一次生成的。 主要的内容用前端生成，只有配音和部分分镜使用音频和Seedance 2.0 模型

歸藏(guizang.ai)

21,848 views • 1 month ago

这个 Skill 能让小龙虾全天候帮你生成影视解说视频。 以前做一个解说视频，从拉片、写文案、配音到剪辑，光流程就得半天起步。有了 Narrator AI Skill，一切都变得简单。 它支持电影、短剧、漫剧，甚至外语解说，把整条流程拆成小龙虾能理解的模块：写文案、配音配乐、匹配画面、剪辑合成，全套自动完成。 装上之后，小龙虾就像一个经验丰富的解说剪辑师。你一句话，它就能： - 找影片资源 - 生成解说文案 - 自动剪辑合成视频 - 挑配合适的配音和背景音乐 不满意的地方，几分钟就能调整好。 更夸张的是，它还能批量生产，10 条、100 条视频都没问题。 无论你是个人博主、MCN 搭建流水线，还是出海创作者做外语解说，这套 Skill 都能让你的视频产能无限扩张。 想做影视解说的，这个 Skill 真心推荐收藏，低调研究。
1:00

这个 Skill 能让小龙虾全天候帮你生成影视解说视频。 以前做一个解说视频，从拉片、写文案、配音到剪辑，光流程就得半天起步。有了 Narrator AI Skill，一切都变得简单。 它支持电影、短剧、漫剧，甚至外语解说，把整条流程拆成小龙虾能理解的模块：写文案、配音配乐、匹配画面、剪辑合成，全套自动完成。 装上之后，小龙虾就像一个经验丰富的解说剪辑师。你一句话，它就能： - 找影片资源 - 生成解说文案 - 自动剪辑合成视频 - 挑配合适的配音和背景音乐 不满意的地方，几分钟就能调整好。 更夸张的是，它还能批量生产，10 条、100 条视频都没问题。 无论你是个人博主、MCN 搭建流水线，还是出海创作者做外语解说，这套 Skill 都能让你的视频产能无限扩张。 想做影视解说的，这个 Skill 真心推荐收藏，低调研究。

开发者Hailey

60,658 views • 2 months ago

震惊了，抖音上祁博士一天卖 50w 的数字人 agent，我2 分钟就开发完成了。 用的就是Pixelle-Video这个项目，已经22k stars。包括数字人口播、动作迁移、图生视频全支持。 支持ComfyUI，输入主题，从写脚本到加 BGM 到出片，一条龙自动跑视频。 老王部署到本地，做了个简短的视频，属于插图式的视频，如果你需要更复杂的视频，需要自己配置云端模型比如 seedance2，kling 等等。 Pixelle-Video 最厉害的地方，是它把视频生产完全做成了可配置，支持本地部署模型和云端大模型。 文案、画面、配音、剪辑，它拆成四个可替换的模块，每块后面都能换模型，可以自由切换模型，使用非常方便 >文案层：LLM 读主题，吐出带时间戳的结构化脚本，每>句对应一段画面。 >画面层：脚本每句转生图提示词，扔给 ComfyUI 或直连 DashScope 出图，图生视频和数字人口播也走这一层。 >语音层：脚本原文走 TTS 合成，多语言加音色克隆，不用自己录音。 >合成层：画面对齐语音时间轴，叠上 BGM，输出 MP4。 仓库： P.S. 想到了就能出片，懂一点 AI 编程，这个项目就能自己做成适合各行业的数字人 agent。
0:22

震惊了，抖音上祁博士一天卖 50w 的数字人 agent，我2 分钟就开发完成了。 用的就是Pixelle-Video这个项目，已经22k stars。包括数字人口播、动作迁移、图生视频全支持。 支持ComfyUI，输入主题，从写脚本到加 BGM 到出片，一条龙自动跑视频。 老王部署到本地，做了个简短的视频，属于插图式的视频，如果你需要更复杂的视频，需要自己配置云端模型比如 seedance2，kling 等等。 Pixelle-Video 最厉害的地方，是它把视频生产完全做成了可配置，支持本地部署模型和云端大模型。 文案、画面、配音、剪辑，它拆成四个可替换的模块，每块后面都能换模型，可以自由切换模型，使用非常方便 >文案层：LLM 读主题，吐出带时间戳的结构化脚本，每>句对应一段画面。 >画面层：脚本每句转生图提示词，扔给 ComfyUI 或直连 DashScope 出图，图生视频和数字人口播也走这一层。 >语音层：脚本原文走 TTS 合成，多语言加音色克隆，不用自己录音。 >合成层：画面对齐语音时间轴，叠上 BGM，输出 MP4。 仓库： P.S. 想到了就能出片，懂一点 AI 编程，这个项目就能自己做成适合各行业的数字人 agent。

老王霸 AI Lab

185,545 views • 17 days ago