Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

Google 开源其扩散架构模型:DiffusionGemma 区别于Transformers 模型像打字机一样逐词一个一个生成 DiffusionGemma 可一次性生成大段或者整篇内容,然后再逐步优化 大幅度提高生成的速度: 在H100 上可实现 1000+ tokens/s,RTX 5090 上 700+ tokens/s 26B,18GB 显存能跑 一次可同时生成 256 个 tokens 自己检查自己,写完还能改: 普通 AI 写完一个字就锁死了,不会回头改。就算第 10 个字写错了,到第 100 个字的时候它也改不了前面的。 DiffusionGemma 的生成过程本身就是多轮迭代,每一轮它会重新审视整块文本,发现哪里不对就改掉。就像写作文先打草稿,再通读一遍改错别字,再读一遍调语句,几轮下来质量就上去了。

14,359 Aufrufe • vor 4 Monaten •via X (Twitter)

9 Kommentare

Profilbild von 小互
小互vor 4 Monaten

DiffusionGemma 的整体输出质量低于标准 Gemma 4。对于要求最高质量的应用,建议部署标准 Gemma 4。 它适合的是对响应速度有强需求但对输出质量可以容忍一定下降的场景。

Profilbild von 小互
小互vor 4 Monaten

不过模型支持微调。 Unsloth 团队已经演示了通过微调让 DiffusionGemma 学会解数独,利用双向注意力的优势解决自回归模型天然吃亏的全局约束问题。在特定垂直任务上,微调后的质量是有可能追上来的。

Profilbild von 小互
小互vor 4 Monaten

详细介绍:

Profilbild von AI搞钱Hacker
AI搞钱Hackervor 4 Monaten

DiffusionGemma 的生成过程本身就是多轮迭代,每一轮它会重新审视整块文本,发现哪里不对就改掉。多轮迭代那token不是耗得更多了。。

Profilbild von woniu
woniuvor 4 Monaten

门槛还是有点高

Profilbild von 邻家小A
邻家小Avor 4 Monaten

普通大模型:没话找话,覆水难收。 DiffusionGemma:谋定后动,还能撤回。 AI 终于学会‘脑子是个好东西,出门前先过一遍’了。

Profilbild von MobaiLabs | 墨白实验室
MobaiLabs | 墨白实验室vor 4 Monaten

H100 上 1000+ tokens/s,这速度可不慢啊。

Profilbild von 码上盈|AI
码上盈|AIvor 4 Monaten

写完还能回头改这点 已经赢过我那个写完就不想再看第二眼的本能了

Profilbild von Ve
Vevor 4 Monaten

千token/秒是标题。写完会回头改才是正文。

Ähnliche Videos

太牛逼了!Hugging Face 这周跑出一匹黑马,还是同时跑赢两个赛道的那种 语音识别 Trending 榜第一,压着 OpenAI 的 whisper-large-v3、NVIDIA 的 Nemotron、阿里的 Qwen3-ASR。翻译 Trending 榜第一,压着腾讯的 Hy-MT2、Cohere、Google、Meta 的 NLLB。两个第一都是同一家中国公司,网易有道,很多人印象里还是那个做词典的。模型叫 R2T2 和 T3PO,一个听,一个译,全开源。榜单截图我今天截的,还在第一。 一家原本在学习场景出挑的公司,在 HF 上把两个垂类做到第一,这事本身就值得点开看看。但我更想知道它到底强在哪,所以没在 GPU 上跑,把两个都塞进了一台 M1 Pro 的 MacBook,不联网。把我自己以前的口播按真实时间喂进去,中文实时上屏,英文每说完一句就跟出来。视频里的每个数字都是这台机器上的真实数字。 先说我最在意的一件事 同一段我自己的口播,8.6 秒,每 640 毫秒出一次结果。左边 Whisper 走"每次把收到的音频整段重解一遍"的伪流式,13 步里改写了 7 次,屏幕上已经显示的 93 个字被重写过,"见面了"变成"在这边了"又变回来,最后一句停在"全程媒介一找"。右边 R2T2 是 0 次改写,提交出来的字一个没动过。 更有意思的是 8.32 秒那一帧。R2T2 内部其实已经猜出"全程没接",但它只提交了"全程"两个字,把"没接"压着没放。0.6 秒后证据够了,提交的是"没截",对的。它不是猜得慢,它是知道这一刻不该猜。 为什么我在意这个。给人看字幕,闪一下无所谓。但这段文字如果是喂给下一个模型的,比如同传、比如一个要执行动作的 Agent,前面的字一改,下游就得撤销自己刚做的判断。视频第三段就是这条链路,R2T2 每提交完一句,原文直接交给 T3PO,中间没有人工,也不用等整段说完。因为 R2T2 给出来的字不会再改,T3PO 拿到就能翻,翻出来的英文也不会再改。 热词那段也值得看。不给上下文的时候,它把 Codex 写成 codet,Excalidraw 写成 escalator,无限画布写成无线画布。给一行热词之后三个全对。但我的名字"雨哥",热词给了,离线模式还是写成"宇哥",流式那一遍倒是对了。同音人名是最难扳的一类,别指望热词包治百病。 几个要说清楚的地方。 一,R2T2 是在 Qwen3-ASR 1.7B 上做的,方法在数据构造和一个叫 Longest Stable Prefix 的训练范式上,技术报告还没出。 二,Mac 上跑的是社区 audio.cpp 的移植版,9 月 19 号刚合进主仓库,brew 装的二进制里还没有,得自己编。这版每一步都重编码整句音频,句子越长越慢,M1 Pro 上 640 毫秒步长能跟上实时,官方 GPU 路线是 160 毫秒。 三,ASR 加 14B 同传同挤一块 M1 Pro 的 GPU。我一开始让 T3PO 边听边探测,结果它把 GPU 吃满,识别反而被拖到落后 3 秒。改成识别优先、每句提交完再交给 T3PO,识别回到实时,英文在每句说完后两三秒整段出来。T3PO 本身支持逐字喂、边听边译,但那需要两张卡,不是一台笔记本能同时伺候的。 四,代码 Apache 2.0,权重是网易自己的 Model License,商用前看一眼。 只增不改这条路线 R2T2 不是第一个走的,Nemotron、Voxtral 都在做。它把这条路线的准确率追到了接近伪流式和离线的水平,然后开源了,这是我觉得它值得开源社区接住的原因。 过去两年大家盯着中国开源模型的目光都在通用大模型上。这次是两个垂类,实时语音识别和同传,分别把 OpenAI、NVIDIA、Google、腾讯的模型压在榜下,而且是一家平时不怎么在这个圈子出声的公司做的。垂类这条路,中国公司是真能跑到第一的! 两个模型都开源了,代码和权重在这: R2T2 语音识别 GitHub: Hugging Face: T3PO 同传 GitHub: Hugging Face:

雨哥向前冲

123,494 Aufrufe • vor 22 Tagen

哇趣,独立开发者一定要试试 Pexo Pexo! 它是个能直接聊天做视频的 AI 视频创作 Agent。把想法、产品链接或者手头的素材给它,从想脚本、拆分镜,到生成画面、配字幕和音乐、剪成片,都可以在里面完成。做完哪里不满意,还能接着聊、接着改。 我没想到我一个写代码的,也能口喷 AI,让它帮我做出一支这么高完成度的宣传片。 我有个 App 叫「NowHere」,上架有一段时间了,一直想做社媒推广,但做宣传片这事儿,又嫌麻烦,又嫌贵,就一直拖着。直到发现了 Pexo,才想着拿自己的 App 试一把。 我先把短片的想法丢给它,后面再补上 App Store 链接和素材。它先给出思路,我看完提要求,再一轮轮调整。全程主打一个边看效果,边继续 PUA。 关键是,它真的听得懂我想怎么改。 消息气泡第一次没放对位置,我就直接在画面上圈出想放的位置,再在右边的批注框里说清楚怎么改,提交后它就照着改。文字说不清,就画给它看。要改某一段,也可以在视频里选好几秒到几秒,再在批注框里告诉它这段要怎么改。 中间那段产品展示,我把 App 的真实截图和录屏传上去,让它套上 iPhone 机模,再加文字和动效。第一版手机一直摆在正中间,我就说,手机别放这么死板,旁边的文字也换个位置。后来手机和文案又隔得太远,中间空了一大块,就再让它往一起挪。毕竟甲方嘛,需求都是聊出来的。 我以前没做过宣传片,第一次给自己的产品做就能出这个效果,挺惊喜的。成片 👇

冰零

51,519 Aufrufe • vor 23 Tagen

女朋友一生气就切方言,男朋友一句都没听懂,字幕全听懂了。 四川话、粤语、英语、法语,11 句台词,AI 字幕一个字没改,11 句全对。 短片是我做的,字幕交给一个开源语音模型,它输出什么我就往视频里贴什么。右上角挂着"未人工修改",连男生结巴的那句"你你说啥"都原样留着。 同一段音频我喂给了 Whisper large-v3 做对照,差距比我预想的大: 粤语那句"你话过请我食饭㗎,唔好赖账",Whisper 写成"你曾說過請我吃飯的,不要賴帳",翻成书面中文了,粤语原文一个字不剩;这个模型写的是"你话过请我食饭噶唔好赖帐",唔、噶、话过全在,广东人一看就是原话。 四川话的"莫"和"要得",Whisper 写成"别"和"要的";它原样保留。 英语那句 "Seriously? You forgot again?",Whisper 整句漏掉,它一字不差。 这个模型叫 Hojo-ASR-Multi-V1。它改掉的规则只有一条:不翻译你说的话,你说什么字,它就写什么字。 视频之外我还单独跑了两轮数据。上一期 90 条欧洲五语种真人音频,干净音频它比 Whisper 略输一点,加噪和 1.4 倍速后反超,90 条里零语言误判、零幻觉,Whisper 则把一句意大利语认成了瑞典语。这期 30 条中文系加英语:普通话、英语双方全对;粤语按字算,它错 7%,Whisper 错 50%,错的全是"翻译"造成的;四川话它错 3%,Whisper 错 11%。 更有意思的是,模型页面到今天还写着"中文、英文待支持"。Credits 里鸣谢了 WenetSpeech-Chuan 和 WenetSpeech-Yue 两个川渝、粤语数据集,能力其实早就训进去了,只是文档没跟上。 想自己上手:pip install hojo-asr,权重 12GB 从 Hugging Face 拉,Mac 上 CPU 跑 float32 就行,峰值内存 20GB。前面接一个 VAD 按停顿切句再送进去,这是这类大模型底座语音模型的标准用法,逐句识别时语言切换更稳。输出是全小写无标点,做字幕直接用,要标点的场景自己补一步。 不适合谁:16GB 内存的机器别试;中文长音频我还没测过,这次只测了短句和这条短片。 Apache 2.0,商用也行。他们的官方账号是 HojoAI,roadmap 上写着推理引擎和小型化,什么时候能塞进耳机我会一直盯着,想跟进的可以关注一下。

雨哥向前冲

529,723 Aufrufe • vor 24 Tagen

OpenAI刚刚开源的这个东西,感觉要把程序员的工作方式给整个改写了。 现在大家都在卷模型写代码有多强,但其实真正的瓶颈早就不是生成了。 一个人每天最多同时有效监督3-5个编码Agent,再多就会注意力崩溃,生产力直接归零。 有了Symphony,直接把这个上限干到了几十个。 它把你的Linear、GitHub Issues直接变成了永远在线的Agent调度器。 你开一个任务,它自动启动一个独立隔离的Codex Agent。 自己写代码,自己跑测试,自己做交叉Review,damn! 全部搞定之后,会给你提交一个完整的证据包。 CI全绿,安全和性能专项审查通过,改了UI就自动录好操作视频。 所有验证全过了,才会出现在你的Human Review队列里。 以后人类的角色可能会被彻底颠覆了。 以前你是监工,盯着Agent一步一步写代码,上下文切到吐。 现在你是老板,只需要看最终的结果。 满意就点合并,不满意就去仓库里补规则补文档补Guardrails。 记住兄弟们,永远不要手把手指挥Agent,永远不要替它干活。 这可不是啥实验室概念,OpenAI自己已经这么干了。 三个工程师,五个月,写了一百万行代码,0行人工写的。 产品已经有几百个内部用户,每天都在迭代。 我觉得他们最厉害的不是模型,是他们把整个仓库变成了Agent能看懂能自主工作的乐园。 现在很多人都搞错了Agent时代的核心竞争力。未来不是谁的模型更聪明,而是看谁能设计出让Agent可靠自主工作的环境。 我觉得未来最好的工程师,再也不是写代码最快的人,而是那些最会写规则,最会设计反馈回路,最会给Agent搭舞台的人。 现在Symphony已经开源了,它甚至不是一个成品。 是一个17k token的完整SPEC。 你把这个SPEC喂给任何一个编码Agent,十分钟就能生成你自己定制版的Symphony。 GitHub地址评论区自取👇

AYi

63,210 Aufrufe • vor 5 Monaten

HeyGen这次开源,把AI做视频的最后一道门槛拆没了🤯 他们用Claude Code写代码,做了自己的50秒产品发布视频,然后把整个工具链完整开源给了所有人,致敬开源🫡 以后做视频真的能简单到离谱, 给一句话,做一个30秒的产品介绍,给一个PDF,自动生成总结视频, 迭代就是改一句话的事,比如把标题放大两倍,第三秒加一个淡入转场等, 这个工具叫HyperFrames,本质上就是一个纯HTML转MP4的视频渲染框架。 所以其实我们不用学任何剪辑软件,也不用写复杂的React代码, 只要写普通HTML,加几个简单的data属性,就能定义视频的每一帧、时间线、动画和音轨。 HyperFrames从第一天起就是为AI代理原生设计的。 AI天生就会写HTML,现在Claude、Cursor、Gemini所有编码Agent,只要装一个skill,立刻就会做视频。 这妥妥的降维打击啊,以前Remotion把视频变成了代码,但它需要你会React,需要构建流程,属于开发者专属的玩具。 HyperFrames是把视频变成了纯HTML,零构建,无DSL,不需要任何前置知识。 说白了,Remotion是给人写的,HyperFrames是给AI写的。 以前AI能写文字,能生成图片,但视频一直是最后一块硬骨头,现在这块骨头也被啃下来了。 代理现在能端到端完成一整条内容流水线,调研,写脚本,做设计,加动画,最后直接渲染出成品视频,全程不需要人类碰一下。 它还自带50+官方现成组件,社交遮罩、图表、转场,一行命令一键安装。 支持GSAP、Lottie、Three.js所有主流动画库,随便混用。 也就是说,同一份HTML永远出一样的结果,完美适合自动化流水线。 官方甚至把视频语言都标准化了,缓动用snappy,bouncy,转场用能量等级,字幕分Hype/Corporate/Tutorial三种风格。 AI只要学会这套词汇,就能稳定输出专业级视频,这不就是在教AI做导演嘛🤣 这对HeyGen来说也是一步妙棋,他们不再只是一个卖AI头像的SaaS公司,现在能做整个AI视频时代的基础设施了, 未来所有AI代理生成的视频都能跑在HyperFrames上。 然后再无缝接入HeyGen的头像、语音、翻译能力,形成一个完美的闭环。 当然目前也不是完美的,初期输出还有AI味,超过一分钟的复杂长视频,渲染还需要较强算力。 但我觉得这都不重要,关键是它第一次把完整的视频生产力交给了AI Agent,相当于AI内容创作时代的又一个里程碑。 想试的直接去GitHub搜heygen-com/hyperframes。 跑一行npx hyperframes init,然后让Claude帮你做第一个视频。 #HyperFrames #HeyGen #AI视频 #AI代理 #开发者 #内容创作

AYi

37,398 Aufrufe • vor 6 Monaten