知识猫AI实验室
@GeekCatX • 24,758 subscribers
10年+大厂程序员｜AI内容工程师 用 AI 做图、做视频、搭工作流 分享真实作品、工具与增长实验 探索一人公司的更多可能 学习/咨询/合作👇 vx:gnipbao
Shorts
Videos
我又把这套流程优化了一版。 目前来看，这应该是我跑通过的，成本最低、操作也最简单的一套 Vox 风格视频制作方案。 整个流程只有 4 步： 第一步，用 vox-style skill 配合 Codex，拆解画面并生成分镜提示词。 第二步，用 Codex Image 2 批量产出分镜图。 第三步，把分镜图放进 Google Flow，用 Gemini Omni Flash 逐个生成视频片段。 第四步，下载全部片段，交给 ChatCut 一键剪辑成片。 简单来说就是： 拆分镜 → 生图片 → 转视频 → 自动剪辑。 不需要自己从零设计画面，也不用在剪辑软件里反复对齐素材。 Google AI Pro 目前每月有 1000 个 Flow 积分，用来制作和测试短视频，成本已经能压得很低。 当然，具体能生成多少条，还是取决于视频时长、返工次数和你选择的模型。 但如果你想低成本尝试 AI 视频，而不是一开始就买一堆昂贵工具，这套工作流很值得跑一遍。 晚点我会把完整流程放到猫社群，直接开放给群友使用。 如果你也想探索 AI 视频、自媒体内容和低成本内容生产，欢迎加入猫社。 我们不只追新工具，更重要的是把工具真正变成能用的工作流。
知识猫AI实验室151,148 次观看 • 1 个月前
兄弟们，上周预告的“故事转手绘视频”Skill，今天正式开源了。 给它一段中文故事，它就能自动变成一支会从黑白慢慢长出颜色的手绘日记动画。 你可以直接输入中文故事文案，也可以上传一组按顺序排列的本地图片。 剩下的事情，它会自动完成： 把故事拆成分镜； 保留原文措辞和叙事节奏； 为每个画面配上手写体字幕； 让画面从黑白线稿逐渐上色； 最后输出方便继续配音和剪辑的静音MP4。 为了避免自动分镜把故事切得太碎，我专门调整了拆分逻辑。 默认一个完整句子对应一个节拍，只有遇到自然的动作或叙事转折，才会拆开较长的复合句。 如果你已经准备好了漫画页或手绘图片，也可以直接上传。 它会自动识别并拆分页面中的手写文字和插画，在本地生成与彩色插画对齐的黑白底稿，再制作成动画。 目前支持两种转场： 第一种是直接切换。 按照“文字→黑白线稿→彩色插画”的顺序，从左向右逐渐揭示。 第二种是翻页转场。 保留原始页面，从右下角卷起翻页，做出真正的手绘日记翻书感。 我还专门处理了一个很容易翻车的问题： 画面裁切。 所有插画都会被限制在白色安全边框内，只使用完整收纳的构图方式，不会为了铺满屏幕，把人物、文字或关键细节直接裁掉。 最终输出3:4竖屏静音画面轨： 正式版1080×1440； 预览版720×960。 很适合拿来制作童年回忆、人物故事、成长经历、情感叙事，以及其他需要温度感的中文故事视频。 底层使用Image2生成分镜，再通过Remotion完成动画与渲染。 项目已经完整开源： 觉得有用，可以顺手点个Star。 如果你在使用中发现问题，或者做出了新的动画效果，也欢迎提Issue、交PR，一起把它继续完善。
知识猫AI实验室124,780 次观看 • 1 个月前
视频生成模型的下一站，可能不是更长、更清晰的片子。 而是一个你能走进去，并亲手改变的世界。 过去两年，AI 视频已经能生成足够惊艳的画面。但无论视频多逼真，观众依然只能按下播放键： 镜头往哪里走，早已决定； 街角后面有什么，你无法靠近； 画面里出现什么，你也不能临时改变。 生成结束的那一刻，所有可能性也结束了。 Alaya Lab 刚刚开源的 AlayaWorld，试图把这件事反过来。 它不是先生成一段完整视频，再让你观看。 你可以用一张图片开启世界，推动摇杆改变镜头和移动方向；画面会随着操作继续生成。探索途中还能切换提示词，召唤火焰、凤凰、巨兽，或者让新的事件直接发生在当前场景里。 这意味着，AI 生成的内容第一次不只是“成片”，而开始接近一个可以进入、探索和影响的环境。 目前公开的几个核心指标： • 15B 参数 • 720p 分辨率 • 24 FPS 实时生成 • 支持 60 秒以上的连续探索 • 支持实时镜头控制与提示词切换 但真正困难的还不只是生成速度。 视频模型一旦连续运行，误差会逐帧累积：向前走了一段，再回头看，刚才的建筑可能已经变形；人物、道路和空间关系也会慢慢漂移。 这也是“生成视频”和“生成世界”的分水岭。 视频只要下一帧看起来合理。 世界却必须记得：东西在哪里、刚才发生过什么，以及你离开后再回来时，它是否还是原来的样子。 AlayaWorld 为此加入了两种互补的记忆： 一个显式 3D cache，用来保存空间位置； 一个压缩的帧历史，用来维持时间连续性。 再配合针对漂移历史的训练和 Error Bank，尽量阻止误差在长时间生成中不断放大。 所以这项工作的重点，不是“又一个画质更好的视频模型”。 而是把交互、空间记忆、长时稳定和实时生成，塞进同一个可以运行的系统里。 它现在当然还不是一款普通玩家打开电脑就能玩的游戏，也不能直接替代成熟的游戏引擎。 但它展示了一种很值得关注的方向： 未来的虚拟世界，未必需要把每栋建筑、每条道路和每个事件提前制作完成。 一部分世界，可能会在玩家移动和行动的同时，被模型实时生成出来。 这会影响的不只是游戏。 AI 原生玩法原型、影视预演、虚拟勘景、动态故事板，甚至机器人与智能体的训练环境，都可能从这种“可交互的生成世界”中长出来。 更难得的是，AlayaWorld 不只发布了 Demo。 模型权重与推理代码已经开放。你可以直接查看它如何处理实时交互、空间记忆和长时间生成，也可以下载权重进行研究与复现。 如果你正在关注世界模型、AI 游戏或交互式生成，这个项目值得拆一遍： Alaya Lab
知识猫AI实验室70,424 次观看 • 1 个月前
兄弟们，之前分享的流程虽然能跑通，但说实话，不算真正低门槛。 有同学用 Codex Plus 跑分镜，一条视频就干掉大半额度。工具还没学会，积极性先被额度干没了。 今天猫哥把「纯免费版」补上。 不用开 Google Flow 会员，也能跑通一条 1 分钟的 VOX 剪纸纪实风短片。 🔥 免费额度工作流： 1️⃣ Claude / GPT 生成剧本和逐镜分镜 2️⃣ Google Flow + ZAPI FLOW 用 Nano Banana 2 批量生图 只把关键镜头交给 Omni flash生成6s视频 3️⃣ ElevenLabs 生成带情绪的拟人旁白 免费方案每月 10000 credits 4️⃣ Suno 生成电影感 BGM 注意免费版仅适合非商业项目 5️⃣ CapCut 给静态插画加推拉摇移 自动识别字幕并完成出片 Google Flow 免费账号每天有 50 credits。 Omni flash 每段6秒视频消耗 10 credits，一天可以生成约 5 个关键动态镜头。3个免费账号一样能撑起一分钟视频。 完整版网页提示词和操作流程，我放在猫社里。 想要的，来猫社领取，目前价位：299。
知识猫AI实验室49,311 次观看 • 1 个月前
最近国产模型真是扬眉吐气啊，前有盛大世界模型，后有kimi k3 发布， 听说还有一个商汤的生图模型也非常能打，还没试试。 不过这篇还是给大家测试了下 K3的实力。 最近小红书刷到一位很牛的 vibe coding 创作者——流白 Livo。正好赶上 K3 发布，我就把他的一条作品视频直接丢给 K3： “照着这个效果复刻一下，最后再帮我录制成视频。” 没有从零写需求，也没有一点点拆设计。 前后只优化了 3 轮，最终效果已经非常接近原作。 最让我震撼的不是它能写代码，而是它居然能直接从视频里理解设计、还原动效，再把成品做出来。 以前的 vibe coding，是你指挥 AI 干活。 现在的感觉是： 你只需要告诉它“我想要这个”，剩下的，它真的能自己完成。 K3 这波，确实有点东西。
知识猫AI实验室53,749 次观看 • 1 个月前
兄弟们，别只拿 Vox 做普通视频。 它还有一个特别适合低成本起号的方向——做英语绘本。 我刚才拿Vox Style Skill 做了一条1分钟关于苍蝇小子的故事，一共话费不到1毛钱，成本是真的低。 为什么值得做？ 因为英语绘本同时借了三股势：家长重视英语启蒙，孩子喜欢故事动画，平台偏爱短而连续的内容。 据我看到的案例，有些账号只发了几条视频，粉丝就冲到了上万。说明这个方向至少值得小成本验证。 但别一上来就拼画面有多精美。 先固定一个绘本主角，钉住一个词：每天1分钟英语绘本。 用 Vox 降低制作成本，用固定角色做视觉锤，用连续故事培养追更习惯。 记住：英语绘本只是赛道，能被孩子点名的角色，才是你的资产。
知识猫AI实验室31,783 次观看 • 1 个月前
最近刷到一个抖音博主 只发了52条作品就涨粉31万 还签了抖音独家 成了精选作者 他讲心理学 但从来不负责安慰人 别人给你递糖 他直接把手术刀递到你面前 冷峻 锋利 不留情面 他擅长把抽象的人性 塞进一个血淋淋的寓言里 撕开人们对生活麻木的保护壳 目的不是让你舒服而是让你疼醒 我把这套内容结构拆成了一个 Codex Skill 再接上 Google Flow 做了一次低成本复刻实验 第一版已经能跑起来 但问题也很明显： 配音还不够冷动效还不够狠 AI复刻外形并不难 难的是复刻创作者的判断力 继续打磨下 下一版准备上 Seedance 2 看看能不能把声音节奏和压迫感和动效 一起拉上去 做出来只是开始 做出灵魂才算完成
知识猫AI实验室28,863 次观看 • 1 个月前
兄弟们，Vox Style Skill又更新了。 这次新增了一套更适合自媒体内容的美漫模板。 之前的模板主要走新中式路线，比较适合中国古典文化、历史故事和东方美学类内容。 这次的美漫模板，颜色更加艳丽，视觉冲击力更强，能够适配的内容场景也更多。 知识科普、人物故事、商业观点、热点解读，都可以拿来尝试。 最关键的是成本。 按照我目前跑通的低成本工作流，制作一条Vox风格视频，理论生成成本低至1毛钱左右。 即使把废片和返工算进去，保守成本也不到2毛钱一条。 当然，这里没有计算人工时间，也没有把本来就在使用的Codex订阅摊进去。 但对于想做自媒体、预算又不高的人来说，这个成本已经足够低了。 如果你一直想做自媒体，却卡在： 没时间研究复杂工具； 请不起设计师和剪辑师； 不想每个月投入一大笔软件费用； 这套基于Codex的内容工作流，应该会比较适合你。 最近猫哥也一直在做一件事： 不断挖掘、测试和打磨低成本的创意视频制作方法。 目前已经有不少工具和工作流进入开发、测试阶段，大部分基于Codex就能直接使用。 猫社聚焦的方向很明确： AI＋内容创作。 包括AI绘图、AI视频、AI工具实战，以及能真正用于自媒体生产的低成本工作流。 我们不追求收藏一堆看起来很厉害的工具。 而是希望把这些工具组合起来，让一个人也能持续产出内容。 每测试一次，就沉淀一套方法； 每完成一个作品，就积累一份内容资产； 再通过自媒体，持续放大自己的能力、作品和影响力。 低成本只是起点。 真正有价值的是，一个人借助Codex，也能跑通从创意、画面到视频制作的完整流程。 这次新增的美漫模板，也会同步给猫社群友使用。 目前猫社距离200人还剩9个位置。 满200人后，入群价格将调整至299元。 如果你本来就想做AI内容、自媒体或者低成本创意视频，可以趁当前价格加入。 想进群的，直接私信我回复：猫社。
知识猫AI实验室27,461 次观看 • 1 个月前
AI 每天都在干活，最后为什么只长了数据库？ 现在做 Agent，很容易产生一种虚假的繁荣。 日志越来越多，向量库越来越大，接入的工具越来越全，工作流也越来越复杂。 系统看起来什么都留下了。 可下一项相似任务到来时，模型的判断未必比上一次更好。 这就像一个员工每天写十页工作日报。年底一看，硬盘写满了，脑子还停在年初。 存得更多，不等于学得更多。 今天很多 AI 缺的不是第二块硬盘，而是一条能把真实工作变成模型能力的路。 我更愿意把它叫作：能力复利。 工具解决的是“这一次能不能完成”；能力复利解决的是“这一次完成之后，下一次能不能更好”。 这件事必须从完整的工作现场开始。 客户之前说过什么，项目为什么这样决策，哪些方案被否决，谁修改了结果，最终反馈发生在什么时间——如果这些信息散落在邮件、会议、文档和聊天记录里，模型看到的就只是几个孤立碎片。 Alloomi 的 Holistic Context，试图把分散的信息重新组织成一个持续变化的业务世界。 在验证跨会话问答、时间关系和多跳推理的 LoCoMo‑V2 上，取得 97.4%，对照 Mem0‑V3 的 92.5%。 在验证长期信息提取、知识更新和多会话综合推理的 LongMemEval‑S 上，取得 97.6%，对照 Mem0‑V3 的 94.4%；该项公开人类参考为 82.9%。 在千万 Token 历史规模下测试全局理解与信息定位的 BEAM 10M 上，取得 67.0%，对照 Hindsight 的 64.1%。 这些数据背后真正重要的，不是给 AI 增加一个更大的记忆库。 而是让它理解一件事情为什么发生、怎样变化，又是如何走到最终结果的。 当工作现场被完整还原，真正困难的部分才刚刚开始： 这些经历，能不能改变模型下一次的判断？ 一次真实任务会留下 Context、Decision 和 Feedback：模型当时看见了什么、做出了什么选择、最后获得了怎样的反馈。 但并不是所有轨迹都值得学习。 错误判断、偶然成功和低质量反馈如果直接进入训练，模型不但不会进化，反而可能把错误放大。 所以 Alloomi 的 Self‑Evolving Agent 会先进行质量筛选和专家锚定，再通过 Online LoRA、跨任务回放与能力蒸馏，把有效经验逐步写入模型。 在验证从复杂上下文中学习新规则并用于后续执行的 CL‑Bench 上，SEA 取得 47.6%，同基座参考为21.5%。 在验证长周期、多阶段经验积累与迁移的 CL‑Bench‑Life 上，取得 32.1%，公开榜单中的 GPT 5.5（High）为22.2%。 在验证跨任务持续学习、环境适应和抗遗忘的 Con.L Bench 上，取得 32.6%，对照 Claude Sonnet 4.6 的22.3%。 跨模型成绩更适合观察公开榜单位置。真正能够判断框架贡献的，仍然是相同基座和相同评测条件下，21.5% 到47.6%的变化。 因为数据库保存的是“曾经发生过什么”。 训练改变的是“以后遇到类似问题会怎么做”。 但能力进入模型，还不能算完成。 最后仍然要回到现实世界，接受一个很朴素的检查： 代码修好了吗？报告能交吗？复杂任务形成了可以验收的结果吗？ 在覆盖高经济价值职业任务的 GDPval‑AA Normalized 上，Alloomi 取得 74.2%，对照 Claude Opus 5 的67.9%。 在验证真实职业工作流与专业交付的 JobBench 上，取得57.5%，报告列出的公开参考为54.7%。 在验证真实 GitHub 问题修复、连续软件工程经验迁移和抗遗忘能力的 SWE‑Bench‑CL 上，取得80.6%，对照 OpenCode、Kimi K3 与 FAISS 组合方案的73.3%。 从真实工作进入上下文，从任务反馈进入训练，再从模型能力回到专业交付，这才构成一条完整的成长路径： 真实任务轨迹 → 质量筛选 → 专家锚定 → 后训练 → 评测准入 → 版本回滚。 效果变好，新的能力才能进入下一版本；如果更新破坏了旧能力，系统就回滚。 所以，自进化不是让模型随意修改自己。 而是让它在可验证、可审计、可撤销的条件下持续成长。 过去我们看 Agent，喜欢看第一次 Demo 有多惊艳。 但 Demo 看的是峰值，长期工作看的是斜率。 真正值得观察的，不是它今天执行了多少任务，而是这些任务有没有让能力曲线继续向上。 工具的价值，是帮 AI 做完一件事。 自进化的价值，是让这件事没有白做。 这就是 Alloomi 想建立的能力复利： 让 AI 每完成一次交付，就获得一次成长。 AlloomiAI
知识猫AI实验室12,017 次观看 • 17 天前
兄弟们，最近实测了一把 Grok 4.5，只能说：老马这次真有点东西。 我上传了一段手绘动画，让它反向拆解，并设计一套能让 Codex 直接生成同类视频的工具。 它没有随便甩几句提示词，而是把视觉元素、绘制过程、动画节奏、技术架构和实现步骤，完整拆成了一套可执行方案。 然后我把方案直接丢给 Codex 开发。 最终效果非常惊艳，基本复刻了原视频的视觉和动画效果。 这次最大的感受，不是 Grok 又会写代码了，而是它开始像一个真正的产品架构师： Grok 负责看懂需求、拆解问题、设计方案； Codex 负责写代码、验证效果、持续迭代。 两个模型组合起来，一个负责想清楚，一个负责干出来。 这可能才是接下来 AI 编程真正的玩法：你不需要精通所有技术，只要能描述清楚目标，再让不同模型接力完成。 Grok 4.5 官方确认与 Cursor 一起训练，SpaceX 收购 Cursor 的交易也已经公布。之前我并不看好老马这步棋，现在看，Cursor 在真实开发场景上的积累，确实可能补上 Grok 的编程短板。 这次必须给老马点个赞，确实牛逼。 想体验这套手绘视频制作工具，可以加入知识猫 AI 群。 群是付费永久群，猫哥做出的新工具和新作品，一般都会优先给群里的兄弟们体验。群内还会不定期分享 AI 课程、自媒体玩法和可以直接落地的实战项目。 这种有辨识度的视频，拿去做账号，至少比千篇一律的 AI 图文更容易抢到注意力。 想了解的，私信我：知识猫。
知识猫AI实验室11,935 次观看 • 1 个月前
