Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

Google推出了一种在 StableDiffusion 图像生成中保证内容特征一致性的方式。 这个其实是现在图像生成中一个非常重要的问题,故事可视化、游戏开发资产设计、广告等都需要在生成的时候具备角色或者内容的一致性。 从演示来看效果非常好人物角色和其他内容的特征都保持的非常好,他们有一个示例是一个男人的一生十几张不同年龄段的图片都很像能看出来是一个人。 而且这个项目还可以跟 SD 已有的控制方式结合,比如局部重绘和 Controlnet 等。下面是具体的介绍: 实现方法: 身份聚类:这一步骤涉及首先生成一系列图像,然后将这些图像嵌入到一个语义空间中。接着,使用聚类算法将这些图像分组,每个组代表一种可能的角色身份。这个过程旨在识别出一组视觉上一致的图像,从而确定角色的主要视觉特征。 身份提取:在确定了一组具有高内聚性的图像之后,接下来的步骤是通过在这些图像上训练模型来提炼出一个更一致的角色身份。这意味着模型将学习到特定角色的关键视觉特征,以便在未来的生成中更准确地重现这些特征。 收敛性:方法的最后一个步骤是迭代过程,该过程在达到一定的收敛标准时停止。在每次迭代中,模型基于最新的训练数据生成新的图像,并重新进行聚类和身份提取。这个过程重复进行,直到模型能够可靠地生成具有一致视觉身份的角色为止。 效果验证: 定性和定量比较:在这一部分,作者将他们的方法与其他个性化文本到图像生成技术进行比较。这包括通过视觉和数值指标来评估生成图像的一致性和质量。 用户研究:作者还进行了一项用户研究,以评估他们的方法在实际使用中的效果。这包括让用户评价生成图像的一致性和吸引力。 消融研究:这部分是对方法中不同组件的效果进行评估。通过修改或移除方法的某些部分,作者能够理解每个组成部分对最终结果的贡献。 论文链接:

125,894 görüntüleme • 3 yıl önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

抖音起号做出爆款诀窍:首帧生成 I2V。 如果你的目标是做出爆款AIGC短视频起号,而不是出长期稳定的动画剧集,那么我更推荐使用视频生成模型的首帧生成模式,该模式对于seedance系列与minimax-h3都是适用的。 一开始我在抖音上调研时,发现了一个爆款的 AIGC 博主。他的视频风格非常华丽,角色动作干脆利落,特效炫酷。而且他非常慷慨,把提示词都分享了出来(是真的自用提示词,甚至连他的本地缓存图片路径都露出来了) 结果我看他的提示词,虽然动作很华丽,但编排其实特别简单,与我们想象中长篇大论的那种“导演视角”做出来的效果完全不一样。 他分享的真正诀窍在于:使用视频模型首帧生成。只要规定好首帧的场景、人物等约束,并通过首帧画面定住风格,后续画面就会非常统一,哪怕只用简单的提示词,都能做出非常震撼的效果。 最后从技术层面解释一下,为什么首帧生成比上传参考图,设定图更具有优势。 Seedance 官方有写说明文档:若要严格保证开场画面和指定图片一致,优先走真正的图生视频首帧。 官方论文提到,I2V 主流做法是把给定图像当作时间轴上的第 0 帧: 图像 latent 与噪声拼接、首帧特征进时空注意力、甚至用图像噪声先验做残差预测。 后续帧是在「已经钉死的像素布局」上长出来的运动。 参考图常见路径更偏语义嵌入或特征引导,能够保证「像不像这个人 / 这种风」,不保证第 1 帧构图、光影、材质、镜头焦段和你上传的那张图像素级对齐。 不过首帧参考图的生成也是有很多门道,这点是被很多人忽略,也是那些爆款视频不说的秘诀(是的,那位抖音博主分享了所有提示词,唯独没有分享首帧怎么生成的,属于是真正的技术壁垒) 我自己深入扒了两天,把里面的门道也探索了个七七八八,下期给大家分享我自己实操总结的首帧生成技巧。 最后依然是展示视频效果,搭配bgm食用更佳

雪踏乌云

40,659 görüntüleme • 2 ay önce

基于 神奇小喷菇AIGC 的思路和解析,实验基本成功。 主要思路包括以下几点: 1. 基础素材的准备,也就是首尾帧。就像最终呈现的结果,首帧是一个脏乱差的图片,尾帧是一个最终的装修结果图。基于这个思路,就比较好办了。 如果你有一张比较不错的图(比如你直接把你家的客厅、卧室拍下来,或者之前去网上找精致的装修图)。让AI帮你完成做旧。 提示词如下: “基于底图,生成一张年久失修,脏乱的室内场景,有很多老旧的家具与肮脏的使用痕迹” 根据需求决定是否要移除家具,如果需要,增加这个提示词: “移除家具,保留脏乱的毛坯房的效果,但是要注意保持结构的一致性” 这样我们就能获得一张脏乱差的原始底图了。 至于尾帧,我们可以直接用比较好的成果图,如果你觉得你现有的这种照片不够好看,可以让AI帮你进行润色和修改。 提示词参考: “保持原图视角和墙体结构,生成室内{客厅} 真实渲染图。进行合理的室内家具布置与材质搭配,为室内天花板、墙面、地板分别赋予材质,整体呈现 {现代轻奢风格} 。房间内外均进行真实感渲染。包括 {沙发, 地毯 ,茶几} ,材质质感逼真,光线自然。整体画面呈现出专业建筑摄影的光线效果,具备4K超高清分辨率的图像细节。” 拿到首尾帧之后就可以进行视频生成了,在测试了即梦、可灵、Veo之后。目前最稳定的就是可灵2.6(O1在这个场景下表现一般,不推荐) 视频提示词如下: 房间装修延时摄影视频。工人们在一间简陋的毛坯房内工作,水泥墙面,。快进画面展示:人们清理杂物和垃圾袋、移除所有旧家具,{将房屋还原至毛坯房,擦洗墙壁、将灰色水泥墙刷成现代轻奢风格、先完成主体框架装修,再放入家具,再逐渐将一个房屋搭建成最终的现代轻奢风格的客厅}。多名工人在加速画面中快速移动,工具和材料不断出现又消失,窗外自然光线随时间变化。施工灰尘逐渐落定,从冷蓝色调转变为温暖的环境光。纪实风格,8-16倍速延时,4K画质。 中间的步骤可以再详细点,我这个比较泛用性。这个版本还是可以再次进行迭代的

MarioTan

91,977 görüntüleme • 9 ay önce

刚去小米店摸了下它的折叠机有感,大家有没有注意到在安卓这边折叠机都叫“Fold”,而苹果选了“Duo”。 其实从字面意思来看,Fold就是折叠,强调这个动作,很直观,但苹果使用了Duo这个从拉丁语来的词,它其实是有一组,一对的意思,是个组合。重点从“能折”转到“两种体验(一个手机两个形态,手机+iPad)是一对、能一起用合二为一,强调的是体验。 现在在回过头来看苹果的那个折叠动画,就解释了这个Duo,它从手机形态打开到iPad形态,或者反过来闭合起来,动画是连续的,强调只是变了形态,从人的大脑认知来看也是一样,你看到的东西没有消失后又出现一次。并没有安卓那样,从一个形态关闭后,又重新打开了另一个形态,中间过程不连续,是断开的。所有安卓折叠机都是这样,你在外屏打开一个app,在展开的时候,内屏是从黑到重新打开app的一个过程。所以并不能简单理解苹果的和其它安卓在这方面,就是多做了个过场动画那么表面。 另外苹果在这个时候推出Duo,一个呢,当然也是供应链技术发展到了苹果认为相对成熟的时候,二呢,也是它的AI布局,目前Apple Intelligence在今年也会迎来大更新,苹果相信在手机+iPad这个二合一的组合形态下,人们可以更好的体验AI的各种操作。简单的任务可以在手机形态下进行,复杂点的比如Codex和Claude这样的编程任务,也方便在iPad这个形态下进行。 如果说安卓或者是更早的微软Surface Duo开启了折叠这个形态,那么Apple可以说是重新定义了它。后续发展会更有意思,感谢自己处在这个科技飞速发展的时代,可以亲自见证这些迭代的过程。 当然我个人现在并不会买第一代的Duo,毕竟它相机过于拉胯了,这个是我个人非常看重的一个工具。 大家Enjoy!😊

小鹏Digital

29,009 görüntüleme • 1 ay önce

玩币的过年坐小孩那桌! 截止目前,上证连着第18个阳,反观加密近30天的恐惧指数有28天低于40。 有这样一种感觉:你打开一个新的应用,点了几下,突然发现——“嘿,这比我想象中顺手多了!” 真正让人愿意重复进入一个产品的,并不是一堆炫酷的功能,而是细节上的 “无感优化”、行为路径上的 连贯性提升。这些项目正在悄悄做的,正是这种让体验变得自然的改进。 Spaace 🟠 — NFT 不只是市场,而是用户体验的“积木场” Spaace 走得不是那种一次性爆发交易量的路线,而是在逐步把 NFT 交易转变为一种可持续参与的行为链条。在它的生态里,每一次挂单、浏览、任务参与不仅能获得奖励,还会形成一个更连贯的用户轨迹。你不再是“来一次、走一次”的游客,而是一个在生态里慢慢“成长”的参与者——这让 NFT 使用不再像一笔单一操作,而像一个可以反复进入、反复体验的互动空间。 Veera — 让链上入口变成你愿意点开的“探索入口” Veera 的方向并不只是做一个钱包,它试图把 Web3 的入口从命令式的“按钮堆栈”变成一种更像信息流的自然浏览感。你打开它,不是看到一墙按钮,而是像打开一个可以滑动、查看和探索的界面。这种把“入口”变成“探索空间”的思路,让用户从“被迫了解复杂操作”转向“顺手发现有趣内容”的习惯性行为,这对提高留存和用户连续参与是非常重要的一步。 MagicBlock ✨⬜ — 把实时体验和可扩展性带到链上应用 MagicBlock 是一个基于 Solana 的实时执行引擎,目标是让链上应用具备Web2 级的交互性能,并且保持去中心化的安全性。它使用 Ephemeral Rollups 技术,在不拆分状态的前提下提供极低延迟、几乎零手续费的执行环境,这适合实时游戏、DeFi 以及需要高频交互的场景。其设计让开发者不再为性能牺牲链上特性,同时也极大提升了用户“无延迟感”的体验可能性。 除了技术本身,MagicBlock 还在孵化器层面发力,吸引开发者来构建更具创意和实时性质的应用,这让生态不仅是底层引擎,更成为创新场景的催化器。 Altura — 资产不再只是标签,而是可调用的“行为构件” Alturax 的核心变化在于,它让链上资产具备更强的生态参与能力:不是只有买和卖的逻辑,而是一种资产在不同协议与玩法之间调用的能力。资产不再是静止的符号,而是可以参与多种逻辑、被策略调用的构建块。这种思路让资产在链上进一步融入生态协同,而不是只能在市场上看价格。 Konnex — 把现实世界的任务纳入链上协作图谱 Konnex 的有趣点在于:它不单是一个链上协议,而是试图把现实世界的不确定性直接带进链上。在它的构想中,机器人、自动化系统和协议之间可以协作,通过链上可验证的数据完成现实任务的结算 —— 使得现实世界的执行与去中心化结算建立起一种可验证的信任。 这是 Web3 往现实落地迈出的一步,不再把链上交互限定在数字资产,而是融入实体世界的执行逻辑之中。

搞子(明日香版)🕊️|🐬TermMax

102,534 görüntüleme • 9 ay önce

这张海报,连文字和排版都是 AI 一起生成的! Ming-Image-0.1-Design 这次的出图效果挺惊艳,标题、主视觉和配色已经搭成了一张完整海报,拿来做设计初稿很合适。 它是 inclusionAI 的 6B 文生图模型,官方重点面向 UI、信息图、海报这类带文字和版式的设计。我这次选了一张科技风海报来试,正好能一起看文字、构图和材质。 我通过 OpenRouter API 生成了下面这张 2048×2048 的图,几个地方可以直接看。 1、标题有主次。指定的 AI DESIGN FLOW 放在上方,字号够大,下面接一行小字,第一眼就知道该看哪里。 2、三张卡片有关系。输入、界面、图层用箭头串在一起,能顺着画面看懂这个流程。 3、整体风格比较统一。深色背景配蓝紫色发光边框,卡片的玻璃质感也做出来了,做科技类内容的封面很合适。 这次提示词里,我提前写了三张卡片分别放什么、标题用哪些字,也交代了配色和留白。想让它出一张能用的设计稿,这些具体要求很值得写进去。 不过它也多加了没要求的底部英文,正式用之前还得检查文字。这次只试了英文标题,中文长段落的效果还没测。视频里的动效是后期做的。 我的建议是,拿一张你正好要做的封面来试,把用途、标题和主体位置写清楚,让它先出初稿,再改具体细节,别只给一句“做得高级一点”。

小墨同学

29,215 görüntüleme • 1 ay önce