Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

阿里期货开源，再发新项目：虚拟服装试穿。只需要一张人物照片和服装照片就可以让那个人穿上这个衣服，对服装行业是个利好。效果确实很好，但是全是期货开源很容易被当成诈骗啊。 Reddit 有个宣传这个项目的帖子，下面全是在喷，用不到就是不存在。还可以跟前几天发的Animate-Anyone项目结合生成跳舞视频。简介： Outfit Anyone通过利用双流条件扩散模型来解决这些限制，使其能够熟练处理服装变形，从而获得更逼真的结果。它通过可扩展性（调节姿势和身体形状等因素）和广泛适用性（从动漫到野外图像）来区别于其他方法。Outfit Anyone在各种场景中的表现突显了它在实际部署中的实用性和准备就绪性。实现方法：核心是条件扩散模型，它处理模特、服装和相关文本提示的图像，以服装图像作为控制因素。在内部，网络分为两个流，独立处理模特和服装数据。这些流在融合网络中汇聚，便于将服装细节嵌入模特的特征表示中。在此基础上，我们建立了Outfit Anyone，包括两个关键元素：用于初始试穿图像的零样本试穿网络，以及用于增强输出图像中服装和皮肤纹理的事后优化器。项目地址：

歸藏(guizang.ai)

157,959 subscribers

150,912 Aufrufe • vor 2 Jahren •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

终于来了！ Midjourney角色一致性功能发布. 下面视频是网站的使用方法和介绍：这个功能和之前的风格参照很相似，不同之处在于它不是匹配一个特定风格，而是让角色与给定的角色参照图像相符合。如何使用：在你输入的指令后面加上 --cref URL，URL是你选择的角色图像的链接。你还可以用 --cw 来调整参照的“强度”，范围从100到0。默认的强度是100 (--cw 100)，这时会参考人物的脸部、发型和衣着。如果设置为强度0 (--cw 0)，那么系统只会关注脸部（这对于更换服饰或发型很有帮助）。适用范围：这个功能最适合用于Midjourney创作的角色图像。不太适合用于真人照片（可能会产生一些扭曲，就像普通图像提示那样）。 Cref的工作方式类似于普通图像提示，但它更专注于角色的特征。但请注意，这项技术的精确度是有限的，它无法复制极其细微的特征，比如特定的酒窝、雀斑或T恤上的标志。 Cref同样适用于Niji和普通MJ模型，并且可以与--sref一起使用。高级功能：你可以使用多个URL，通过 --cref URL1 URL2 的方式来结合多个图像中的角色信息（这和使用多重图像或风格提示类似）。在web alpha版本中如何操作：只需将图片拖动或粘贴到想象工具栏，你会看到三个图标。选择这些图标之一，可以设置图片用作图像提示、风格参照或角色参照。如果你想让一张图像同时用于多个类别，只需按住Shift键再选择。请记住，由于MJ V6目前还处于alpha测试阶段，这个和其他功能可能会有所变化。但不久后，我们会推出官方的V6 beta版。

终于来了！ Midjourney角色一致性功能发布. 下面视频是网站的使用方法和介绍：这个功能和之前的风格参照很相似，不同之处在于它不是匹配一个特定风格，而是让角色与给定的角色参照图像相符合。如何使用：在你输入的指令后面加上 --cref URL，URL是你选择的角色图像的链接。你还可以用 --cw 来调整参照的“强度”，范围从100到0。默认的强度是100 (--cw 100)，这时会参考人物的脸部、发型和衣着。如果设置为强度0 (--cw 0)，那么系统只会关注脸部（这对于更换服饰或发型很有帮助）。适用范围：这个功能最适合用于Midjourney创作的角色图像。不太适合用于真人照片（可能会产生一些扭曲，就像普通图像提示那样）。 Cref的工作方式类似于普通图像提示，但它更专注于角色的特征。但请注意，这项技术的精确度是有限的，它无法复制极其细微的特征，比如特定的酒窝、雀斑或T恤上的标志。 Cref同样适用于Niji和普通MJ模型，并且可以与--sref一起使用。高级功能：你可以使用多个URL，通过 --cref URL1 URL2 的方式来结合多个图像中的角色信息（这和使用多重图像或风格提示类似）。在web alpha版本中如何操作：只需将图片拖动或粘贴到想象工具栏，你会看到三个图标。选择这些图标之一，可以设置图片用作图像提示、风格参照或角色参照。如果你想让一张图像同时用于多个类别，只需按住Shift键再选择。请记住，由于MJ V6目前还处于alpha测试阶段，这个和其他功能可能会有所变化。但不久后，我们会推出官方的V6 beta版。

歸藏(guizang.ai)

75,336 Aufrufe • vor 2 Jahren

大佬huangserva 开源的这个项目很有可玩性。只花了不到2个小时就重新搭建了一个3D汉服的网站。方法简单介绍一下： 1/ 将大佬的开源项目地址扔给CodeX或者Agent，告诉它：请先阅读一下这个Github项目，然后模仿这个项目，帮我做一个3D汉服展示的网站，功能要求与原项目一致，语言改成中文，并重新调整复合汉服审美的UI。 2/ 在混元3D网站上将图片生成3D模型GLB文件并下载。地址： 3/ 将下载的GLB文件上传到你已经开发好的网站就可以了。效果可能没有原项目好，但做项目展示够用了。

大佬huangserva 开源的这个项目很有可玩性。只花了不到2个小时就重新搭建了一个3D汉服的网站。方法简单介绍一下： 1/ 将大佬的开源项目地址扔给CodeX或者Agent，告诉它：请先阅读一下这个Github项目，然后模仿这个项目，帮我做一个3D汉服展示的网站，功能要求与原项目一致，语言改成中文，并重新调整复合汉服审美的UI。 2/ 在混元3D网站上将图片生成3D模型GLB文件并下载。地址： 3/ 将下载的GLB文件上传到你已经开发好的网站就可以了。效果可能没有原项目好，但做项目展示够用了。

李岳

52,465 Aufrufe • vor 3 Monaten

LivePortrait：只需一张静态肖像图像就能生成动态视频能够精确控制眼睛的注视方向和嘴唇的开合动作。还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。详细介绍：项目地址：

LivePortrait：只需一张静态肖像图像就能生成动态视频能够精确控制眼睛的注视方向和嘴唇的开合动作。还可以处理多个人物肖像的无缝拼接，将不同的人物特征合并到一个视频中，确保在多个动态人物之间过渡平滑，不会产生突兀的边界效果。对比实验显示，LivePortrait生成的动画质量优于现有的非扩散模型和扩散模型方法。在RTX 4090 GPU上，LivePortrait的生成速度达到了每帧12.8毫秒，显著高于现有的扩散模型方法。详细介绍：项目地址：

小互

59,918 Aufrufe • vor 2 Jahren

兄弟们，这个咋样？？类似Heygen的数字人平台，不同的是它提供3D动画人物 Rendora AI：你只需输入文字就能在几秒钟内生成逼真的3D AI数字人视频提供多种定制选项，用户可以根据自己的需求调整头像的外观，包括种族、年龄、服装、妆容和发型等。还可以通过一张图片来个性化生成头像。提供超过400个3D场景和环境，用户可以在这些场景中进行专业级的拍摄。场景设置专业，配有专家级的灯光和镜头角度，适合用于市场营销、教育和培训等领域。

兄弟们，这个咋样？？类似Heygen的数字人平台，不同的是它提供3D动画人物 Rendora AI：你只需输入文字就能在几秒钟内生成逼真的3D AI数字人视频提供多种定制选项，用户可以根据自己的需求调整头像的外观，包括种族、年龄、服装、妆容和发型等。还可以通过一张图片来个性化生成头像。提供超过400个3D场景和环境，用户可以在这些场景中进行专业级的拍摄。场景设置专业，配有专家级的灯光和镜头角度，适合用于市场营销、教育和培训等领域。

小互

31,162 Aufrufe • vor 2 Jahren

“和服”的字面意义为“大和民族的服装”，据说是唐朝是的吴服（江浙）传到日本的。体型好的女人穿着它到哪个国家，大家都觉得是美，除了一个特殊的国家，哪里相当一部分人憎恨和服，这些人有个特殊的名字：小粉红。和服最凸出的特征是其交领右衽、方形剪裁、腋下开衩、材质厚重、穿著繁琐，带有浓厚又独立的大和民族风格。其女性礼服大多使用绘羽模样的装饰方式，可如同画一样水平展开，其纹样和色彩的设计均绚烂豪华，形成不对称之美感。这种纹样和世界其它国家的纹样大不相同，并非单纯的在大面积的衣料上使用同一种重复图案，也不是在衣物的边缘线上贴入卷曲的植物型花纹，而是将好几种纹样几何化、抽象化的纹样层层叠套，塑造出平面中的立体感。于此相对，使用重复图案装饰的布料称为小纹，是常见的女性便服材料；亦有男女通用的色无地（即纯色）和服，但男性往往使用绀色、茶色、灰色等素朴的颜色，而女性会使用相对较明亮的色系。

“和服”的字面意义为“大和民族的服装”，据说是唐朝是的吴服（江浙）传到日本的。体型好的女人穿着它到哪个国家，大家都觉得是美，除了一个特殊的国家，哪里相当一部分人憎恨和服，这些人有个特殊的名字：小粉红。和服最凸出的特征是其交领右衽、方形剪裁、腋下开衩、材质厚重、穿著繁琐，带有浓厚又独立的大和民族风格。其女性礼服大多使用绘羽模样的装饰方式，可如同画一样水平展开，其纹样和色彩的设计均绚烂豪华，形成不对称之美感。这种纹样和世界其它国家的纹样大不相同，并非单纯的在大面积的衣料上使用同一种重复图案，也不是在衣物的边缘线上贴入卷曲的植物型花纹，而是将好几种纹样几何化、抽象化的纹样层层叠套，塑造出平面中的立体感。于此相对，使用重复图案装饰的布料称为小纹，是常见的女性便服材料；亦有男女通用的色无地（即纯色）和服，但男性往往使用绀色、茶色、灰色等素朴的颜色，而女性会使用相对较明亮的色系。

Petrichor

29,722 Aufrufe • vor 3 Jahren

Google 推出了一项新的”虚拟试衣“功能依托 Nano Banana 模型你只需上传一张自拍，就能生成一个非常逼真的“数字版自己”，然后在 Google Shopping 上虚拟试穿衣服。你不需要提供全身照片系统会用 AI 自动“补全”你的全身样貌可即时查看不同服装的穿着效果生成的图像像是在摄影棚拍的照片一样真实、光线自然

Google 推出了一项新的”虚拟试衣“功能依托 Nano Banana 模型你只需上传一张自拍，就能生成一个非常逼真的“数字版自己”，然后在 Google Shopping 上虚拟试穿衣服。你不需要提供全身照片系统会用 AI 自动“补全”你的全身样貌可即时查看不同服装的穿着效果生成的图像像是在摄影棚拍的照片一样真实、光线自然

小互

55,259 Aufrufe • vor 8 Monaten

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

karminski-牙医

14,175 Aufrufe • vor 8 Monaten

三分钟能学会用图片生成这样的AI视频吗？二十年后娃可能会问：“当年你们站在AI风口浪尖上，怎么就没抓住机会挣到钱呢？” 就像你不理解父辈明明在改革开放的时候到处是机会，怎么就没变暴发户。要不，先动手试试看？（博主“北方Befun”用到的工具： Lovart：用于生成和处理所有静态图片。 Nano Banana Pro ：用于生成服装、人物、细节和分镜图。可灵3.0 (Kling 3.0) 欧米娜大模型：用于最后将静态图片转化为动态视频。这也是在Seedance禁止真人脸的时候一个很好的替代品。）

三分钟能学会用图片生成这样的AI视频吗？二十年后娃可能会问：“当年你们站在AI风口浪尖上，怎么就没抓住机会挣到钱呢？” 就像你不理解父辈明明在改革开放的时候到处是机会，怎么就没变暴发户。要不，先动手试试看？（博主“北方Befun”用到的工具： Lovart：用于生成和处理所有静态图片。 Nano Banana Pro ：用于生成服装、人物、细节和分镜图。可灵3.0 (Kling 3.0) 欧米娜大模型：用于最后将静态图片转化为动态视频。这也是在Seedance禁止真人脸的时候一个很好的替代品。）

Ken W

25,009 Aufrufe • vor 5 Monaten

把网站录下来给AI看, AI能照着做出来吗? 刚刚看到了个炫酷的灯具网站, 它有个功能是点击按钮直接能看到灯点亮的效果, 甚至网站的配色也会暗淡下来, 特别有氛围. 我突然想到, 这样的网站, 如果要让AI来做, 该怎么办? 把源代码拷给它? 用一个巨复杂的 prompt 来完成? 有没有可能, 我录个视频, 展示一下这个"关灯"的效果, 然后让AI来按照视频来写网站? 于是, 这个重任就交给了今天测试的模型, 百度刚出的文心-5.0-preview, 全模态大模型, 这个模型同时支持文本, 图片, 音频, 视频作为输入, 然后可以生成文本和图片, 所以我们这个测试可以最大化的利用它的能力. 我先录制了网站的效果, 然后写了prompt作为补充, 告诉它这个效果是怎样的, 以及准备的图片材料在哪里. 值得一提的是, 网站所展示的图片也是我用文心-5.0-preview生成的. 大家可以看视频中我生成的效果. 直接说测试结论: 目前每个模态都是可用的, 而且模态之间关联性非常好, 我测试了视频+文本, 图片+文本, 图片+语音, 都可以完成任务. 当然测试也发现了一些问题, 比如 token 输出速度不是特别快, 以及偶尔会有超时问题(已反馈给百度的同学). 我的使用建议是, 多利用它的多模态能力, 来完成之前不敢想象的任务, 它真的提升了使用场景的天花板. #文心大模型 #文心5 #百度 #文心一言 #ai教程

把网站录下来给AI看, AI能照着做出来吗? 刚刚看到了个炫酷的灯具网站, 它有个功能是点击按钮直接能看到灯点亮的效果, 甚至网站的配色也会暗淡下来, 特别有氛围. 我突然想到, 这样的网站, 如果要让AI来做, 该怎么办? 把源代码拷给它? 用一个巨复杂的 prompt 来完成? 有没有可能, 我录个视频, 展示一下这个"关灯"的效果, 然后让AI来按照视频来写网站? 于是, 这个重任就交给了今天测试的模型, 百度刚出的文心-5.0-preview, 全模态大模型, 这个模型同时支持文本, 图片, 音频, 视频作为输入, 然后可以生成文本和图片, 所以我们这个测试可以最大化的利用它的能力. 我先录制了网站的效果, 然后写了prompt作为补充, 告诉它这个效果是怎样的, 以及准备的图片材料在哪里. 值得一提的是, 网站所展示的图片也是我用文心-5.0-preview生成的. 大家可以看视频中我生成的效果. 直接说测试结论: 目前每个模态都是可用的, 而且模态之间关联性非常好, 我测试了视频+文本, 图片+文本, 图片+语音, 都可以完成任务. 当然测试也发现了一些问题, 比如 token 输出速度不是特别快, 以及偶尔会有超时问题(已反馈给百度的同学). 我的使用建议是, 多利用它的多模态能力, 来完成之前不敢想象的任务, 它真的提升了使用场景的天花板. #文心大模型 #文心5 #百度 #文心一言 #ai教程

karminski-牙医

29,929 Aufrufe • vor 9 Monaten

看到大家玩的蛮开心，之前的功能我决定全部免费开放，不用再问我要License了。同时，DrawingPics发布正式版了，License购买作为了可选项，这次更新带来的两个新模型，作为License激活用户的特权。这次更新的效果是，不需要什么机器代价的情况下，你们可以画的更准，和图像质量更高。直观展示请看视频。关于这两个模型具体细节： 1 精准画图模型：类似controlnet，这个模型下你画的线条它都会去感知到。另外它只需要额外多下载300M。运行时内存也有优化。 2更高质量的模型：这个是SDXL的社区改良版，比SDXL体积更小速度更快，适合我们这种场景跑。SDXL主要特色是具有照片真实感，景深比较强。它也同样拥有这个优点。但低分辨率下跑不出来效果。缺点是它要多下载4-6GB，而且占用内存比较高。 3一开始的画图模型，没有动它：我发现了它的优点，就是图生图的理解能力蛮强的，只要写简单的prompt就能懂，虽然没有SDXL那么“高质量”真实感，但是似乎更“聪明”“灵活”，而且快。这就是目前三个主要的画图模式，都在最新的 DrawingPics1.0.1 版本中发了，只需要下载安装，就可以在你自己的电脑上无限出图了！

看到大家玩的蛮开心，之前的功能我决定全部免费开放，不用再问我要License了。同时，DrawingPics发布正式版了，License购买作为了可选项，这次更新带来的两个新模型，作为License激活用户的特权。这次更新的效果是，不需要什么机器代价的情况下，你们可以画的更准，和图像质量更高。直观展示请看视频。关于这两个模型具体细节： 1 精准画图模型：类似controlnet，这个模型下你画的线条它都会去感知到。另外它只需要额外多下载300M。运行时内存也有优化。 2更高质量的模型：这个是SDXL的社区改良版，比SDXL体积更小速度更快，适合我们这种场景跑。SDXL主要特色是具有照片真实感，景深比较强。它也同样拥有这个优点。但低分辨率下跑不出来效果。缺点是它要多下载4-6GB，而且占用内存比较高。 3一开始的画图模型，没有动它：我发现了它的优点，就是图生图的理解能力蛮强的，只要写简单的prompt就能懂，虽然没有SDXL那么“高质量”真实感，但是似乎更“聪明”“灵活”，而且快。这就是目前三个主要的画图模式，都在最新的 DrawingPics1.0.1 版本中发了，只需要下载安装，就可以在你自己的电脑上无限出图了！

Xiao Tan

116,803 Aufrufe • vor 2 Jahren

兄弟们这个有点强啊而且是完全开源的感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

兄弟们这个有点强啊而且是完全开源的感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

小互

44,263 Aufrufe • vor 1 Jahr

小扎吐槽苹果和 Google，以及谈为什么开源 AI **Mark Zuckerberg**: 我认为移动生态系统中普遍存在的一个问题是有两个把持入口的公司，Apple 和 Google，它们可以告诉你可以构建什么。在我们的历史中有很多次，比如有经济层面的情况，就是我们构建了些东西，然后它们就会拿走我们大部分的收入，但还有一种是质量层面，这实际上让我更加不满，也就是有很多次我们推出或希望推出某些功能，然后Apple就会说，不，你不能推出这功能。这真的很糟糕。问题是，这样的世界是否会在AI领域复现，就像你会有一小部分拥有封闭模型的公司，它们控制API，因此将能够告诉你可以构建什么。我可以说，对我们来说，自己构建一个模型以避免处于那种位置是值得的。我不希望那些其他公司告诉我们可以构建什么，而且我认为从开源的角度来看，很多开发人员也不希望那些公司告诉他们可以构建什么。这就是我坚定支持开源的原因之一，我认为未来AI的集中化可能像其广泛传播一样具有潜在危险。我发现很多人都在思考，如果我们能实现这种技术，那么让它广泛传播是否不利。我认为另一种可能也很糟糕的情况是，如果一个机构掌握了一种强大的AI远超其他所有人的，这同样是非常糟糕的。在我看来，一个理想的世界应该是这样的：AI技术被广泛而均衡地应用，随着时间推移逐步增强其健康性。在这样的世界里，各种系统能够相互制衡，这种平衡的状态比一个高度集中化的世界要健康得多。虽然风险无处不在，但我觉得有一个风险我想人们我并没有听到太多人提及。 **Dwarkesh Patel**:举例来说，一个价值100亿美元的模型，如果经过评估是完全安全的，你们会选择开源吗？ **Mark Zuckerberg**:我的答案是，只要这个模型对我们有所帮助，那我们就会开源。 **Dwarkesh Patel**: 那如果这个模型是用100亿美元的研发经费研发出来的，然后现在要开源呢？ **Mark Zuckerberg**: 我们一直以来都有开源软件的传统，但是我们并不会开源我们的产品。比如说，我们并不会将Instagram的代码开源，但我们会开源许多底层的基础设施。我们历史上最大的一个项目可能就是开放计算项目。在这个项目中，我们将我们所有的服务器的设计网络交换机和数据中心的设计开源了，这对我们来说非常有帮助。因为很多人可以设计服务器，但现在，大家普遍都采用了我们的设计，这就意味着整个供应链都围绕我们的设计展开，规模变大，对所有人来说都变得更便宜，为我们节省了数十亿美元。这真是太棒了，对吧？因此，我认为开源有多种方式可以对我们有所帮助。一种就是，如果有人能够找出更便宜的运行模型的方法，我们将花费数十亿甚至上千亿美元，在所有这些模型上，所以如果我们能做的更有效率，那我们就可以节省数十亿甚至上百亿美元，这可能本身就非常有价值。 **Dwarkesh Patel**: 关于开源，我很想知道你是否认为像PyTorch、React、Open Compute这样的开源项目，对世界的影响是否已经超过了Meta在社交媒体方面的作用。 **Mark Zuckerberg**: 因为我曾经和使用这些服务的人交谈过，他们觉得这是有可能的，因为互联网的很大一部分都在运行这些项目。这是一个有趣的问题，我认为几乎有一半的世界人口都在使用我们的产品，这是一个真实的点，所以我觉得这很难超越。但不管怎样，我还是认为开源是一种新的、非常強大的建设方式。来源：

小扎吐槽苹果和 Google，以及谈为什么开源 AI Mark Zuckerberg: 我认为移动生态系统中普遍存在的一个问题是有两个把持入口的公司，Apple 和 Google，它们可以告诉你可以构建什么。在我们的历史中有很多次，比如有经济层面的情况，就是我们构建了些东西，然后它们就会拿走我们大部分的收入，但还有一种是质量层面，这实际上让我更加不满，也就是有很多次我们推出或希望推出某些功能，然后Apple就会说，不，你不能推出这功能。这真的很糟糕。问题是，这样的世界是否会在AI领域复现，就像你会有一小部分拥有封闭模型的公司，它们控制API，因此将能够告诉你可以构建什么。我可以说，对我们来说，自己构建一个模型以避免处于那种位置是值得的。我不希望那些其他公司告诉我们可以构建什么，而且我认为从开源的角度来看，很多开发人员也不希望那些公司告诉他们可以构建什么。这就是我坚定支持开源的原因之一，我认为未来AI的集中化可能像其广泛传播一样具有潜在危险。我发现很多人都在思考，如果我们能实现这种技术，那么让它广泛传播是否不利。我认为另一种可能也很糟糕的情况是，如果一个机构掌握了一种强大的AI远超其他所有人的，这同样是非常糟糕的。在我看来，一个理想的世界应该是这样的：AI技术被广泛而均衡地应用，随着时间推移逐步增强其健康性。在这样的世界里，各种系统能够相互制衡，这种平衡的状态比一个高度集中化的世界要健康得多。虽然风险无处不在，但我觉得有一个风险我想人们我并没有听到太多人提及。 Dwarkesh Patel:举例来说，一个价值100亿美元的模型，如果经过评估是完全安全的，你们会选择开源吗？ Mark Zuckerberg:我的答案是，只要这个模型对我们有所帮助，那我们就会开源。 Dwarkesh Patel: 那如果这个模型是用100亿美元的研发经费研发出来的，然后现在要开源呢？ Mark Zuckerberg: 我们一直以来都有开源软件的传统，但是我们并不会开源我们的产品。比如说，我们并不会将Instagram的代码开源，但我们会开源许多底层的基础设施。我们历史上最大的一个项目可能就是开放计算项目。在这个项目中，我们将我们所有的服务器的设计网络交换机和数据中心的设计开源了，这对我们来说非常有帮助。因为很多人可以设计服务器，但现在，大家普遍都采用了我们的设计，这就意味着整个供应链都围绕我们的设计展开，规模变大，对所有人来说都变得更便宜，为我们节省了数十亿美元。这真是太棒了，对吧？因此，我认为开源有多种方式可以对我们有所帮助。一种就是，如果有人能够找出更便宜的运行模型的方法，我们将花费数十亿甚至上千亿美元，在所有这些模型上，所以如果我们能做的更有效率，那我们就可以节省数十亿甚至上百亿美元，这可能本身就非常有价值。 Dwarkesh Patel: 关于开源，我很想知道你是否认为像PyTorch、React、Open Compute这样的开源项目，对世界的影响是否已经超过了Meta在社交媒体方面的作用。 Mark Zuckerberg: 因为我曾经和使用这些服务的人交谈过，他们觉得这是有可能的，因为互联网的很大一部分都在运行这些项目。这是一个有趣的问题，我认为几乎有一半的世界人口都在使用我们的产品，这是一个真实的点，所以我觉得这很难超越。但不管怎样，我还是认为开源是一种新的、非常強大的建设方式。来源：

宝玉

74,721 Aufrufe • vor 2 Jahren

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

52,081 Aufrufe • vor 2 Jahren

这次我用 Qwen3.8-Max 完成了三个代码项目，其中最直观的是一个类似《我的世界》的网页游戏。游戏已经具备完整的可玩性：角色可以移动、跳跃和探索地图，也可以挖掘、放置方块、切换物品，并使用背包与合成系统。地形能够自动生成，基础的生存机制也已经实现。另外两个项目分别是可交互的 3D AI 芯片展示，以及读取19个真实来源的多模态供应商评审系统。 Qwen3.8-Max 还是个开源模型，国产模型真是越来越强了。

这次我用 Qwen3.8-Max 完成了三个代码项目，其中最直观的是一个类似《我的世界》的网页游戏。游戏已经具备完整的可玩性：角色可以移动、跳跃和探索地图，也可以挖掘、放置方块、切换物品，并使用背包与合成系统。地形能够自动生成，基础的生存机制也已经实现。另外两个项目分别是可交互的 3D AI 芯片展示，以及读取19个真实来源的多模态供应商评审系统。 Qwen3.8-Max 还是个开源模型，国产模型真是越来越强了。

雪踏乌云

68,246 Aufrufe • vor 28 Tagen

最近北大开源的一个项目，我觉得很值得关注。 AI Agent 现在最缺的，可能不是模型，而是一套像 npm 一样可复用的 skill 基础设施。 MagicSkills 做的就是这件事。它不是再去造一个新的 Agent framework，而是想把那些散落在各处的 SKILL.md，变成可安装、可组合、可同步、可调用的共享能力层。 MagicSkills 的思路更像是，先把 skill 从零散文档里抽出来，做成一个本地优先的共享 skill pool，然后再按不同 Agent、不同框架去组合和分发。这样一来，skill 就不再只是 prompt 附件，而是开始变成真正可复用的能力基础设施。说白了，它想推动的一件事就是：让 Agent 的技能，从“写一份文档自己用”，变成“写一次，到处复用”。我觉得这个方向很值得看。因为当 skill 开始像包管理一样被组织起来，多 Agent 工作流才会真正开始像工程系统，而不是一堆 prompt 和脚本的临时拼装。如果你在关注 AI Agent、Multi-Agent、技能复用，或者正在想怎么管理越来越多的 SKILL.md，这个项目值得研究一下。👇

最近北大开源的一个项目，我觉得很值得关注。 AI Agent 现在最缺的，可能不是模型，而是一套像 npm 一样可复用的 skill 基础设施。 MagicSkills 做的就是这件事。它不是再去造一个新的 Agent framework，而是想把那些散落在各处的 SKILL.md，变成可安装、可组合、可同步、可调用的共享能力层。 MagicSkills 的思路更像是，先把 skill 从零散文档里抽出来，做成一个本地优先的共享 skill pool，然后再按不同 Agent、不同框架去组合和分发。这样一来，skill 就不再只是 prompt 附件，而是开始变成真正可复用的能力基础设施。说白了，它想推动的一件事就是：让 Agent 的技能，从“写一份文档自己用”，变成“写一次，到处复用”。我觉得这个方向很值得看。因为当 skill 开始像包管理一样被组织起来，多 Agent 工作流才会真正开始像工程系统，而不是一堆 prompt 和脚本的临时拼装。如果你在关注 AI Agent、Multi-Agent、技能复用，或者正在想怎么管理越来越多的 SKILL.md，这个项目值得研究一下。👇

axiaisacat

46,330 Aufrufe • vor 4 Monaten

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程以下是GPT4总结的制作流程： 1. 文本到3D生成在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理渲染动画：在Blender中渲染完成的动画，导出为视频文件。后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

使用AI生成3D模型，最终利用comfyUI渲染输出成片的工作流全过程以下是GPT4总结的制作流程： 1. 文本到3D生成在LumaLabs使用Gini文本到3D：访问LumaLabs网站，选择Gini文本到3D功能，输入如“Naruto T-pose”的描述性文本提示生成3D模型。预览和调整：预览生成的3D模型，根据需要调整文本提示或使用提供的选项重新生成以获得满意的结果。 2. 导入和编辑模型导入模型到Blender：将生成的3D模型（如身体、头部和手部）导入到Blender中。调整模型位置和比例：在Blender中调整各个部分的位置和比例，确保模型的整体协调。组合和调整细节：将不同的部件（头部、手部等）组合成一个完整的模型，对模型的姿态、细节进行必要的调整。模型优化：对模型进行必要的优化，包括调整网格和重新拓扑（如果需要），以便于动画处理。 3. 动画和导出应用骨骼和动画：将调整好的3D模型导出为FBX文件，然后在Mixamo网站上应用自动骨骼绑定和选择动画。导入动画到Blender：将带有动画的模型重新导入到Blender中进行进一步的编辑和调整。 4. 进一步编辑动画循环设置：在Blender中设置动画循环，确保动画可以平滑地循环播放。相机和光照设置：调整相机角度和光照设置，以改善动画的视觉效果和氛围。渲染设置：调整渲染设置，包括分辨率和渲染引擎设置，以获得高质量的动画输出。 5. 最终渲染和后处理渲染动画：在Blender中渲染完成的动画，导出为视频文件。后处理：可选地，将渲染完成的视频导入到Comfy UI或其他视频编辑软件中进行后处理，添加背景、特效和其他视觉元素，以完成最终的动画作品。通过这些具体的小步骤，从文本描述到完成的3D动画的整个制作过程被详细地概述和解释，为想要学习这一流程的人提供了一份详细的指南。

Yangyi

25,503 Aufrufe • vor 2 Jahren

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 Aufrufe • vor 3 Monaten

真正言出法随的AI视频工具，终于被我找到了！！而且还是个100%开源的视频世界模型项目！这个用来做视频真的很高级！先说一个长期的“痒点”，做AI视频为了保证空间场景的一致性，不得不生成一大堆各种角度的场景的图片作参考约束，要确保正反打都不会穿帮，要确保镜头转过去再转回来场景不走形，但其实，这个方法很原始！但如果，直接可以生成一个高度一致性的空间，让人物站在该有的位置，并且还能够自由控制镜头在空间里的运动，所有一致性的困扰，就全部解决了！！ AlayaWorld Alaya Lab 就完全是这个思路，根据任何图片和视频，实时渲染一个自由空间，先固化一个场景，然后人物和道具进场，先搭景再拍摄，这样做视频的体验，就无限接近于真实片场！你就像一个导演，站在片场里，并且拥有“言出法随”的能力！改天气、换演员、换服装、甚至直接换场景，可玩性和可控性全部拉满，突发奇想的指令或者是已经设置好“技能”，就可以实时渲染出来！而且这个时长不受限制，一个空间里，“拍摄”多久都可以。想想就很爽，这种创作体验，是前所未有的！！不光是视频，这也完全是彻底改变游戏行业的存在。尤其是那种沉浸感很强的第一人称游戏！越说越激动，这个项目现在是完全开源的，有兴趣的朋友，真的可以关注一下这方面的趋势，我觉得在这个探索世界模型的阶段，这个，就是最好的落地应用！！

真正言出法随的AI视频工具，终于被我找到了！！而且还是个100%开源的视频世界模型项目！这个用来做视频真的很高级！先说一个长期的“痒点”，做AI视频为了保证空间场景的一致性，不得不生成一大堆各种角度的场景的图片作参考约束，要确保正反打都不会穿帮，要确保镜头转过去再转回来场景不走形，但其实，这个方法很原始！但如果，直接可以生成一个高度一致性的空间，让人物站在该有的位置，并且还能够自由控制镜头在空间里的运动，所有一致性的困扰，就全部解决了！！ AlayaWorld Alaya Lab 就完全是这个思路，根据任何图片和视频，实时渲染一个自由空间，先固化一个场景，然后人物和道具进场，先搭景再拍摄，这样做视频的体验，就无限接近于真实片场！你就像一个导演，站在片场里，并且拥有“言出法随”的能力！改天气、换演员、换服装、甚至直接换场景，可玩性和可控性全部拉满，突发奇想的指令或者是已经设置好“技能”，就可以实时渲染出来！而且这个时长不受限制，一个空间里，“拍摄”多久都可以。想想就很爽，这种创作体验，是前所未有的！！不光是视频，这也完全是彻底改变游戏行业的存在。尤其是那种沉浸感很强的第一人称游戏！越说越激动，这个项目现在是完全开源的，有兴趣的朋友，真的可以关注一下这方面的趋势，我觉得在这个探索世界模型的阶段，这个，就是最好的落地应用！！

沐阳

30,410 Aufrufe • vor 1 Monat