Загрузка видео...

Не удалось загрузить видео

На главную

Codex + ego-browser + Three.js + Nex-N2.5-Pro 搭建自闭环 3D 网页工作流引擎 1、Codex 用来写代码/改代码。 2、ego-browser 自动化打开网页、操作、截图、验证。 3、Three.js 被迭代目标的3D环境页面。 4、Nex-N2.5-Pro 看页面效果、判断问题、给修改意见。 5、再交回Codex 修改。 6、循环迭代,达到触发条件停止运行。 这一套组合,你可以轻松创建一个skill,来为这个工作流提供自动触发或者手动触发的条件 比如需求完整度、视觉质量、空间布局、光照交互错误等等条件 如果总分>=90,没有 JS error,而且核心交互正常,则停止迭代。 另外不要怕它持续迭代,你可以给它明确的迭代次数,而且这个 Nex-N2.5-Pro 模型相当便宜好用。 环境搭建好之后,我提了一个简单的需求: 帮我制作一个小型3D太空舱内部网页可进行拖拽,详细提示词可见评论区 可直接查看视频就是我得到的结果

50,637 просмотров • 12 дней назад •via X (Twitter)

Комментарии: 17

Фото профиля AI少年
AI少年12 дней назад

这里为什么选择了 Nex-N2.5-Pro? Nex-N2.5-Pro 是 Nex AGI 的 N2.5 系列中的中型模型。 397B 参数,多模态,它能阅读文本和图像还能理解视频,编写代码,并且是为运行工具和软件而构建的,而不仅仅是回答问题。 并且它擅长多模态理解和长程操作,而且从我目前的demo体感,它足够便宜,无需惧怕 token 消耗。 那么其实很多工作或者自己的使用场景中都可以进行模型的替换,而不必非得上最贵最强的模型了。 更多好玩的功能探索有待进一步的验证了。 有兴趣的可以点击下面开源模型和gitub开源项目进行查看 最后看截图,40多分钟的长程任务只消耗了0.4刀

Фото профиля AI少年
AI少年12 дней назад

我的简单提示词如下,也可以直接查看视频最后: “根据如下提示词生成一个完整的网页: 制作一个小型3D太空舱内部。 使用Three.js,你选择一个可用的CDN。 保持简短:驾驶座、控制台、屏幕、舷窗、顶灯。 舷窗外显示简单星空。 支持拖拽旋转视角。”

Фото профиля -nil
-nil12 дней назад

这方面的动态质量真的太强了

Фото профиля 雨哥向前冲
雨哥向前冲12 дней назад

牛逼,这效果杠杠的

Фото профиля Lonely
Lonely12 дней назад

Three.js 立大功

Фото профиля 小墨同学
小墨同学12 дней назад

制作这个 3D 模型还是不错的效果,后面可以继续观望

Фото профиля JasonC
JasonC12 дней назад

ego-browser 那层——Codex 驱动网页时登录态/cookie 是落本机 profile,还是一次性沙箱?断掉之后旧会话还在不在

Фото профиля 实践哥 Li
实践哥 Li12 дней назад

学到了 视频 loop

Фото профиля 佐小寧
佐小寧12 дней назад

很详细的教程,Three.js 交互的确无敌

Фото профиля Cheery
Cheery12 дней назад

这个就是写视频的方式是不是,可以自己做导演的方式,真的牛啊

Фото профиля 王琰
王琰12 дней назад

视觉评价模型 Nex-N2.5 确实划算 闭环迭代思路受教了很有启发

Фото профиля 布鲁托
布鲁托12 дней назад

博主这套 AI 自动化闭环流程太骚了 Codex 搭配多模态大模型简直是神器

Фото профиля Xiongmao
Xiongmao12 дней назад

太强大了,学习到了!

Фото профиля _nil
_nil12 дней назад

前端页面还能这样做?我去学一下

Фото профиля Only Ho
Only Ho12 дней назад

这套自动化太吊了

Фото профиля 半格 / HalfBit
半格 / HalfBit12 дней назад

卧槽,还有粒子特效,牛逼

Фото профиля shaojiu1212
shaojiu121212 дней назад

这套ai自动化sop确实NB,我也来试试

Похожие видео

微软研发的 AutoGen 框架太强大了,它是一个多代理框架,利用它可以轻松定制一系列工作任务。 举一个常见的例子:我们要实现一个爬虫程序,抓取并保存网页图片。如果把这个任务丢给 ChatGPT,它会直接返回一串可执行代码,但是代码通常会存在问题,例如执行报错、缺少依赖等,你需要反复跟 ChatGPT 对话来完善程序。当然,我们也可以设定一个复杂 Prompt,要求它调用 ChatGPT 的代码执行插件,如果存在报错,则继续修正程序。 这个任务如果交给 AutoGen 来实现,将会变得无比简单,几行代码就可以搞定: 1)定义一个 Assistant Agent,它的任务是解决问题 2)定义一个 UserProxy Agent,它的任务是替代人询问问题,同时在本地执行程序 这两个 Agent 都不需要给他们设置 Prompt。当我们把爬虫任务交给 UserProxy 后,它会理解任务,然后询问 Assistant 应该如何做,Assistant 会把操作过程告诉 UserProxy,接着 UserProxy 会根据指示在本地安装依赖,然后创建文件执行代码,如果执行出现错误,它会把详细报错提交给 Assistant,依次循环,直到可以获取到最终的结果。任务结束的时候,你会看到目标图片已经保存到本地磁盘了。 利用这个框架可以做的事情非常多,它提供的能力也十分完善,可以在项目的 notebook 中找到很多最佳实践: P.S. 为了确保安全,还是建议你在 Docker 环境中执行程序,UserProxy 有一个 code_execution_config 配置,将 use_docker 配置为 True 即可;另外,它还有一个 human_input_mode 参数,设置为 NEVER,表示整个过程都不需要人参与,也可以设置为其他值,它会等待人的输入后再进行下一步操作,这个设计可以让人参与到任务执行过程,避免跑偏。

Barret李靖

518,857 просмотров • 3 лет назад

卧槽,最近发现一个强的有点离谱的 AI 团队。 96人的团队约 2/3 的研发成员是在校学生,博士、硕士、本科生都有,来自复旦、中科院软件所、中科院自动化所、人大、哈工大、华东师大等高校。 本来以为又是什么学生创业项目,结果顺着他们做的东西看下去,发现不太对劲。 他们做了一个 Agent 模型,叫 Atria Dawn Preview Atria ASI。 官网放出来的 Demo 一个比一个猛。 有科研和深度研究,有完整的软件项目,有交互作品和游戏,还有 3D 建模、CAD 机械结构。 重点不是让模型生成一张图或者一段代码。 而是让模型在一个真实环境里持续推进任务。 Atria Dawn Preview 面向科研、开发和专业工作,可以往下推进资料检索、写代码、调用工具、运行实验,再根据真实结果继续修改。 代码能不能跑,文件有没有生成,结果是否符合要求,也可以通过外部工具和环境继续验证。 看了一圈,我也拿了用它跑了个任务,因为之前9 月 12 日是世界急救日。 我就让它做一个 3D 海姆立克急救法互动学习页面。 就用大白话描述需求后,它开始拆任务、写代码、搭 3D 场景、做交互,再根据运行结果继续修改。 最后就是视频里的东西。 3D 人体模型、施救位置、操作步骤、动作演示都有,整个页面也可以直接操作和交互。 而一个完整的 3D 网页,恰好把 Agent 面对的另一类问题暴露了出来。 今天能力比较强的模型接上 Coding、搜索、文件系统和运行环境,都能完成相当复杂的任务。 真正难的,正在从能不能做,变成能不能稳定地做完。 一个复杂任务可能涉及几十甚至上百步操作。 前面查到的信息能不能被后面的步骤正确使用,代码报错后能不能恢复,工具返回意外结果会不会把整个任务带偏,最后的产物有没有经过独立验证。 任何一步出问题,都可能沿着任务链一路放大。 单步能力越来越强之后,长链路里的错误累积、状态保持和结果验证,反而变得越来越重要。 这也是 Atria Dawn Preview 比较强调 Harness、环境和 Verifiable Experience 的原因。 模型负责理解、推理和行动,Harness 负责维持目标、状态、上下文和错误恢复,环境则提供真实反馈和验证依据。 这套思路关注的已经不只是模型单次回答有多聪明。 而是把模型放进一个真实任务里,它能连续干多久,出错之后能不能拉回来,最后交付的结果又能不能被验证。 模型能力决定单步能走多聪明。 Agent 系统决定这些聪明的单步,能不能最终连成一个可靠的结果。 现在模型的单步能力已经卷得很高了。 AI下一阶段真正值得看的,可能就是谁能把这些能力稳定地串起来。

李岳

37,669 просмотров • 27 дней назад

当浏览器自带 AI 会是怎样? 终于有人做出来了,官方介绍非常棒: “有挂”是一个浏览器插件,使用自然语言对话,你可以对互联网上的所有网页进行编程。从此你可以掌控任何在你电脑上查看的网页。 在现有网页上编程可以吗?可以,开发者应该很熟悉,F12后往里头写脚本就好,一些简单的小代码甚至懒得打开vscode来写。那没有代码基础,直接说需求然后修改任何网页可能吗?当然也可以,这就是「有挂」要做的事情。 千人千面,在浏览网页的时候,每个人都有不同的偏好和需求。让我们看一些例子(摘录自用户原声): - 我想直接将知乎热榜的话题直接做一个导出功能,导出为 Excel - 足球资讯里头不想看X国足球的信息,帮我屏蔽 - 能针对文档里的这些接口,在下面补充几个使用样例代码吗 - 都什么年代了网页上还有12px的字呐?我要我浏览的网页上最小的字号是14px - 我是强迫症,看到中文、英文和数字时间没有空格身上就仿佛有一万只蚂蚁在爬 - 我经常不知道复制成功没有,我希望每次我复制成功的时候,网页右上角都会弹出一个提示。而不是等我切换到要粘贴的时候才发现没复制上,真的很烦 - 很多网页没有回到顶部的按钮。我要求所有网页都具备这个按钮 - 谷歌是我的启动页,我想把谷歌的背景换成黑客帝国风格 ... 这些需求,要么太简单,开发者懒得开发,要么太小众,开发出来也没多少人用,开发者没什么动力去做,甚至有些需求,可能只有你想要。而这个产品,就是要让你的需求哪怕再小、再古怪,也能被满足、以你想要的方式被满足。你只需要输入一句“我要xxx”,便可轻松随心定制网页的内容和行为。 “这就像是开挂了一样!”就像很多年前,我们在侠盗列车GTA中敲入一串特定字符(又称为作弊码)后,游戏内容会作出相应的修改,比如引爆载具,召唤从天而降的坦克等。

Orange AI

49,514 просмотров • 2 лет назад