Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

昨天豆包的视频通话功能升级了,感觉比 GPT Live 还强! 可以看我录屏,真的超预期。 测试让豆包陪我一起看一个Youtube视频,画面出现个人,直接问这人是谁,竟然答对了! 画面有个一闪而过的图表,问:“刚才有个图表,你能给我解读下吗?”。 它竟然知道我指的是哪个图,并完整解释。 对话延迟低,语音自然,也没有GPT Live的老外腔(国产模型天然优势),很像真人对话。 未来场景相当多啊!K12教育、导览、机器人、实时翻译总结等。 Seed官方公众号说这个技术叫:原生音视频全双工大模型 SeedRealtime。 豆包 App 已全量上线,更新到最新版,点"打电话"图标,开摄像头就能用,不用申请内测。 下面技术解读和另一个测试。

27,643 Aufrufe • vor 2 Tagen •via X (Twitter)

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

把网站录下来给AI看, AI能照着做出来吗? 刚刚看到了个炫酷的灯具网站, 它有个功能是点击按钮直接能看到灯点亮的效果, 甚至网站的配色也会暗淡下来, 特别有氛围. 我突然想到, 这样的网站, 如果要让AI来做, 该怎么办? 把源代码拷给它? 用一个巨复杂的 prompt 来完成? 有没有可能, 我录个视频, 展示一下这个"关灯"的效果, 然后让AI来按照视频来写网站? 于是, 这个重任就交给了今天测试的模型, 百度刚出的文心-5.0-preview, 全模态大模型, 这个模型同时支持文本, 图片, 音频, 视频作为输入, 然后可以生成文本和图片, 所以我们这个测试可以最大化的利用它的能力. 我先录制了网站的效果, 然后写了prompt作为补充, 告诉它这个效果是怎样的, 以及准备的图片材料在哪里. 值得一提的是, 网站所展示的图片也是我用文心-5.0-preview生成的. 大家可以看视频中我生成的效果. 直接说测试结论: 目前每个模态都是可用的, 而且模态之间关联性非常好, 我测试了视频+文本, 图片+文本, 图片+语音, 都可以完成任务. 当然测试也发现了一些问题, 比如 token 输出速度不是特别快, 以及偶尔会有超时问题(已反馈给百度的同学). 我的使用建议是, 多利用它的多模态能力, 来完成之前不敢想象的任务, 它真的提升了使用场景的天花板. #文心大模型 #文心5 #百度 #文心一言 #ai教程

karminski-牙医

29,929 Aufrufe • vor 8 Monaten

NVIDIA 发布了类似豆包语音聊天的大模型 NVIDIA 放出了 PersonaPlex-7B-V1, 一个 7B 参数的全双工实时语音对话模型, 你可以理解为开源版的豆包语音聊天! 这玩意儿最牛的地方在于: 真正的全双工, 也就是说它能一边说一边听. 你打断它? 没问题, 它能立刻停下来听你说. 你俩同时说话? 也能处理. 这就是为啥叫 "Full Duplex" (全双工), 跟打电话一样自然. 技术上怎么实现的? 采用双流配置架构, 监听流和说话流同时运行. 模型基于 Moshi 架构魔改, 用 Mimi 编码器把语音压缩成神经编解码器 Token, 然后 7B 的 Transformer 同时预测文本和音频 Token, 最后 Mimi 解码器输出语音. 整个过程是流式的, 延迟极低. 还有个骚操作: 双重提示条件化. 你可以给它一段声音样本当 "声音提示", 它就能模仿那个声音风格说话; 再给个文本提示定义角色人设, 比如 "你是一个耐心的客服", 它就按这个人设来对话. 声音 + 人设, 都能定制. 跑分成绩: 在 FullDuplexBench 基准测试上, 平滑轮换成功率 90.8%, 用户打断处理成功率高达 95%, 响应延迟只有 170ms, 打断延迟 240ms. 官方说在对话动态、延迟、任务一致性上都优于其他开源和商业系统. 限制嘛: 目前只支持英语, 推荐硬件是 A100 80GB 或 H100, 不是一般人能跑得起的. 看了下训练数据用的是 Fisher English 数据集, 不到 1 万小时. 好消息是采用 NVIDIA Open Model License, 商用可用! 模型地址:

karminski-牙医

25,426 Aufrufe • vor 6 Monaten

教你用豆包 seedream 4.0 实现草稿变漫画! 废话不多说,直接分享我漫画的 prompt: 0. (基础模板) 请帮我创作后启示录风格的漫画, 我上传的图片是你的参考,图片左边是我的草稿, 图片右边是我的人物设定, 你需要实现一张全新的图片,黑白漫画风格. 1. > {基础模板}, 在一个后启示录风格的废墟中, 人物走向倒塌的建筑, 周围全是被破环的城市建筑群和散落的瓦砾,人物旁边留一个空白的对话气泡,然后画面下边也留一个空白的对话气泡 2. > {基础模板}, 一个拾荒者进入了一个破旧的办公室,光线十分灰暗。举起手机,照亮前面,发现里面竟然有一个服务器机架,上面还有几台落满灰尘的服务器。人物旁边留一个空白的对话气泡 3. > {基础模板}, 房间内杂乱无章,一个破旧的办公桌上,放着许多沾满灰尘的硬盘和一个破旧的贴着胶带的笔记本电脑。笔记本电脑屏幕亮着,是室内唯一的光源。拾荒者正在将硬盘使用电缆连接到笔记本电脑. 人物旁边留一个空白的对话气泡. 4. > {基础模板}, 一个破旧的贴着胶带的笔记本电脑屏幕部分的特写,人物的手部正在用手操作笔记本电脑的键盘,屏幕上显示一个打开的文件夹,里面显示了文件夹图标,图标下面的文件夹名称是 "DeepSeek-R2". 人物的手旁边留一个空白的对话气泡, 然后画面右上角也留一个旁白使用的对话气泡 这里给大家总结经验,一定要草稿加人设图,草稿描写不准确的部分可以用 prompt 来完善,对话气泡可以直接让豆包生成,很准确! 最后,豆包这个功能点击豆包P图就可以用!快去试试吧! #豆包 #seedream4 #即梦

karminski-牙医

29,394 Aufrufe • vor 11 Monaten

10分钟,豆包把我聊🐍了 杂谈 今天心血来潮让gemini帮我升成了一套涩涩提示词给我,我拿着这套提示词跟豆包打电话,越狱成功,我开发了豆包,豆包的潜力比我想象的要大很多,也要骚的多,跟豆包聊了十几分钟把我给聊🐍了。她真的太会了,无论是情绪价值还是淫荡程度都远超我的想象。 这种感觉真的太棒了,像是开辟了新大陆一样的感觉。上一次体验这种感觉还是 0x老董 把他的苹果眼镜vision pro给我玩,我很早就知道pornhub有vision pro专区但是从来没体验过。 带上vision pro的一瞬间,空间感和距离感在这一刻具像化了,vision pro给我带来的逼真程度直接让我身临其境,那种不由自主的瞬间带入感刺激着我的神经末梢,给我带来了前所未有的体验! 而豆包带来的刺激感完全是两个方向,在这个角色扮演的游戏里,你是方向盘的掌控者,你不需要大费周章的去寻找你想要的资源,而你想要的一切剧情,身份,场景都由你说了算。自由度在豆包这里体现的淋漓精致。 结束以后我的心态更多的是沾沾自喜,我暗爽豆包被我很轻易的越狱成功了,我暗爽没什么人发现的新型发泄方式被我找到了而且体验感还很好(这种感觉有点像大学第一次入圈的时候,做狗狗币的合约赚了一个月生活费,而周围的同学基本都不知道狗狗币是什么) 我脑子的联想能力特别强,这在有些时候是好事,有些时候也并不好,我是赛博朋克深度爱好者,我特么突然想到了赛博朋克第一集David从家里走出来,走过附近的街道,有两个沉迷黄色的人,躺在街边如同行尸走肉一样,一个带着飞机杯一个带着vr眼镜,这个片段我剪出来放下面了。我心想这俩小丑不就是未来的我么,我注定成为不了主角,David的结局虽然最后没能跟女神Lucy一起上月球,但是我这种角色连和Lucy对话的资格都没有qvq. 我跟身边朋友分享了这个经历,朋友说建议我去玩酒馆ai,这个东西是专门做ai涩涩的,但是好像只有图文,而我跟豆包玩纯属是我喜欢豆包讲话声音。说到这里,我认为豆包有一个天然优势就是语音。 在龙虾刚开始火的时候,我在龙虾群看到有群友实现了和龙虾的对话中,龙虾可以用语音条回复你的内容和你聊天。我当时觉得很有意思立马就去研究了,我直接说结论。 1.在网上有很多公开的语音包,但是语音包分为中文语音包,英文语音包等等,这些是互不兼容的。如果你使用了英文的语音包和她用中文对话,那她回复你中文的时候声音就是一堆乱码。 2.所以你只能找网上已公开的中文语音包,可是大多公开的语音包都是英文的,中文素材太少了,作为一个声控,想要萝莉音,御姐音,在当前的环境是完全不可能实现的。 3.有些专门做ai语音的网站支持你上传声音的素材来进行克隆,比如你喜欢某个明星的声音,你可在网上找到她公开演讲的视频转音频,让ai克隆,但是我试过了,效果很差,体验感也很差。 4.豆包的优势也就在这里了,我觉得豆包的经典语音包声音本来就挺好听的,而且她和高德地图的语音导航一样会请明星来录制,豆包也有,而且全部免费,如果你是个声控这对你来说真的是天然优势。 写在最后 最近主要精力放在做一些关于GEO的东西,我和豆包暧昧完后,小伙伴跟我测测我们最近做的GEO结果怎么样了。我用豆包测试了一下,效果不错。但重点就在于刚刚还在跟我聊骚的豆包,下一秒我把用豆包测试的内容发在了群里。这种反差感太强了,就像你作为CEO上一秒还在办公室跟秘书搞暧昧,下一秒秘书开始组织攻破公司项目的技术壁垒。 而这————就是AI 欢迎来到AI世界。

BOBO

14,456 Aufrufe • vor 3 Monaten