Загрузка видео...

Не удалось загрузить видео

На главную

硅基智能将其DUIX（Dialogue User Interface System）开源了 DUIX是2D 真人级、AIGC 实时渲染数字人模型！ 开发者可自行接入多方大模型、语音识别（ASR）、语音合成（TTS）能力实现数字人实时交互 可在Android和iOS多终端一键部署，DUIX还提供了 14 个数字人模板 支持低成本快速部署在 iOS、安卓或者大屏上，在平板、车载系统上也能流畅运行 支持 50 帧/秒的流畅画面，视频生成效率超过 1:0.5、满足直播等一些对实时性要求很高的场景 能精准的模拟动作、说话的唇形、微表情 应用场景：AI伴侣、直播带货、数字人短视频生成、批量数字人口播视频内容生成，抖音/视频号等平台的营销推广、品牌IP、内容制作等 github： #数字人 #AI数字人 #DUIX

aigclink's profile picture

AIGCLINK

36,827 subscribers

62,392 просмотров • 2 лет назад •via X (Twitter)

Наука и технологии
LIVE

Anya Rossi• Live Now

Private livecam show

Комментарии: 10

Фото профиля fatwang2
fatwang22 лет назад

速度再快一些就可以赋能杀猪盘了

Фото профиля The Question-bbwbing
The Question-bbwbing2 лет назад

@Memdotai mem it

Фото профиля Mem
Mem2 лет назад

@aigclink Saved! Here's the compiled thread:

Фото профиля White YOLO
White YOLO2 лет назад

50 帧/秒的流畅画面 这个是哪里的数据

Фото профиля Katakuri
Katakuri2 лет назад

@memdotai mem it

Фото профиля Mem
Mem2 лет назад

@aigclink Hey there! You’ll need to connect your Mem account to Twitter before you can start saving tweets to Mem. Head to to sign up for an account and set up the Twitter flow.

Фото профиля dolacmeo
dolacmeo2 лет назад

一直在晃，还差点意思

Фото профиля xmooo.com ™
xmooo.com ™2 лет назад

So cool

Фото профиля nobond
nobond2 лет назад

on phone, it is running on gpu/cpu or npu?

Фото профиля bbshare
bbshare2 лет назад

感觉还是有点生硬

Похожие видео

一个实时交互流式数字人项目：metahuman-stream 1、支持多种数字人模型: ernerf、musetalk、wav2lip 2、支持声音克隆 3、支持数字人说话被打断 4、支持全身视频拼接 5、支支持 rtmp 和 webrtc 推流 6、支持视频编排：不说话时播放自定义视频 github： #数字人
0:51

一个实时交互流式数字人项目：metahuman-stream 1、支持多种数字人模型: ernerf、musetalk、wav2lip 2、支持声音克隆 3、支持数字人说话被打断 4、支持全身视频拼接 5、支支持 rtmp 和 webrtc 推流 6、支持视频编排：不说话时播放自定义视频 github： #数字人

AIGCLINK

20,870 просмотров • 2 лет назад

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。
2:19

兄弟们，这个有点牛P 字节跳动发布全新的视频生成基础模型Goku 可直接生成数字人视频 - 支持文本到视频（T2V）：可生成 20 秒以上 流畅、连贯的视频。 - 支持多种风格：写实、3D 动画、剪纸、赛博朋克等。 -广告优化版（Goku+）：可直接生成真人广告、产品展示、人物交互的数字人视频。 - 真实人物 & 手部优化：面部表情自然，手势精准。 - 电影级动态镜头：支持慢动作、特写、追踪拍摄等。 - 高分辨率 & 智能光影：画质清晰，色彩自然，光影真实。

小互

156,208 просмотров • 1 год назад

港大和字节的这个广告视频生成模型很赞，Goku+，可以生成20秒以上的广告宣传片、生成口播/走播视频，目前没代码 效果看上去画面稳定，没有明显的闪烁或抖动，人物及面部自然、动作流畅 支持室内/户外、 产品特写、人物互动场景等，适合电商、品牌营销等商业广告 Goku+是Goku的优化版，主打广告生成 Goku是一个基于流的视频生成基础模型，支持风景、人物、动物、动作多种场景，支持写实风、动画风 #AI视频 #AI广告制作 #Goku #视频生成 #广告视频生成
1:10

港大和字节的这个广告视频生成模型很赞，Goku+，可以生成20秒以上的广告宣传片、生成口播/走播视频，目前没代码 效果看上去画面稳定，没有明显的闪烁或抖动，人物及面部自然、动作流畅 支持室内/户外、 产品特写、人物互动场景等，适合电商、品牌营销等商业广告 Goku+是Goku的优化版，主打广告生成 Goku是一个基于流的视频生成基础模型，支持风景、人物、动物、动作多种场景，支持写实风、动画风 #AI视频 #AI广告制作 #Goku #视频生成 #广告视频生成

AIGCLINK

16,374 просмотров • 1 год назад

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频
0:44

字节发布了一个新的视频模型 Goku 还有一个专门为广告视频生成做的的竖屏 goko+ 模型 效果非常🐂🍺，老广告人麻了 - 支持直接生成虚拟数字人视频 - 支持从产品图片生成和人物互动视频，保持产品样式 - 支持生成产品展示视频，保持产品样式 - 可以从文本生成广告视频

歸藏(guizang.ai)

34,321 просмотров • 1 год назад

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker
0:35

阿里的新项目，从文本实时生成同步的说话人视频项目：OmniTalker，音视频同步和风格一致上效果比较好 端到端的统一框架，可以同时生成语音和视频内容，实现音视频同步输出，避免了不同步问题 可以从单个参考视频中捕获语音和面部风格，支持零样本场景下的风格复制 25帧/秒的推理速度，0.8B参数 支持中英文互转，支持情感表达，比如平静、快乐、悲伤、愤怒等等情绪。支持长时间视频生成 #说话人视频生成 #OmniTalker

AIGCLINK

50,300 просмотров • 1 год назад

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。
0:27

Hedra Studio 推出Character-3 AI 数字人视频生成模型 可以同时处理多种输入类型（图像、文本、音频），并将它们融合成高质量的视频。 上传一张人物照片，输入一段文本或音频，Character-3 就能生成一个会说话、唱歌甚至表演的虚拟角色视频。 支持全身动作和情感控制，大范围动态场景... 可以生成具有高度表现力的虚拟人物，比如可以用于讲故事、制作动画或营销内容。

小互

21,028 просмотров • 1 год назад

目前搭建数字人对话系统，除了部署复杂外，还对性能配置显存依赖非常高，而且延迟问题也很严重。 今天在 GitHub 上看到 Open Avatar Chat 这个开源项目，正好给出了解决方案。 只需在自己个人电脑上就能运行一个能与我们实时对话的数字人系统，平均回答延迟仅 2.2 秒。 GitHub： 主要特性： - 低延迟数字人实时对话，平均响应时间 2.2 秒 - 支持多模态交互，包括文本、音频、视频输入 - 模块化架构设计，可灵活替换各个组件 - 预置 100+ 数字人形象，支持 LiteAvatar 和 LAM 两种渲染方式 - 前后端分离，方便自定义界面和扩展功能 - 支持本地推理和云端 API 两种部署模式 提供 Docker 一键快速部署方式，对于想要快速搭建数字人应用的开发者来说，这个项目值得尝试。
1:06

目前搭建数字人对话系统，除了部署复杂外，还对性能配置显存依赖非常高，而且延迟问题也很严重。 今天在 GitHub 上看到 Open Avatar Chat 这个开源项目，正好给出了解决方案。 只需在自己个人电脑上就能运行一个能与我们实时对话的数字人系统，平均回答延迟仅 2.2 秒。 GitHub： 主要特性： - 低延迟数字人实时对话，平均响应时间 2.2 秒 - 支持多模态交互，包括文本、音频、视频输入 - 模块化架构设计，可灵活替换各个组件 - 预置 100+ 数字人形象，支持 LiteAvatar 和 LAM 两种渲染方式 - 前后端分离，方便自定义界面和扩展功能 - 支持本地推理和云端 API 两种部署模式 提供 Docker 一键快速部署方式，对于想要快速搭建数字人应用的开发者来说，这个项目值得尝试。

GitHubDaily

30,004 просмотров • 1 год назад

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。
0:24

HeyGen 发布 Avatar IV 数字人模型 只需一张照片、一段脚本和自己的语音，即可生成一个非常逼真数字人 - 新模型基于“扩散式音频驱动表情引擎”，能根据语音的节奏、语调、情绪合成真实的面部表情和动作。 - 支持侧脸图像与角度变化，带来更具电影感的画面。 - 支持唱歌同步（节奏匹配） - 不仅同步声音，还能“理解”语义与情感，表现出暂停、点头、语调起伏等微动作。 - 支持 30 秒音频/脚本：最多上传 30 秒的语音或文本脚本生成动画。

小互

140,969 просмотров • 1 год назад

不想露脸又想直播带货？🔥 Streamer-Sales 这个开源项目直接给你一个**AI数字人替身**，24小时不休息替你播！ 📜 输入商品信息 → AI自动写带货文案 🔊 TTS转成带情感的语音 🦸 ComfyUI一键合成数字人解说视频 **全程自动化，无需真人出镜**！ 项目已在2024年6月重磅发布**数字人1.0**，ComfyUI Workflow 也一并开源。基于Stable Diffusion + ControlNet + AnimateDiff，从静态图到动态数字人视频全自动搞定。 不止数字人，还集成了： 🚀 LMDeploy 推理加速 📚 RAG 检索增强生成 🔊 带情感的 TTS 语音 🎙️ ASR 语音转文字互动 🌐 Agent 实时查快递 重点是——**完全开源免费**！GitHub上搜"Streamer-Sales"直接拿下。 别再说不会写文案、不想露脸了，AI销冠+数字人替身都给你准备好了 🛒
0:47

不想露脸又想直播带货？🔥 Streamer-Sales 这个开源项目直接给你一个**AI数字人替身**，24小时不休息替你播！ 📜 输入商品信息 → AI自动写带货文案 🔊 TTS转成带情感的语音 🦸 ComfyUI一键合成数字人解说视频 **全程自动化，无需真人出镜**！ 项目已在2024年6月重磅发布**数字人1.0**，ComfyUI Workflow 也一并开源。基于Stable Diffusion + ControlNet + AnimateDiff，从静态图到动态数字人视频全自动搞定。 不止数字人，还集成了： 🚀 LMDeploy 推理加速 📚 RAG 检索增强生成 🔊 带情感的 TTS 语音 🎙️ ASR 语音转文字互动 🌐 Agent 实时查快递 重点是——**完全开源免费**！GitHub上搜"Streamer-Sales"直接拿下。 别再说不会写文案、不想露脸了，AI销冠+数字人替身都给你准备好了 🛒

axiaisacat

12,953 просмотров • 1 месяц назад

兄弟们，这个厉害了 世界上第一个支持生成手拿产品的数字人，专为电商打造 Topview AI 全新数字人：Product Avatar - 无需真人模特，只需上传一张产品图片，数字人即可手持你的产品进行口播展示✨ - 输入文本或音频可以进行语音和口型同步 - 1000+个多国家数字人模特，支持动作、姿势定制 - 支持全球28+种语言
0:46

兄弟们，这个厉害了 世界上第一个支持生成手拿产品的数字人，专为电商打造 Topview AI 全新数字人：Product Avatar - 无需真人模特，只需上传一张产品图片，数字人即可手持你的产品进行口播展示✨ - 输入文本或音频可以进行语音和口型同步 - 1000+个多国家数字人模特，支持动作、姿势定制 - 支持全球28+种语言

小互

135,923 просмотров • 1 год назад

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM
0:59

第一个开源的具有实时对话能力的多模态模型：Mini-Omni ，支持端到端的语音输入、输出 Mini-Omni是清华大学启元实验室开源的项目，能听、能说也能实时思考，在实时语音交互上媲美GPT-4o 特点： 1、实时语音到语音的对话能力: 无需额外的ASR或TTS模型 2、边思考边说话: 能够同时生成文本和音频 3、流式音频输出: 支持流式音频输出 4、"Any Model Can Talk" 方法: Mini-Omni 可以将语音交互能力添加到其他模型中，为其他模型赋能 github： 论文： #LLM #实时语音对话LLM

AIGCLINK

52,402 просмотров • 2 лет назад

震惊了，抖音上祁博士一天卖 50w 的数字人 agent，我2 分钟就开发完成了。 用的就是Pixelle-Video这个项目，已经22k stars。包括数字人口播、动作迁移、图生视频全支持。 支持ComfyUI，输入主题，从写脚本到加 BGM 到出片，一条龙自动跑视频。 老王部署到本地，做了个简短的视频，属于插图式的视频，如果你需要更复杂的视频，需要自己配置云端模型比如 seedance2，kling 等等。 Pixelle-Video 最厉害的地方，是它把视频生产完全做成了可配置，支持本地部署模型和云端大模型。 文案、画面、配音、剪辑，它拆成四个可替换的模块，每块后面都能换模型，可以自由切换模型，使用非常方便 >文案层：LLM 读主题，吐出带时间戳的结构化脚本，每>句对应一段画面。 >画面层：脚本每句转生图提示词，扔给 ComfyUI 或直连 DashScope 出图，图生视频和数字人口播也走这一层。 >语音层：脚本原文走 TTS 合成，多语言加音色克隆，不用自己录音。 >合成层：画面对齐语音时间轴，叠上 BGM，输出 MP4。 仓库： P.S. 想到了就能出片，懂一点 AI 编程，这个项目就能自己做成适合各行业的数字人 agent。
0:22

震惊了，抖音上祁博士一天卖 50w 的数字人 agent，我2 分钟就开发完成了。 用的就是Pixelle-Video这个项目，已经22k stars。包括数字人口播、动作迁移、图生视频全支持。 支持ComfyUI，输入主题，从写脚本到加 BGM 到出片，一条龙自动跑视频。 老王部署到本地，做了个简短的视频，属于插图式的视频，如果你需要更复杂的视频，需要自己配置云端模型比如 seedance2，kling 等等。 Pixelle-Video 最厉害的地方，是它把视频生产完全做成了可配置，支持本地部署模型和云端大模型。 文案、画面、配音、剪辑，它拆成四个可替换的模块，每块后面都能换模型，可以自由切换模型，使用非常方便 >文案层：LLM 读主题，吐出带时间戳的结构化脚本，每>句对应一段画面。 >画面层：脚本每句转生图提示词，扔给 ComfyUI 或直连 DashScope 出图，图生视频和数字人口播也走这一层。 >语音层：脚本原文走 TTS 合成，多语言加音色克隆，不用自己录音。 >合成层：画面对齐语音时间轴，叠上 BGM，输出 MP4。 仓库： P.S. 想到了就能出片，懂一点 AI 编程，这个项目就能自己做成适合各行业的数字人 agent。

产品经理老王霸

199,151 просмотров • 2 месяцев назад

《我用 Codex 做数字人视频，2 分钟到底花多少钱？》💰 上一期分享了完整的数字人口播制作流程，这一期直接公开实际制作成本。 主播图片通过 Codex 调用 GPT Image 2 生成；音色可以使用 Gemini TTS、MiniMax 或 ElevenLabs；文案也可以直接在 Codex 中完成。整套流程真正的成本大头，主要集中在视频生成环节。 上一期使用 Seedance 2.0 生成约两分钟的视频，共消耗 2000 多积分，成本大约一百多元。如果预算有限，也可以尝试 MiniMax H3 等成本更低的模型。 你觉得这样的数字人制作成本可以接受吗？欢迎在评论区交流。
1:38

《我用 Codex 做数字人视频，2 分钟到底花多少钱？》💰 上一期分享了完整的数字人口播制作流程，这一期直接公开实际制作成本。 主播图片通过 Codex 调用 GPT Image 2 生成；音色可以使用 Gemini TTS、MiniMax 或 ElevenLabs；文案也可以直接在 Codex 中完成。整套流程真正的成本大头，主要集中在视频生成环节。 上一期使用 Seedance 2.0 生成约两分钟的视频，共消耗 2000 多积分，成本大约一百多元。如果预算有限，也可以尝试 MiniMax H3 等成本更低的模型。 你觉得这样的数字人制作成本可以接受吗？欢迎在评论区交流。

John

20,423 просмотров • 17 дней назад

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。 它更像是让你和 AI 打一通“实时视频电话”： 你说话，它看着你听。 你打断，它能接住。 你表情变了，它也能反应。 半秒内接话，几乎没有冷场。 真正的重点是： 以前虚拟人是拼流水线： 语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成 每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。 一个 Transformer 直接处理实时音视频交互。 模型端响应约 0.2 秒，整体延迟约 0.55 秒。 这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。
0:40

🚨阿里巴巴发布实时视频语音模型：Wan Streamer 这不是普通数字人。 它更像是让你和 AI 打一通“实时视频电话”： 你说话，它看着你听。 你打断，它能接住。 你表情变了，它也能反应。 半秒内接话，几乎没有冷场。 真正的重点是： 以前虚拟人是拼流水线： 语音识别 → 转文字 → 大模型思考 → 语音合成 → 表情驱动 → 视频生成 每一步都要排队，所以延迟高、互动僵硬。 Wan Streamer 直接把听、看、想、说、表情生成，塞进一个端到端大模型里。 一个 Transformer 直接处理实时音视频交互。 模型端响应约 0.2 秒，整体延迟约 0.55 秒。 这意味着 AI 不再只是“回复你”，而是开始像一个能实时交流的视频对象。

Vincent

12,627 просмотров • 2 месяцев назад

AigcPanel 一款由 Vue 实现的简单易用一站式 AI 数字人系统，小白也可使用。 支持视频合成、声音合成、声音克隆，简化本地模型管理、一键导入和使用AI模型。
0:20

AigcPanel 一款由 Vue 实现的简单易用一站式 AI 数字人系统，小白也可使用。 支持视频合成、声音合成、声音克隆，简化本地模型管理、一键导入和使用AI模型。

Geek

58,784 просмотров • 1 год назад