Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

Hermes Agent 刚发布 Mixture of Agents 2.0，把多个前沿模型混合成一个虚拟模型使用原理很直接：GPT-5.5、DeepSeek V4、Sonnet 4.6 作为参考模型同时处理同一个问题，Opus 4.8 作为聚合器综合最终答案跑分结果比单独用 Opus 4.8 高 8%，比 GPT-5.5 高 11% 最关键的是在 Hermes 里就像普通模型一样调用，/model 命令切换就行，不需要自己搭框架单个模型都有盲区，混着用反而能互补，开源社区找到了一条弯道超车路线你觉得 MoA 这种「模型组合拳」会成为主流用法吗？

Jason Zhu

34,423 subscribers

16,504 просмотров • 1 месяц назад •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 просмотров • 3 месяцев назад

DeepSeek V4 Flash 正式版上线了，官方说比deepseek v4 pro预览版的agent能力还要强。文档更新为 DeepSeek V4 Flash 0731，我第一时间把 Hermes 主模型和所有 Persona / Prompt 环境切了过去。视觉模型我还保留了 Kimi K2.6,因为 DeepSeek 不支持多模态,让 Kimi 当“眼睛”,DeepSeek 负责推理,组合起来跑 Agent 和自动化很顺,还顺便省不少 Token 成本。全程不到一分钟,如果你现在就是调用的deepseek的API，直接告诉你的大模型更换最新的 DeepSeek V4 Flash 0731即可。如果你现在还在用旧模型,这波真的建议升级。你现在主力用哪个模型?评论区见。 #DeepSeek #Hermes #AIAgent #OpenCode #LLM

DeepSeek V4 Flash 正式版上线了，官方说比deepseek v4 pro预览版的agent能力还要强。文档更新为 DeepSeek V4 Flash 0731，我第一时间把 Hermes 主模型和所有 Persona / Prompt 环境切了过去。视觉模型我还保留了 Kimi K2.6,因为 DeepSeek 不支持多模态,让 Kimi 当“眼睛”,DeepSeek 负责推理,组合起来跑 Agent 和自动化很顺,还顺便省不少 Token 成本。全程不到一分钟,如果你现在就是调用的deepseek的API，直接告诉你的大模型更换最新的 DeepSeek V4 Flash 0731即可。如果你现在还在用旧模型,这波真的建议升级。你现在主力用哪个模型?评论区见。 #DeepSeek #Hermes #AIAgent #OpenCode #LLM

DeFi狙击手 | Ai🕊️｜Gate美股0费率

23,899 просмотров • 19 дней назад

OpenRouter：大语言模型“路由器” Openrouter提供了一个统一的接口，通过这个接口，你可以直接访问和使用几十种AI模型你可以使用这个接口对各种模型进行测试和比价，选择最适合自己的，避免了东奔西跑 🙂 目前已经支持包括GPT、LLama 、Claude、Command-R等80 多个模型，未来将扩展到数百种！访问：

OpenRouter：大语言模型“路由器” Openrouter提供了一个统一的接口，通过这个接口，你可以直接访问和使用几十种AI模型你可以使用这个接口对各种模型进行测试和比价，选择最适合自己的，避免了东奔西跑 🙂 目前已经支持包括GPT、LLama 、Claude、Command-R等80 多个模型，未来将扩展到数百种！访问：

小互

45,856 просмотров • 2 лет назад

Anthropic CEO Dario谈开源模型： - 大模型开放权重不同于软件开源，不存在开发者社区的反向贡献。 - 开源只是吸引注意力的幌子，用户只关心这个模型是否好用。Deepseek开源与否都无所谓，作为一个超大模型，推理起来很困难。 - 开源并不等于免费，推理服务器运行，是有成本的。

Anthropic CEO Dario谈开源模型： - 大模型开放权重不同于软件开源，不存在开发者社区的反向贡献。 - 开源只是吸引注意力的幌子，用户只关心这个模型是否好用。Deepseek开源与否都无所谓，作为一个超大模型，推理起来很困难。 - 开源并不等于免费，推理服务器运行，是有成本的。

高级分析师

1,483,571 просмотров • 11 месяцев назад

黄仁勋提到：优秀的AI开源模型对整个行业都是好事，无论它来自哪里... 在和 axios 的最新访谈中，Jensen已经聊到了中国的开源模型和美国闭源模型的看法，今天又特意注册X发文说明为什么开源模型很重要..... 他说：“这些中国模型非常优秀，优秀的开源模型就应该被使用” “我认为优秀的AI开源模型对整个行业都是好事，显然，只要有优秀的AI，即使是开源的，无论它来自哪里，都会带来更多的使用” “优秀的模型带来大量使用，大量使用带来巨大增长。而这只是个开始” “DeepSeek当时就是这样，Kimi也会是这样” “还有一个误解是，开源模型会对闭源模型构成对抗，这也是错的”

黄仁勋提到：优秀的AI开源模型对整个行业都是好事，无论它来自哪里... 在和 axios 的最新访谈中，Jensen已经聊到了中国的开源模型和美国闭源模型的看法，今天又特意注册X发文说明为什么开源模型很重要..... 他说：“这些中国模型非常优秀，优秀的开源模型就应该被使用” “我认为优秀的AI开源模型对整个行业都是好事，显然，只要有优秀的AI，即使是开源的，无论它来自哪里，都会带来更多的使用” “优秀的模型带来大量使用，大量使用带来巨大增长。而这只是个开始” “DeepSeek当时就是这样，Kimi也会是这样” “还有一个误解是，开源模型会对闭源模型构成对抗，这也是错的”

梭哈.AI

51,171 просмотров • 27 дней назад

Grok折腾了我两个多小时，差点把 Hermes Agent 搞废。我的hermes一直用的是Kimi k2.6大模型，准备把deepseek V4 pro也部署进去，做到一键切换！最开始按 Grok 的指示一步步操作，越搞越不对劲。改完配置不认，切模型报错，翻来覆去改 yaml 改到怀疑人生。（下面视频为证我差点逼疯） / 最后放弃了，直接打开 DeepSeek 网页版问了一嘴。就两行命令： “hermes mode1” # 用官方向导正式注册 deepseek 为 provider “hermes update”# 修复对接 V4 模型的已知 bug 注册完瞬间跑通。现在 Kimi K2.6 和 V4 Pro 随时切，丝滑。 / 讽刺的是：我用 DeepSeek 的模型去问怎么接 DeepSeek 的模型，它自己给了正解。而Grok带我绕了俩钟头死胡同。总结两件事：别手写 yaml，一条 hermes model 搞定工具类问题，有时候直接问相关方自己的模型反而最快你们有没有被某个 AI 带进死胡同的经历？ #Hermes #DeepSeek

Grok折腾了我两个多小时，差点把 Hermes Agent 搞废。我的hermes一直用的是Kimi k2.6大模型，准备把deepseek V4 pro也部署进去，做到一键切换！最开始按 Grok 的指示一步步操作，越搞越不对劲。改完配置不认，切模型报错，翻来覆去改 yaml 改到怀疑人生。（下面视频为证我差点逼疯） / 最后放弃了，直接打开 DeepSeek 网页版问了一嘴。就两行命令： “hermes mode1” # 用官方向导正式注册 deepseek 为 provider “hermes update”# 修复对接 V4 模型的已知 bug 注册完瞬间跑通。现在 Kimi K2.6 和 V4 Pro 随时切，丝滑。 / 讽刺的是：我用 DeepSeek 的模型去问怎么接 DeepSeek 的模型，它自己给了正解。而Grok带我绕了俩钟头死胡同。总结两件事：别手写 yaml，一条 hermes model 搞定工具类问题，有时候直接问相关方自己的模型反而最快你们有没有被某个 AI 带进死胡同的经历？ #Hermes #DeepSeek

DeFi狙击手 | Ai🕊️｜Gate美股0费率

10,081 просмотров • 3 месяцев назад

CAD大模型来啦！还记得 cursor 创业的时候说自己其实是搞 CAD 大模型的嘛？但是他们遇到的问题是全网 CAD 数据太少了，炼不出来好的模型。今天这个模型作者遇到了同样的问题，他使用了 OpenSCAD 数据集，但是质量太差，于是花了150刀使用AI辅助生成/修复数据，然后觉得太贵了，又用 Gemma3-12b 洗了2天，最后使用 Gemma3-1B 进行微调，得到了这个 CAD 大模型——k-1b 这个模型你只需输入想要什么，它就能生成 stl 格式的 3D模型，然后作者还写了个工具能转换为 OBJ 模型以及在 terminal 预览模型生成的怎么样模型地址：引擎地址：/github.com/ThomasVuNguyen/MakeMe

CAD大模型来啦！还记得 cursor 创业的时候说自己其实是搞 CAD 大模型的嘛？但是他们遇到的问题是全网 CAD 数据太少了，炼不出来好的模型。今天这个模型作者遇到了同样的问题，他使用了 OpenSCAD 数据集，但是质量太差，于是花了150刀使用AI辅助生成/修复数据，然后觉得太贵了，又用 Gemma3-12b 洗了2天，最后使用 Gemma3-1B 进行微调，得到了这个 CAD 大模型——k-1b 这个模型你只需输入想要什么，它就能生成 stl 格式的 3D模型，然后作者还写了个工具能转换为 OBJ 模型以及在 terminal 预览模型生成的怎么样模型地址：引擎地址：/github.com/ThomasVuNguyen/MakeMe

karminski-牙医

28,604 просмотров • 10 месяцев назад

提到多模型统一 API，很多人第一反应还是 OpenRouter。它确实教育了这个市场，也让开发者习惯了用一个入口调用不同模型。但是独立开发最怕的，是某个模型偶尔抽风，收到告警后，改代码、切服务商、紧急上线。 ApiFlux 沿着这条路，做了一个更贴近独立开发者的版本：某个模型服务异常时，会自动切换到备用服务。只需要切换一下 API 密钥和接口地址，现有代码基本不用动。现在支持Claude、GPT、Gemini 等 100+ 模型，并且价格统一为官方价 85 折。一个人做产品，手里始终留着一条能随时切换的路，心里才踏实。产品地址👉：

提到多模型统一 API，很多人第一反应还是 OpenRouter。它确实教育了这个市场，也让开发者习惯了用一个入口调用不同模型。但是独立开发最怕的，是某个模型偶尔抽风，收到告警后，改代码、切服务商、紧急上线。 ApiFlux 沿着这条路，做了一个更贴近独立开发者的版本：某个模型服务异常时，会自动切换到备用服务。只需要切换一下 API 密钥和接口地址，现有代码基本不用动。现在支持Claude、GPT、Gemini 等 100+ 模型，并且价格统一为官方价 85 折。一个人做产品，手里始终留着一条能随时切换的路，心里才踏实。产品地址👉：

Yanhua

10,555 просмотров • 22 дней назад

日常Token消耗量比较大的推友，不妨试用一下蚂蚁百灵大模型Ring-2.6-1T 。百灵大模型Ring-2.6-1T是蚂蚁集团推出的开源万亿参数量级思考模型，采用 MoE（混合专家）架构，单次推理激活约 63B 参数。它面向真实的 Agent 工作流，主打一个真能干活和性价比高！ Ring-2.6-1T 模型已经在openrouter发布了，限时免费一周，地址是我自己正在试用，感觉无论是AI Coding还是日常办公，都很不错；关键是免费使用一周和超高的性价比直接缓解了我的token慌！与其被Claude和Codex封号、限额而被搞得焦头烂额，何必不试用一下同样很能干活、而且且性价比更高的模型呢？主要是最近还是免费使用，何乐而不为？

日常Token消耗量比较大的推友，不妨试用一下蚂蚁百灵大模型Ring-2.6-1T 。百灵大模型Ring-2.6-1T是蚂蚁集团推出的开源万亿参数量级思考模型，采用 MoE（混合专家）架构，单次推理激活约 63B 参数。它面向真实的 Agent 工作流，主打一个真能干活和性价比高！ Ring-2.6-1T 模型已经在openrouter发布了，限时免费一周，地址是我自己正在试用，感觉无论是AI Coding还是日常办公，都很不错；关键是免费使用一周和超高的性价比直接缓解了我的token慌！与其被Claude和Codex封号、限额而被搞得焦头烂额，何必不试用一下同样很能干活、而且且性价比更高的模型呢？主要是最近还是免费使用，何乐而不为？

马识途

13,889 просмотров • 3 месяцев назад

Hermes Agent这样设置那么恭喜你为了省钱又进一步😂 deepseek为主大模型，kimi2.6为视觉模型，并且无需来回切换，只要丢图片进去就会自动使用kimi2.6去识别。（理论是你可以设置更多的大模型去完成不同的工作，并且全程自动无需切换大模型）写很多以X文章的形式去编辑这类干货教程已经很多了，我想试试普通的发帖方式编辑会不会被更多的人去看到。那么话不多说下面直接是干货！ - 主模型：deepseek-v4-pro 视觉模型：kimi-k2.6 运作逻辑：deepseek 负责所有的工具调用、代码、排查、对话，一旦你丢过来图片或者视频帧，系统自动切到 kimi 去识图，识完把结果扔回给 deepseek 继续处理。整个过程不需要手动切换模型，你体感上就是同一个助手在干活，但实际上后面是两个大脑在协作。 - 为什么这样搭 deepseek-v4-pro 的工具调用和长上下文处理能力确实强，跑代码任务、排查问题、多步骤复杂操作的稳定性比 kimi 好一截。但它有一个硬伤暂时不支持多模态，直接给它丢图片会报 unknown variant image_url 的错。而 kimi-k2.6 的多模态能力不用说，中文 OCR 也准，但纯文本推理和工具调用不如 deepseek 稳。所以最优解就是各取所长，deepseek 当大脑，kimi 当眼睛。（其实说白了就是为了省Token！！！） - 配置步骤第一步，确保 API Key 就位。在 `~/.hermes/.env` 里确认两行： ``` DEEPSEEK_API_KEY=你的deepseek密钥 KIMI_API_KEY=你的kimi密钥 ``` 第二步，切主模型，终端敲： ``` hermes config set model.default deepseek-v4-pro hermes config set model.provider deepseek ``` 第三步，设视觉模型： ``` hermes config set kimi-k2.6 hermes config set kimi-coding hermes config set ``` 第四步，如果你的 kimi key 是老 key（sk- 开头不是 sk-kimi- 开头），需要在 `.env` 最后加一行： ``` KIMI_BASE_URL= ``` 新 key 走 key 走默认写的是错的，不改会 401。第五步，`/reset` 重开会话，生效。 - 踩过的坑一个是上面说的 api 地址问题，和差一个字母，排查了好一阵。另一个更隐蔽：Hermes 内置的 vision 工具往 kimi API 发请求时，content 数组里 image_url 排在了 text 前面，kimi 的接口不认这个顺序，偶尔 400。目前的变通方案是发图时绕过内置工具，直接 Python 调 moonshot API，text 放 image_url 前面就没事。不影响使用，但不算完美，等后续优化。 - 配完之后你正常跟他聊天就行，deepseek 处理一切。发图过来的时候，你不需要说"用 kimi 看"，系统自动检测到图片就走 kimi 视觉，识读完无缝回到 deepseek 继续对话。你体感上就是同一个助手能看能想能干，但后台其实是两个模型在做各自最擅长的事。这个方案的最大好处是不用你在聊天里手动切模型，流程全自动。而且以后如果想换视觉模型，改 ` 一行就行，不影响主模型。 - 兄弟们有哪个不懂的直接甩在评论区，狙击手会挨个解答！

Hermes Agent这样设置那么恭喜你为了省钱又进一步😂 deepseek为主大模型，kimi2.6为视觉模型，并且无需来回切换，只要丢图片进去就会自动使用kimi2.6去识别。（理论是你可以设置更多的大模型去完成不同的工作，并且全程自动无需切换大模型）写很多以X文章的形式去编辑这类干货教程已经很多了，我想试试普通的发帖方式编辑会不会被更多的人去看到。那么话不多说下面直接是干货！ - 主模型：deepseek-v4-pro 视觉模型：kimi-k2.6 运作逻辑：deepseek 负责所有的工具调用、代码、排查、对话，一旦你丢过来图片或者视频帧，系统自动切到 kimi 去识图，识完把结果扔回给 deepseek 继续处理。整个过程不需要手动切换模型，你体感上就是同一个助手在干活，但实际上后面是两个大脑在协作。 - 为什么这样搭 deepseek-v4-pro 的工具调用和长上下文处理能力确实强，跑代码任务、排查问题、多步骤复杂操作的稳定性比 kimi 好一截。但它有一个硬伤暂时不支持多模态，直接给它丢图片会报 unknown variant image_url 的错。而 kimi-k2.6 的多模态能力不用说，中文 OCR 也准，但纯文本推理和工具调用不如 deepseek 稳。所以最优解就是各取所长，deepseek 当大脑，kimi 当眼睛。（其实说白了就是为了省Token！！！） - 配置步骤第一步，确保 API Key 就位。在 `~/.hermes/.env` 里确认两行： ``` DEEPSEEK_API_KEY=你的deepseek密钥 KIMI_API_KEY=你的kimi密钥 ``` 第二步，切主模型，终端敲： ``` hermes config set model.default deepseek-v4-pro hermes config set model.provider deepseek ``` 第三步，设视觉模型： ``` hermes config set kimi-k2.6 hermes config set kimi-coding hermes config set ``` 第四步，如果你的 kimi key 是老 key（sk- 开头不是 sk-kimi- 开头），需要在 `.env` 最后加一行： ``` KIMI_BASE_URL= ``` 新 key 走 key 走默认写的是错的，不改会 401。第五步，`/reset` 重开会话，生效。 - 踩过的坑一个是上面说的 api 地址问题，和差一个字母，排查了好一阵。另一个更隐蔽：Hermes 内置的 vision 工具往 kimi API 发请求时，content 数组里 image_url 排在了 text 前面，kimi 的接口不认这个顺序，偶尔 400。目前的变通方案是发图时绕过内置工具，直接 Python 调 moonshot API，text 放 image_url 前面就没事。不影响使用，但不算完美，等后续优化。 - 配完之后你正常跟他聊天就行，deepseek 处理一切。发图过来的时候，你不需要说"用 kimi 看"，系统自动检测到图片就走 kimi 视觉，识读完无缝回到 deepseek 继续对话。你体感上就是同一个助手能看能想能干，但后台其实是两个模型在做各自最擅长的事。这个方案的最大好处是不用你在聊天里手动切模型，流程全自动。而且以后如果想换视觉模型，改 ` 一行就行，不影响主模型。 - 兄弟们有哪个不懂的直接甩在评论区，狙击手会挨个解答！

DeFi狙击手 | Ai🕊️｜Gate美股0费率

25,821 просмотров • 2 месяцев назад

最适合做AI视频的API平台终于被我找到了！! 成本比预期低很多！爽用Seedance 2.0的感觉也太夯了！！赶紧用Codex把很早就想做的“个人视觉创意工作台”安排上了！我相信很多人都想找一个好用又便宜的生成式模型API平台，说实话，真的很不好找！！大大小小的AI平台用了不少，要么贵的要死，要么可用模型少的可怜，要么就是个黑盒子，花钱用的啥模型都不知道！今天看到Pika Pika上线了Pika API Club，我就知道这事稳了！！果不其然，Pika还是太懂AI视频创作者了！基本上能用到的模型都包圆了，定价也特别香，应该都是从厂商拿的“集采价”，而且还让利给了用户！ Pika API定价比Runway、Fal等等都要便宜不少， Seedance 2.0的价格相对Runway，最高能便宜87%，相当于打1.3折！！关键是，每月才10美金，可以用70多个生成式模型，不光是视频，主流模型都有，1个API能接住所有的模型需求！！所以搞了一个创意工作台，把原创的一些提示词做成预设，一键套用成片，效率直接拉满！！

最适合做AI视频的API平台终于被我找到了！! 成本比预期低很多！爽用Seedance 2.0的感觉也太夯了！！赶紧用Codex把很早就想做的“个人视觉创意工作台”安排上了！我相信很多人都想找一个好用又便宜的生成式模型API平台，说实话，真的很不好找！！大大小小的AI平台用了不少，要么贵的要死，要么可用模型少的可怜，要么就是个黑盒子，花钱用的啥模型都不知道！今天看到Pika Pika上线了Pika API Club，我就知道这事稳了！！果不其然，Pika还是太懂AI视频创作者了！基本上能用到的模型都包圆了，定价也特别香，应该都是从厂商拿的“集采价”，而且还让利给了用户！ Pika API定价比Runway、Fal等等都要便宜不少， Seedance 2.0的价格相对Runway，最高能便宜87%，相当于打1.3折！！关键是，每月才10美金，可以用70多个生成式模型，不光是视频，主流模型都有，1个API能接住所有的模型需求！！所以搞了一个创意工作台，把原创的一些提示词做成预设，一键套用成片，效率直接拉满！！

沐阳

24,196 просмотров • 15 дней назад

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

karminski-牙医

12,374 просмотров • 2 месяцев назад

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 просмотров • 2 лет назад

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。

傅盛

89,277 просмотров • 7 месяцев назад

【肖弘谈Manus的护城河】当所有人都卷大模型时，Manus创始人肖弘在采访中给出了不一样的解法。 💡核心观点： 1. 合作意识：在底层技术未被垄断前，合作重于竞争。 2. 护城河的两个维度：一是对用户的深刻理解；二是运用Agent能力的深度。 3. 模型选择：肖弘直言，如果模型谁都能用，反而意味着你的选择权更大。真正的核心不在于自研模型，而在于当模型能力迭代时，你是否有能力及时接住并转化为用户价值。

【肖弘谈Manus的护城河】当所有人都卷大模型时，Manus创始人肖弘在采访中给出了不一样的解法。 💡核心观点： 1. 合作意识：在底层技术未被垄断前，合作重于竞争。 2. 护城河的两个维度：一是对用户的深刻理解；二是运用Agent能力的深度。 3. 模型选择：肖弘直言，如果模型谁都能用，反而意味着你的选择权更大。真正的核心不在于自研模型，而在于当模型能力迭代时，你是否有能力及时接住并转化为用户价值。

傅盛

58,874 просмотров • 7 месяцев назад

答应大家的AI歌手教程来了，手把手教你训练你自己的AI歌手，主要分为使用模型和训练模型两部分，这里是第一部分如何使用模型生成音乐的部分，主要介绍了音源的处理，模型的使用和后期音轨的合成。看在藏师傅生病肝教程的份上希望各位多多支持，下面是具体步骤🧶

答应大家的AI歌手教程来了，手把手教你训练你自己的AI歌手，主要分为使用模型和训练模型两部分，这里是第一部分如何使用模型生成音乐的部分，主要介绍了音源的处理，模型的使用和后期音轨的合成。看在藏师傅生病肝教程的份上希望各位多多支持，下面是具体步骤🧶

歸藏(guizang.ai)

394,322 просмотров • 3 лет назад

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要感谢各位点赞支持！关注我，每天带来最新的ai资讯！

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要感谢各位点赞支持！关注我，每天带来最新的ai资讯！

Vic TALK

79,134 просмотров • 5 месяцев назад

Hermes Web UI 是一个自托管 AI Agent 聊天仪表板流式对话、多模型调度、群聊协作、看板管理、用量分析、文件管理和 Web 终端整合到同一个界面里。无需复杂配置，一条命令即可启动；支持 Claude、GPT、Gemini、DeepSeek 及 OpenAI 兼容模型，也能统一接入多种平台消息入口。给开发者和团队一个更清晰、更可控的 Agent 工作台。开源、轻量、持续更新。官网：

Hermes Web UI 是一个自托管 AI Agent 聊天仪表板流式对话、多模型调度、群聊协作、看板管理、用量分析、文件管理和 Web 终端整合到同一个界面里。无需复杂配置，一条命令即可启动；支持 Claude、GPT、Gemini、DeepSeek 及 OpenAI 兼容模型，也能统一接入多种平台消息入口。给开发者和团队一个更清晰、更可控的 Agent 工作台。开源、轻量、持续更新。官网：

libapi

13,418 просмотров • 3 месяцев назад

Deepseek V4 Flash 真的惊艳到我了，我就用一句话就生成了一个AI控制台。我使用open code+Deepseek V4 Flash测试了一下模型的能力，总共不到五十秒，就给我生成了对应能力了。主要是该有的模块都有，而且很多细节上面做了特定的优化。模块划分： 1、仪表盘：做中央把控看模型消耗。 2、任务：看任务指派和模型上下文处理。 3、对话：直接在网页上可以和AI直接对话。现在最重要的是open code还能免费使用，可以马上上手体验一下，国产模型是越来越强了，以后真的可以不使用国外模型了。

Deepseek V4 Flash 真的惊艳到我了，我就用一句话就生成了一个AI控制台。我使用open code+Deepseek V4 Flash测试了一下模型的能力，总共不到五十秒，就给我生成了对应能力了。主要是该有的模块都有，而且很多细节上面做了特定的优化。模块划分： 1、仪表盘：做中央把控看模型消耗。 2、任务：看任务指派和模型上下文处理。 3、对话：直接在网页上可以和AI直接对话。现在最重要的是open code还能免费使用，可以马上上手体验一下，国产模型是越来越强了，以后真的可以不使用国外模型了。

小墨同学

27,520 просмотров • 18 дней назад

兄弟们，DeepSeek V4 Pro在ZenMux上免费放开了，登录就能跑，实测能替掉你80%的Claude活。视频是我早上实测的和Claude opus 4.7同时跑一个昨SaaS产品网站的任务，效果真的炸裂！说个前情，老朋友都知道我今年Claude被封过一次号，那之后我就想通一件事——API这种东西绑死在单一厂商手里是给自己埋雷，付费用户说封就封，申诉通道石沉大海，深夜破防一次就够了。从那之后我转战聚合平台，试了一圈最后留在ZenMux，半年用下来没再折腾过。所以这次V4 Pro在ZenMux上免费开放，对我来说不是又一个新模型上线，是我一直在用的平台又多了一张能打的牌，顺手就想推给兄弟们。先说V4 Pro到底值不值得冲，这几天X上吹V4 Pro的推刷屏了，参数跑分价格屠杀，都是同一个模板。但对我这种每个月真金白银付API账单的人来说，跑分都是虚的，能不能替掉我手头项目里的Claude调用才是真问题。免费窗口就是用来验证这件事的，我这昨天就干了一件事——用ZenMux的PK模式把V4 Pro、GPT-5.4、Claude Opus 4.6摆在同一屏，拿自己项目里最头疼的prompt开跑，三栏并排输出，谁快谁慢谁token烧得少一眼看完。四个场景跑完结论很清晰——日常80%的活V4 Pro能接，便宜到让我下不去手再用Opus，剩下20%极限稳定性的关键链路我还是留给Claude兜底。这就是模型分层，上周讲Ling的时候也提过这个逻辑，2026年不存在一个模型打天下，只存在你工具箱里的模型组合。顺便说说ZenMux这平台为啥值得留下来。 PK模式是第一个杀手锏，三家模型同屏对比这种功能市面上很少有平台做，每次选模型省我一整个下午，比自己写脚本调三家API再人肉对比快十倍。真正让我踏实的是保险赔付机制，模型输出异常或者延时拉胯，平台自动检测并补偿。被Claude封过号之后再看到这个设计，感觉完全不一样，出问题有人兜底，不用再深夜破防。再加上日志、成本、用量、性能四个维度的可观测性做得细，每一笔钱烧在哪、每一次请求卡在哪点开就能看，调prompt和选型的时候非常好使。回到这次的白嫖窗口， DeepSeek V4 Pro和Flash都有免费版，每天有用量限制但够你跑测试。这几天想验证要不要换模型的兄弟，别再刷跑分推了，自己扔几个真实prompt进去跑一遍，十分钟你就知道该不该换，比谁的测评都诚实🌚 免费入口老规矩评论区自取⬇️ #DeepSeekV4 #ZenMux #AI #大模型 #Agent

兄弟们，DeepSeek V4 Pro在ZenMux上免费放开了，登录就能跑，实测能替掉你80%的Claude活。视频是我早上实测的和Claude opus 4.7同时跑一个昨SaaS产品网站的任务，效果真的炸裂！说个前情，老朋友都知道我今年Claude被封过一次号，那之后我就想通一件事——API这种东西绑死在单一厂商手里是给自己埋雷，付费用户说封就封，申诉通道石沉大海，深夜破防一次就够了。从那之后我转战聚合平台，试了一圈最后留在ZenMux，半年用下来没再折腾过。所以这次V4 Pro在ZenMux上免费开放，对我来说不是又一个新模型上线，是我一直在用的平台又多了一张能打的牌，顺手就想推给兄弟们。先说V4 Pro到底值不值得冲，这几天X上吹V4 Pro的推刷屏了，参数跑分价格屠杀，都是同一个模板。但对我这种每个月真金白银付API账单的人来说，跑分都是虚的，能不能替掉我手头项目里的Claude调用才是真问题。免费窗口就是用来验证这件事的，我这昨天就干了一件事——用ZenMux的PK模式把V4 Pro、GPT-5.4、Claude Opus 4.6摆在同一屏，拿自己项目里最头疼的prompt开跑，三栏并排输出，谁快谁慢谁token烧得少一眼看完。四个场景跑完结论很清晰——日常80%的活V4 Pro能接，便宜到让我下不去手再用Opus，剩下20%极限稳定性的关键链路我还是留给Claude兜底。这就是模型分层，上周讲Ling的时候也提过这个逻辑，2026年不存在一个模型打天下，只存在你工具箱里的模型组合。顺便说说ZenMux这平台为啥值得留下来。 PK模式是第一个杀手锏，三家模型同屏对比这种功能市面上很少有平台做，每次选模型省我一整个下午，比自己写脚本调三家API再人肉对比快十倍。真正让我踏实的是保险赔付机制，模型输出异常或者延时拉胯，平台自动检测并补偿。被Claude封过号之后再看到这个设计，感觉完全不一样，出问题有人兜底，不用再深夜破防。再加上日志、成本、用量、性能四个维度的可观测性做得细，每一笔钱烧在哪、每一次请求卡在哪点开就能看，调prompt和选型的时候非常好使。回到这次的白嫖窗口， DeepSeek V4 Pro和Flash都有免费版，每天有用量限制但够你跑测试。这几天想验证要不要换模型的兄弟，别再刷跑分推了，自己扔几个真实prompt进去跑一遍，十分钟你就知道该不该换，比谁的测评都诚实🌚 免费入口老规矩评论区自取⬇️ #DeepSeekV4 #ZenMux #AI #大模型 #Agent

AYi

132,811 просмотров • 3 месяцев назад