Loading video...

Video Failed to Load

Go Home

把你各处 AI 编程工具产生的 token 与花费记录汇总、可视化，按月份、项目、会话、模型层层下钻。 能读取 OpenCode、Claude Code、Codex、Hermes、GitHub Copilot、pi-agent、OpenClaw 等工具在本地留下的记录，还可以合并 CSV/JSONL 请求日志。 按月份、日、项目、会话、模型展示花费，提供趋势叠加（日/周/月图表、日历花费热力图、模型/服务商/来源排名）、成本占比与内联花费条、单会话模型组合与 token 拆解，以及递归子代理成本树。

geekbb's profile picture

Geek

114,868 subscribers

10,503 views • 1 month ago •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Comments

No comments available

Comments from the original post will appear here

Related Videos

GitHub 暴涨 29 k Stars，只做了一个事—让你免费白嫖 Claude Code。 原理很简单：它在你和 Claude Code 之间架一层代理，所有 API 请求不往 Anthropic 走，转去 17 个第三方提供商的免费模型。界面、体验、工具调用全保留，但钱一分不用花。 亮点：免费模型池涵盖 NVIDIA、Gemini、DeepSeek 等。支持本地模型（Ollama / LM Studio），甚至可以连 Discord 远程写代码。Admin 面板一键配置，零门槛上车。 适合人群：心疼订阅费的独立开发者、想低成本体验 Agent 编程的学生党、本地模型玩家。 ⚠️ 需自行申请各提供商的 API Key。免费额度有限，重度用户慎入。
0:22

GitHub 暴涨 29 k Stars，只做了一个事—让你免费白嫖 Claude Code。 原理很简单：它在你和 Claude Code 之间架一层代理，所有 API 请求不往 Anthropic 走，转去 17 个第三方提供商的免费模型。界面、体验、工具调用全保留，但钱一分不用花。 亮点：免费模型池涵盖 NVIDIA、Gemini、DeepSeek 等。支持本地模型（Ollama / LM Studio），甚至可以连 Discord 远程写代码。Admin 面板一键配置，零门槛上车。 适合人群：心疼订阅费的独立开发者、想低成本体验 Agent 编程的学生党、本地模型玩家。 ⚠️ 需自行申请各提供商的 API Key。免费额度有限，重度用户慎入。

HankAI

18,380 views • 2 months ago

好像很多人不知道 OpenCode，简单介绍一下。 OpenCode 是基于 MIT 协议完全开源 100% 免费的 AI 编程智能体。无任何 LLM 厂商绑定，可以连接国内、外、和本地模型，还提供了免费模型可试用。任何费用只来自模型订阅。 它是全托管的 Vibe Coding 编程范式，对标工具是 Claude Code。支持 CLI版本、桌面版本、插件版本。 非常适合国内玩家体验 Vibe Coding。
0:36

好像很多人不知道 OpenCode，简单介绍一下。 OpenCode 是基于 MIT 协议完全开源 100% 免费的 AI 编程智能体。无任何 LLM 厂商绑定，可以连接国内、外、和本地模型，还提供了免费模型可试用。任何费用只来自模型订阅。 它是全托管的 Vibe Coding 编程范式，对标工具是 Claude Code。支持 CLI版本、桌面版本、插件版本。 非常适合国内玩家体验 Vibe Coding。

程序员老熊

53,065 views • 5 months ago

Hermes Web UI 更新到 v0.5.28 了今天连更两版 🎉新增 xAI Grok OAuth 登录，支持 SuperGrok 订阅用户授权，并更新 Grok 模型预设 v0.5.282026-05-17 新增 Bridge 会话级模型设置，每个会话可以独立保存 provider 和 model 在 Bridge 会话列表中右键会话，选择“设置模型”即可为当前会话切换模型 运行时会自动校验会话模型是否可用；不可用时回退到当前默认模型并更新会话 上下文压缩默认跟随当前 Profile 的默认选中模型 v0.5.262026-05-17 聊天历史和 Markdown 渲染支持 Windows 与本地媒体路径 过滤空 Assistant 历史消息，并在新运行开始时清理旧的压缩状态 配置与 Profile 写入新增文件锁，降低并发写入导致配置损坏的风险 新增 QQBot 与钉钉频道设置 CLI 端口检测改为跨平台实现，并优化移动端终端抽屉尺寸 隔离 Bridge Profile 环境，并修复不同 Python 环境下的 Hermes 插件发现 Gateway 停止状态新增 Web UI 诊断说明，并保持日志加载状态稳定 修复会话重置模式选项、自定义 Provider Base URL 处理和动态投递目标 聊天输入栏新增本地保存的工具调用记录显示开关 支持未找到源码目录时使用包安装的 Hermes Agent 新增 xAI Grok OAuth 登录，支持 SuperGrok 订阅用户授权，并更新 Grok 模型预设 扩展浏览器、聊天流式、Provider、Gateway、配置、插件和 Bridge 测试覆盖
0:59

Hermes Web UI 更新到 v0.5.28 了今天连更两版 🎉新增 xAI Grok OAuth 登录，支持 SuperGrok 订阅用户授权，并更新 Grok 模型预设 v0.5.282026-05-17 新增 Bridge 会话级模型设置，每个会话可以独立保存 provider 和 model 在 Bridge 会话列表中右键会话，选择“设置模型”即可为当前会话切换模型 运行时会自动校验会话模型是否可用；不可用时回退到当前默认模型并更新会话 上下文压缩默认跟随当前 Profile 的默认选中模型 v0.5.262026-05-17 聊天历史和 Markdown 渲染支持 Windows 与本地媒体路径 过滤空 Assistant 历史消息，并在新运行开始时清理旧的压缩状态 配置与 Profile 写入新增文件锁，降低并发写入导致配置损坏的风险 新增 QQBot 与钉钉频道设置 CLI 端口检测改为跨平台实现，并优化移动端终端抽屉尺寸 隔离 Bridge Profile 环境，并修复不同 Python 环境下的 Hermes 插件发现 Gateway 停止状态新增 Web UI 诊断说明，并保持日志加载状态稳定 修复会话重置模式选项、自定义 Provider Base URL 处理和动态投递目标 聊天输入栏新增本地保存的工具调用记录显示开关 支持未找到源码目录时使用包安装的 Hermes Agent 新增 xAI Grok OAuth 登录，支持 SuperGrok 订阅用户授权，并更新 Grok 模型预设 扩展浏览器、聊天流式、Provider、Gateway、配置、插件和 Bridge 测试覆盖

libapi

26,957 views • 3 months ago

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.
1:26

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

karminski-牙医

14,175 views • 8 months ago

刚刚，Meta开源了一个30B本地端侧Agent模型：Muse Glimmer，能看屏幕、调工具、失败了会自己重试 从Muse Spark专门针对Agent能力蒸馏出来的，在单张消费级GPU（Mac/ PC）上能跑，无需联网 与同尺寸级的Gemma4-31B、Qwen3.6-27B对比，在智能体、编程、多模态、安全和推理等多个基准上表现强劲 多模态输入（文本+图像），能理解屏幕截图、图表、文档，支持OpenClaw等、100+语言 支持本地代理、函数调用、本地编程、LLM评判等场景 搭载DFlash推测解码，在RTX 5090上速度快了3.1倍 #MuseGlimmer #meta最新开源模型
1:54

刚刚，Meta开源了一个30B本地端侧Agent模型：Muse Glimmer，能看屏幕、调工具、失败了会自己重试 从Muse Spark专门针对Agent能力蒸馏出来的，在单张消费级GPU（Mac/ PC）上能跑，无需联网 与同尺寸级的Gemma4-31B、Qwen3.6-27B对比，在智能体、编程、多模态、安全和推理等多个基准上表现强劲 多模态输入（文本+图像），能理解屏幕截图、图表、文档，支持OpenClaw等、100+语言 支持本地代理、函数调用、本地编程、LLM评判等场景 搭载DFlash推测解码，在RTX 5090上速度快了3.1倍 #MuseGlimmer #meta最新开源模型

AIGCLINK

22,181 views • 12 days ago

这次我用 Qwen3.8-Max 完成了三个代码项目，其中最直观的是一个类似《我的世界》的网页游戏。 游戏已经具备完整的可玩性： 角色可以移动、跳跃和探索地图，也可以挖掘、放置方块、切换物品，并使用背包与合成系统。 地形能够自动生成，基础的生存机制也已经实现。 另外两个项目分别是可交互的 3D AI 芯片展示，以及读取19个真实来源的多模态供应商评审系统。 Qwen3.8-Max 还是个开源模型，国产模型真是越来越强了。
3:13

这次我用 Qwen3.8-Max 完成了三个代码项目，其中最直观的是一个类似《我的世界》的网页游戏。 游戏已经具备完整的可玩性： 角色可以移动、跳跃和探索地图，也可以挖掘、放置方块、切换物品，并使用背包与合成系统。 地形能够自动生成，基础的生存机制也已经实现。 另外两个项目分别是可交互的 3D AI 芯片展示，以及读取19个真实来源的多模态供应商评审系统。 Qwen3.8-Max 还是个开源模型，国产模型真是越来越强了。

雪踏乌云

68,246 views • 1 month ago

这是一个支持 200+ 模型的完全免费开源 AI 视频工作室。 图生图、文生视频、对口型、电影镜头、工作流编排，五个 studio 覆盖完整创作链路。支持 Flux、Midjourney、Kling、Sora、Veo 等 200 多个模型，没有内容审查，提示词不会被拦截或修改。 可以自托管，也可以下载桌面端。本地推理走 sd.cpp 和 Wan2GP，Mac M 系列能跑，有 CUDA 的 Windows/Linux 也能跑。 🔗
0:37

这是一个支持 200+ 模型的完全免费开源 AI 视频工作室。 图生图、文生视频、对口型、电影镜头、工作流编排，五个 studio 覆盖完整创作链路。支持 Flux、Midjourney、Kling、Sora、Veo 等 200 多个模型，没有内容审查，提示词不会被拦截或修改。 可以自托管，也可以下载桌面端。本地推理走 sd.cpp 和 Wan2GP，Mac M 系列能跑，有 CUDA 的 Windows/Linux 也能跑。 🔗

出海去孵化器

18,193 views • 3 months ago

如何免费获得AI API和Token？答案就在这里！ 推荐一款超级实用的AI工具 —— AIClient2API 它能把你免费账号（Gemini、Grok、Kiro里的Claude、Antigravity等）直接变成标准OpenAI兼容API接口，完美支持： OpenClaw OpenWebUI Cherry-Studio NextChat Cline 等任意工具 真正实现“无限”Token（通过账号池智能轮询+自动故障转移，每天几千次请求不是梦）！ 零成本白嫖高级模型：Claude Opus 4.5、Gemini 3.0 Pro 等客户端专享模型，全都能用API调用！ GitHub项目地址（星标已7.1k+，持续更新）： 一键部署：Docker 3分钟搞定，带Web UI可视化管理账号池、模型路由、日志监控。 想免费玩转本地AI客户端？强烈推荐分享这个项目！ 转发给需要的朋友，一起省钱高效玩AI～
1:48

如何免费获得AI API和Token？答案就在这里！ 推荐一款超级实用的AI工具 —— AIClient2API 它能把你免费账号（Gemini、Grok、Kiro里的Claude、Antigravity等）直接变成标准OpenAI兼容API接口，完美支持： OpenClaw OpenWebUI Cherry-Studio NextChat Cline 等任意工具 真正实现“无限”Token（通过账号池智能轮询+自动故障转移，每天几千次请求不是梦）！ 零成本白嫖高级模型：Claude Opus 4.5、Gemini 3.0 Pro 等客户端专享模型，全都能用API调用！ GitHub项目地址（星标已7.1k+，持续更新）： 一键部署：Docker 3分钟搞定，带Web UI可视化管理账号池、模型路由、日志监控。 想免费玩转本地AI客户端？强烈推荐分享这个项目！ 转发给需要的朋友，一起省钱高效玩AI～

Vincent

20,473 views • 4 months ago

看到一个很牛逼的开源项目，完全契合HTML是新一代Markdown的理念。 如何做呢？ 你可以将你obsidian笔记甚至代码库交给它，它会通过多agent分析、生成一个对话的交互式知识图谱。 然后你就可以可视化地去了解整个项目的逻辑或流程，或者笔记的脉络。 不过大家要注意：第一次分析很吃token，我试着分析了下我的Reddit项目就用掉了Claude Code接近20%的周额度🤣🤣，可以切换国产模型跑。
2:02

看到一个很牛逼的开源项目，完全契合HTML是新一代Markdown的理念。 如何做呢？ 你可以将你obsidian笔记甚至代码库交给它，它会通过多agent分析、生成一个对话的交互式知识图谱。 然后你就可以可视化地去了解整个项目的逻辑或流程，或者笔记的脉络。 不过大家要注意：第一次分析很吃token，我试着分析了下我的Reddit项目就用掉了Claude Code接近20%的周额度🤣🤣，可以切换国产模型跑。

Yanhua

11,435 views • 2 months ago

OpenClaw的底层是Pi Pi是什么？ Pi 是 OpenClaw 的核心底层引擎（Agent Engine），提供以下基础能力： 模型抽象 - 统一接口调用不同大模型（Claude、GPT、Gemini 等） 流式推理 - 实时响应的推理机制 Agent Loop - 思考-行动-观察的循环架构 工具执行 - Read/Write/Edit/Bash 等基础工具的原语支持 关系类比 Pi = 汽车的引擎（让它能跑起来） OpenClaw = 车身+交通规则（会话管理、IM 集成、工具链、沙箱等） Pi 的设计哲学是"核心极小，但能长出来"——底层能力收敛到最少的原语，但可通过插件和工具链无限扩展。
2:04

OpenClaw的底层是Pi Pi是什么？ Pi 是 OpenClaw 的核心底层引擎（Agent Engine），提供以下基础能力： 模型抽象 - 统一接口调用不同大模型（Claude、GPT、Gemini 等） 流式推理 - 实时响应的推理机制 Agent Loop - 思考-行动-观察的循环架构 工具执行 - Read/Write/Edit/Bash 等基础工具的原语支持 关系类比 Pi = 汽车的引擎（让它能跑起来） OpenClaw = 车身+交通规则（会话管理、IM 集成、工具链、沙箱等） Pi 的设计哲学是"核心极小，但能长出来"——底层能力收敛到最少的原语，但可通过插件和工具链无限扩展。

苏打白.Dev

34,213 views • 6 months ago

大佬huangserva 开源的这个项目很有可玩性。 只花了不到2个小时就重新搭建了一个3D汉服的网站。 方法简单介绍一下： 1/ 将大佬的开源项目地址扔给CodeX或者Agent，告诉它：请先阅读一下这个Github项目，然后模仿这个项目，帮我做一个3D汉服展示的网站，功能要求与原项目一致，语言改成中文，并重新调整复合汉服审美的UI。 2/ 在混元3D网站上将图片生成3D模型GLB文件并下载。地址： 3/ 将下载的GLB文件上传到你已经开发好的网站就可以了。 效果可能没有原项目好，但做项目展示够用了。
0:43

大佬huangserva 开源的这个项目很有可玩性。 只花了不到2个小时就重新搭建了一个3D汉服的网站。 方法简单介绍一下： 1/ 将大佬的开源项目地址扔给CodeX或者Agent，告诉它：请先阅读一下这个Github项目，然后模仿这个项目，帮我做一个3D汉服展示的网站，功能要求与原项目一致，语言改成中文，并重新调整复合汉服审美的UI。 2/ 在混元3D网站上将图片生成3D模型GLB文件并下载。地址： 3/ 将下载的GLB文件上传到你已经开发好的网站就可以了。 效果可能没有原项目好，但做项目展示够用了。

李岳

52,600 views • 3 months ago

顺便梳理一下现在企图通过开源复现 Sora 的三个项目，分别是： Open-Sora Plan 由北大-兔展AIGC联合实验室共同发起，目前推出了 1.0 版本的模型，同时发布了一个名为MagicTime项目，从Time-lapse 视频中学习真实世界的物理知识。 Mira 腾讯推出的项目，目前的模型可以生成分辨率为 128x80 的长达 20 秒的视频和分辨率为 384x240 的长达 10 秒的视频。同时提供了数据标注和模型训练的工具。 Open-Sora Colossal-AI 团队牵头的项目，目前发布了 1.1 模型，支持 2s~15s，144p 到 720p，任何宽高比文本到图像，文本到视频，图像到视频，视频到视频，无限时间生成的版本。
1:07

顺便梳理一下现在企图通过开源复现 Sora 的三个项目，分别是： Open-Sora Plan 由北大-兔展AIGC联合实验室共同发起，目前推出了 1.0 版本的模型，同时发布了一个名为MagicTime项目，从Time-lapse 视频中学习真实世界的物理知识。 Mira 腾讯推出的项目，目前的模型可以生成分辨率为 128x80 的长达 20 秒的视频和分辨率为 384x240 的长达 10 秒的视频。同时提供了数据标注和模型训练的工具。 Open-Sora Colossal-AI 团队牵头的项目，目前发布了 1.1 模型，支持 2s~15s，144p 到 720p，任何宽高比文本到图像，文本到视频，图像到视频，视频到视频，无限时间生成的版本。

歸藏(guizang.ai)

24,243 views • 2 years ago

🚀 OpenCodex v1.0.2 正式发布！ 我们把 Codex Desktop 的「原生能力、第三方模型、语音交互、会话管理」整合进了一套完整的本地工作流！ ⚡️ 【本地网关】原生 & 第三方无缝切换 • 原生 GPT 通道始终保留，第三方模型自由切换。127.0.0.1 纯本地监听 + macOS Keychain 凭据安全存储，支持一键还原原生 🎙️ 【全局语音 AI】刘海 HUD 交互体验 • 刘海 HUD 动态波形（Listening / Thinking / Speaking） • 支持短按连续对话 / 长按 Push-to-Talk 模式，所有模型统一支持 🧠 【会话管理】历史上下文无缝承接 • 一键扫描并导入本地历史 Agent 会话 • 智能生成摘要，过滤冗余日志，可直接在 Codex Desktop 中无缝接续工作 #codex #chatgpt #opencodex
4:55

🚀 OpenCodex v1.0.2 正式发布！ 我们把 Codex Desktop 的「原生能力、第三方模型、语音交互、会话管理」整合进了一套完整的本地工作流！ ⚡️ 【本地网关】原生 & 第三方无缝切换 • 原生 GPT 通道始终保留，第三方模型自由切换。127.0.0.1 纯本地监听 + macOS Keychain 凭据安全存储，支持一键还原原生 🎙️ 【全局语音 AI】刘海 HUD 交互体验 • 刘海 HUD 动态波形（Listening / Thinking / Speaking） • 支持短按连续对话 / 长按 Push-to-Talk 模式，所有模型统一支持 🧠 【会话管理】历史上下文无缝承接 • 一键扫描并导入本地历史 Agent 会话 • 智能生成摘要，过滤冗余日志，可直接在 Codex Desktop 中无缝接续工作 #codex #chatgpt #opencodex

Ryanxlll2

37,298 views • 26 days ago

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。
1:35

阶跃星辰开源了一个130B 语音-文本的多模态模型 ：Step-Audio 这是一个集成语音识别、语义理解、对话生成、语音克隆、音频编辑和语音合成等功能的全能语音模型。 该模型通过多模态训练，使得语音理解与生成可以无缝对接。 主要能力： 语音克隆 支持多种语言对话（中文英日） 情绪控制与语调控制 支持方言 可控制语速及韵律风格 支持RAP和哼唱等 集成了工具调用和角色扮演能力，能够高效管理复杂的任务和对话。 Step-Audio 在多个基准测试中表现出色，尤其是在开放域问答、复杂指令任务和语音合成（TTS）方面取得了显著的进展。

小互

35,755 views • 1 year ago

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。 最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。 支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。 并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。 另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。 并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。 提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。
0:51

想让 AI 帮我们自动操作浏览器，比如抓取数据或填写表单，过去需要编写复杂的 Selenium 或 Puppeteer 代码，门槛确实不低。 最近在 GitHub 发现 BrowserWing 这个开源项目，可以充当了 LLM 大模型与本地浏览器之间的桥梁。 支持可视化脚本录制，能像按录像机一样记录我们在浏览器的操作，随后可直接回放或转为脚本，无需我们手写代码。 并且支持 MCP 和 Skills 协议，可以让 Claude 等 AI 助手直接接管浏览器，用自然语言指令完成“打开网页、搜索内容、提取数据” 等任务。 另外还支持智能数据提取，利用模型做内容分析，兼容 OpenAI、Claude 等多个模型。 并且提供稳定的会话管理，能处理 Cookie 和数据存储，可以一直保持登录状态。 提供 npm、pnpm 安装方式，也有 Linux、macOS、Windows 的一键安装脚本，或者直接下载预编译包运行。

GitHubDaily

20,013 views • 7 months ago

Google刚发布了 Gemma 4，260 亿参数，开源免费， 能在本地设备上离线运行。 讲真，这才是 2026 年最合理的 AI 技术栈: 本地模型兜底，顶级模型按需调用。 但我认为参数和免费都不是重点， 真正值得注意的是它原生支持函数调用， 意味着这个模型能自主使用工具，浏览网页，执行代码，调用 API，直接充当一个完整的本地智能体，全程不联网，全程不花钱。 260 亿参数，实测性能对标 6850 亿参数级别的行业顶级模型，跑在普通笔记本上就行。 部署只要三行命令： - 安装 Ollama： - curl -fsSL | sh - 拉取模型： ollama pull gemma4 两分钟，顶级本地 AI 就绑在你自己的硬件上了。 我计划的用法是这样的，欢迎交流： 日常的研究分析、代码审查、文稿起草、数据处理， 全扔给本地 Gemma 4，用 MCP 服务器接上工具调用能力，网页浏览、数据库对接、API 接入都能覆盖，只有遇到真正需要顶级推理的硬核任务时，才请 Claude Code 出场。 以前每个月在 AI 服务上花几百美元，现在 90% 的日常场景本地免费搞定，只为那 10% 的高难度任务付费。
2:51

Google刚发布了 Gemma 4，260 亿参数，开源免费， 能在本地设备上离线运行。 讲真，这才是 2026 年最合理的 AI 技术栈: 本地模型兜底，顶级模型按需调用。 但我认为参数和免费都不是重点， 真正值得注意的是它原生支持函数调用， 意味着这个模型能自主使用工具，浏览网页，执行代码，调用 API，直接充当一个完整的本地智能体，全程不联网，全程不花钱。 260 亿参数，实测性能对标 6850 亿参数级别的行业顶级模型，跑在普通笔记本上就行。 部署只要三行命令： - 安装 Ollama： - curl -fsSL | sh - 拉取模型： ollama pull gemma4 两分钟，顶级本地 AI 就绑在你自己的硬件上了。 我计划的用法是这样的，欢迎交流： 日常的研究分析、代码审查、文稿起草、数据处理， 全扔给本地 Gemma 4，用 MCP 服务器接上工具调用能力，网页浏览、数据库对接、API 接入都能覆盖，只有遇到真正需要顶级推理的硬核任务时，才请 Claude Code 出场。 以前每个月在 AI 服务上花几百美元，现在 90% 的日常场景本地免费搞定，只为那 10% 的高难度任务付费。

AYi

202,627 views • 4 months ago

大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期9——生成配置 #大型语言模型与生成式AI 这个视频介绍了如何利用配置参数影响大型语言模型（LLM）的输出。每个模型都有一套可以在推理时调用的配置参数，包括“Max new tokens”（最大新标记数）等。视频还讨论了贪婪解码和随机抽样等解码方式，以及如何使用top k和top p抽样技术限制随机抽样并增加输出有意义的可能性。此外，还介绍了一个名为“temperature”的参数，可以控制模型输出的随机性。温度越高，随机性越大；温度越低，随机性越小。这些知识可以帮助我们更好地理解和控制模型生成的内容，提高其性能。 课程地址： 播放列表：
7:57

大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期9——生成配置 #大型语言模型与生成式AI 这个视频介绍了如何利用配置参数影响大型语言模型（LLM）的输出。每个模型都有一套可以在推理时调用的配置参数，包括“Max new tokens”（最大新标记数）等。视频还讨论了贪婪解码和随机抽样等解码方式，以及如何使用top k和top p抽样技术限制随机抽样并增加输出有意义的可能性。此外，还介绍了一个名为“temperature”的参数，可以控制模型输出的随机性。温度越高，随机性越大；温度越低，随机性越小。这些知识可以帮助我们更好地理解和控制模型生成的内容，提高其性能。 课程地址： 播放列表：

宝玉

12,463 views • 3 years ago

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法 文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)： 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集： 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置： 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控： 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择： 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用： 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型： 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)： 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。
24:14

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法 文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)： 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集： 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置： 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控： 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择： 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用： 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型： 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)： 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 views • 2 years ago

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。 这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。 它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。 这样就可以让用户和 AI 在任意模态下实时进行交互： 你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。 核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分： 前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应 后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容 用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。
2:15

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。 这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。 它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。 这样就可以让用户和 AI 在任意模态下实时进行交互： 你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。 核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分： 前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应 后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容 用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 views • 3 months ago