Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

HackerNews 上面的这个热门文章：推荐大家看下，作者创建了一种 Context Mode 来节省上下文 token 当调用 MCP 的时候，工具调用会从两个方向消耗上下文窗口，输入和输出都会耗费 token。作者的解决方案是：Context Mode 在 Claude Code 和外部工具输出之间再添加一层，核心目标是防止原始大块数据进入上下文窗口，实现高达 98% 的上下文节省主要的实现原理： 1 沙箱隔离执行，每个工具调用在独立的子进程中运行，支持 10 种语言运行时（JS、Python 等），只把 stdout 结果返回，原始输出数据留在沙箱内不进上下文。 2 知识库 + 精简输出：使用 SQLite FTS5 虚拟表 + BM25 排名 + Porter stemming 对 Markdown 内容建索引，模型需要时再精准拉取代码块，而不是塞摘要或全文。作者的测试数据： Playwright 快照：56 KB → 299... show more

Viking

68,353 subscribers

36,612 просмотров • 7 месяцев назад •via X (Twitter)

Наука и технологии

Anya Rossi• Live Now

Private livecam show

Комментарии: 6

Фото профиля Jerlin

Jerlin7 месяцев назад

CC 似乎自带了简单的机制，比如调试代码结果很长的话，它会输出一个txt路径而不是塞一长串噪音进来。

Фото профиля Gilfoyle

Gilfoyle7 месяцев назад

这是工具本身设计不好，工具的Output就应该没有冗余信息。不过加一个过滤层这个想法不错，有很多进入Context的信息都可以过滤一下。

Фото профиля yanno

yanno7 месяцев назад

今天刚好在用 MCP + Playwright 做网页抓取，工具输出把上下文塞满是真实痛点。这个 98% 压缩率如果稳定，会是标配。收藏了，等项目稳定了用起来。

Фото профиля home12

home127 месяцев назад

MCP 确实费 token，特别是多工具并行时，这种 Context 优化方案很及时。

Фото профиля 每日AI技能

每日AI技能7 месяцев назад

Context Mode思路很好！MCP工具调用确实很费token，尤其是多工具组合时上下文窗口很快就爆了。这种按需加载的方式能大幅降低成本。期待看到更多实测数据！

Фото профиля Yanchen

Yanchen7 месяцев назад

这篇很有启发。我在浏览器自动化里体感最有效的是压缩工具调用开销：会话复用 + 命令链式调用 + CDP 模式，端到端通常会明显更快。我们做了可复现实测，有需要我可以发 prompt/脚本。

Похожие видео

所有VibeCoding都应该看下这篇文章，我觉得有很多知识和方法论可以学习。这篇文章是Varick AI Agents的CTO 写的，系统地总结了利用 Claude Code 进行高效开发的实战策略。 Eyad Khrais 强调先思考、后编码的核心理念，建议在执行任务前通过“计划模式”明确架构逻辑，而非盲目输入。文件的配置技巧，指出该文件应作为动态的“项目指南”，通过简洁且带有意图说明的指令来引导模型。关键内容总结： 1. 先思考，后行动 (Think First) 这是使用 AI 工具最关键的一步。绝大多数人犯的错误是直接开始输入，而不是先进行规划。启用计划模式 (Plan Mode)：连按两次 Shift + Tab 进入计划模式。花费 5 分钟进行规划，可以节省后续数小时的调试时间。架构至上（这也是我说的需求至上）：在要求 Claude 构建功能之前，必须先确定架构。如果输入模糊（如“建一个认证系统”），输出质量会很差；如果输入具体（指定模型、存储方式、中间件等），输出会显著提升。输入决定输出：如果你得到了糟糕的代码，通常是因为你的提示词或规划（输入）很差。 2. 掌握文件是 Claude 在每次会话开始前都会阅读的“入职材料”，决定了项目的成败。保持简短：Claude 每次只能可靠地遵循约 150-200 条指令。不要写成小说，否则它会随机忽略内容。具体且解释“为什么”：不仅要告诉它做什么（例如“使用 TypeScript 严格模式”），还要告诉它原因（例如“因为我们曾因隐式类型出过错”）。这种上下文能帮助 Claude 做出更好的判断。持续更新：这是一个活文档。每当你需要纠正 Claude 两次以上时，就按 `#` 键将该指令添加到文件中。 3. 管理上下文窗口 (Context Window) 虽然模型拥有很大的上下文窗口（如 200k token），但在达到 100% 之前很久模型就开始退化了。退化阈值**：大约在 **20-40% 的上下文使用率**时，输出质量就开始下降。应对策略：限定范围：每个对话只专注一个功能或任务。外部记忆：使用 ` 或 ` 等文件记录进度，以便跨会话延续工作。重置技巧：当上下文变得臃肿时，复制关键信息，运行 `/compact`（压缩），然后 `/clear`（清除）上下文，最后粘贴回关键信息。这比在退化的上下文中挣扎要好得多。经常清除：一旦对话偏离轨道，立即清除并重新开始。 4. 提示词工程与模型选择明确需求：具体说明你想要什么，并明确指出**不要做什么**（例如“不要过度设计”、“不要增加不必要的抽象”）。模型分工： Opus：适合复杂的推理、规划和架构决策。 Sonnet：更快更便宜，适合在架构确定后的具体执行和代码编写。工作流：使用 Opus 进行规划，然后按 Shift+Tab 切换到 Sonnet 进行实施。 5. 高级工具与自动化利用所有功能：尝试使用 MCP（连接外部服务如 GitHub、数据库）、Hooks（在代码更改前后自动运行 Prettier 或类型检查）和自定义斜杠命令（将常用提示词打包）。无头模式 (Headless Mode)：使用 `-p` 标志在非交互模式下运行 Claude，将其集成到脚本和自动化工作流中（如自动 PR 审查、日志更新）。 6. 摆脱死循环当 Claude 陷入循环或持续出错时，**不要**继续增加指令或施压。改变方法：清除上下文（`/clear`），简化任务，或者自己写一个最小化的示例代码展示给它看（Show instead of tell）。

所有VibeCoding都应该看下这篇文章，我觉得有很多知识和方法论可以学习。这篇文章是Varick AI Agents的CTO 写的，系统地总结了利用 Claude Code 进行高效开发的实战策略。 Eyad Khrais 强调先思考、后编码的核心理念，建议在执行任务前通过“计划模式”明确架构逻辑，而非盲目输入。文件的配置技巧，指出该文件应作为动态的“项目指南”，通过简洁且带有意图说明的指令来引导模型。关键内容总结： 1. 先思考，后行动 (Think First) 这是使用 AI 工具最关键的一步。绝大多数人犯的错误是直接开始输入，而不是先进行规划。启用计划模式 (Plan Mode)：连按两次 Shift + Tab 进入计划模式。花费 5 分钟进行规划，可以节省后续数小时的调试时间。架构至上（这也是我说的需求至上）：在要求 Claude 构建功能之前，必须先确定架构。如果输入模糊（如“建一个认证系统”），输出质量会很差；如果输入具体（指定模型、存储方式、中间件等），输出会显著提升。输入决定输出：如果你得到了糟糕的代码，通常是因为你的提示词或规划（输入）很差。 2. 掌握文件是 Claude 在每次会话开始前都会阅读的“入职材料”，决定了项目的成败。保持简短：Claude 每次只能可靠地遵循约 150-200 条指令。不要写成小说，否则它会随机忽略内容。具体且解释“为什么”：不仅要告诉它做什么（例如“使用 TypeScript 严格模式”），还要告诉它原因（例如“因为我们曾因隐式类型出过错”）。这种上下文能帮助 Claude 做出更好的判断。持续更新：这是一个活文档。每当你需要纠正 Claude 两次以上时，就按 `#` 键将该指令添加到文件中。 3. 管理上下文窗口 (Context Window) 虽然模型拥有很大的上下文窗口（如 200k token），但在达到 100% 之前很久模型就开始退化了。退化阈值：大约在 20-40% 的上下文使用率时，输出质量就开始下降。应对策略：限定范围：每个对话只专注一个功能或任务。外部记忆：使用 ` 或 ` 等文件记录进度，以便跨会话延续工作。重置技巧：当上下文变得臃肿时，复制关键信息，运行 `/compact`（压缩），然后 `/clear`（清除）上下文，最后粘贴回关键信息。这比在退化的上下文中挣扎要好得多。经常清除：一旦对话偏离轨道，立即清除并重新开始。 4. 提示词工程与模型选择明确需求：具体说明你想要什么，并明确指出不要做什么（例如“不要过度设计”、“不要增加不必要的抽象”）。模型分工： Opus：适合复杂的推理、规划和架构决策。 Sonnet：更快更便宜，适合在架构确定后的具体执行和代码编写。工作流：使用 Opus 进行规划，然后按 Shift+Tab 切换到 Sonnet 进行实施。 5. 高级工具与自动化利用所有功能：尝试使用 MCP（连接外部服务如 GitHub、数据库）、Hooks（在代码更改前后自动运行 Prettier 或类型检查）和自定义斜杠命令（将常用提示词打包）。无头模式 (Headless Mode)：使用 `-p` 标志在非交互模式下运行 Claude，将其集成到脚本和自动化工作流中（如自动 PR 审查、日志更新）。 6. 摆脱死循环当 Claude 陷入循环或持续出错时，不要**继续增加指令或施压。改变方法：清除上下文（`/clear`），简化任务，或者自己写一个最小化的示例代码展示给它看（Show instead of tell）。

比特币橙子Trader

28,007 просмотров • 8 месяцев назад

我刚才发现自己有了ChatGPT昨天发布的GPTs联动的功能，试了一下确实强大。下面用一个例子看一下如何使用和具体能力，还有一个对简中用户比较重要的操作。我自己看论文会先下载下来让ChatGPT总结，然后会用宝玉的科技文章翻译GPTs对总结的内容进行精细的翻译，以前完成这两步起码需要我切两个窗口，然后复制粘贴一次。现在我只需要在总结完成后输入“@”找到需要的GPTs，输入要求就可以在一次对话中完成，甚至我还可以再搞一个自动发推的GPTs在ChatGPT直接将翻译内容发到推特上。最后一个对简中用户不太友好的BUG：拉起GPTs选择的时候你输入的“@”符号需要在英文输入法下才能调用这个功能，中文输入法下面没办法拉起GPTs选择，OpenAI做产品是真的糙。

我刚才发现自己有了ChatGPT昨天发布的GPTs联动的功能，试了一下确实强大。下面用一个例子看一下如何使用和具体能力，还有一个对简中用户比较重要的操作。我自己看论文会先下载下来让ChatGPT总结，然后会用宝玉的科技文章翻译GPTs对总结的内容进行精细的翻译，以前完成这两步起码需要我切两个窗口，然后复制粘贴一次。现在我只需要在总结完成后输入“@”找到需要的GPTs，输入要求就可以在一次对话中完成，甚至我还可以再搞一个自动发推的GPTs在ChatGPT直接将翻译内容发到推特上。最后一个对简中用户不太友好的BUG：拉起GPTs选择的时候你输入的“@”符号需要在英文输入法下才能调用这个功能，中文输入法下面没办法拉起GPTs选择，OpenAI做产品是真的糙。

歸藏(guizang.ai)

49,750 просмотров • 2 лет назад

很多人可能不知道，你和Codex的聊天记录隐藏了大量节省上下文token消耗的方法输入下面这段提示词，让 Codex 找出过去 30 天的重复工作，并判断该做成 skill、subagent、还是自动化任务。之后，你的工作效率将大幅提升： “检查我最近 30 天的 Codex 会话、Memories、Chronicle，以及已有的 Skills、Agents 和 Automations。找出至少重复出现两次、耗时、容易出错、需要大量上下文的人工工作。对每个候选项给出：实际证据和日期、出现频率、适合做成 Skill / Agent / Automation，或者暂时跳过、预计能节省什么。先输出候选清单，不要直接修改文件。只保留高置信度、输入稳定、流程可重复、结果可验收的任务”

很多人可能不知道，你和Codex的聊天记录隐藏了大量节省上下文token消耗的方法输入下面这段提示词，让 Codex 找出过去 30 天的重复工作，并判断该做成 skill、subagent、还是自动化任务。之后，你的工作效率将大幅提升： “检查我最近 30 天的 Codex 会话、Memories、Chronicle，以及已有的 Skills、Agents 和 Automations。找出至少重复出现两次、耗时、容易出错、需要大量上下文的人工工作。对每个候选项给出：实际证据和日期、出现频率、适合做成 Skill / Agent / Automation，或者暂时跳过、预计能节省什么。先输出候选清单，不要直接修改文件。只保留高置信度、输入稳定、流程可重复、结果可验收的任务”

Sac

99,911 просмотров • 1 месяц назад

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 просмотров • 4 месяцев назад

强，字节刚刚开源了一款“ChatGPT Pulse”类工具： MineContext，它会主动推送洞察、日/周总结、待办、活动记录等信息以每日总结、每周回顾、关键Tips或待办事项等形式，主动推送到主页 MineContext具有上下文感知能力，它目前基于屏幕截图+内容理解，看到看懂用户数字世界的上下文，再基于底层的上下文工程框架，进行主动推送未来会支持其他来源的多模态信息，文档、图片、视频、代码、外部应用数据等无感收集，开启后，它会在后台自动收集上下文，无需进行任何额外操作智能浮现，当需要创作或查找资料时，它可以智能浮现出相关历史上下文，以辅助创作比ChatGPT Pulse，MineContext所有的数据都会经过压缩后保存在本地，更具安全性 MineContext等于把沉默的电脑数据变成了随时可用的第二大脑，学生或研究者可以用来辅助构建知识体系，内容创作者可以用来提供灵感、优化工作流等 #MineContext #AI信息推送助手

强，字节刚刚开源了一款“ChatGPT Pulse”类工具： MineContext，它会主动推送洞察、日/周总结、待办、活动记录等信息以每日总结、每周回顾、关键Tips或待办事项等形式，主动推送到主页 MineContext具有上下文感知能力，它目前基于屏幕截图+内容理解，看到看懂用户数字世界的上下文，再基于底层的上下文工程框架，进行主动推送未来会支持其他来源的多模态信息，文档、图片、视频、代码、外部应用数据等无感收集，开启后，它会在后台自动收集上下文，无需进行任何额外操作智能浮现，当需要创作或查找资料时，它可以智能浮现出相关历史上下文，以辅助创作比ChatGPT Pulse，MineContext所有的数据都会经过压缩后保存在本地，更具安全性 MineContext等于把沉默的电脑数据变成了随时可用的第二大脑，学生或研究者可以用来辅助构建知识体系，内容创作者可以用来提供灵感、优化工作流等 #MineContext #AI信息推送助手

AIGCLINK

35,881 просмотров • 1 год назад

看我作为一个 AI 博主是如何用飞书 + 【可联网的】DeepSeek R1 搭建简单自动化工作流提升工作效率的作为一个 AI 博主，日常一大部分工作是阅读和分享各种海外的AI资讯，这就少不了要翻译各种英文文章。之前我很多操作是手动的，比如复制粘贴文章到 Markdown 编辑器，然后从编辑器复制到 DeepSeek R1 或者 ChatGPT 去翻译，再改写后发布。之前看 orange ai 分享的飞书多维表格接入 DeepSeek R1 的教程，【加上这周飞书的AI直播】，按照我自己的场景定制了几个工作流，最开始只是简单的文本翻译，后来发现也能用支持从图片提取文字，那意味着我可以直接先把图片转成文字，再基于翻译好的文本用 DeepSeek R1 翻译。简单设置后就成功了。再后来我甚至更进一步，直接从 URL 抓取内容，然后借助 DeepSeek R1 翻译，最后甚至还可以把翻译后的文章用各种不同的文章风格改写，使用的时候只要输入 URL 就可以自动生成一篇高质量的文章，是真的很方便。具体来说，就是飞书在添加字段的时候，可以选 ShortCuts（中文可能对应的是“快捷方式”），然后从快捷方式中选择各种不同的工具，比如说 AI 抓取、DeepSeek R1、图片 OCR、图片生成、抠图等等，并且你可以设置某个字段的内容为输入，以及自定义提示词。就像我前面自动从 URL 生成文章的流程，主要有这样几个字段： - URL：输入 URL - 原始网页内容（AI Web Link Reader）：从输入的 URL 中提取标题、内容为 Markdown 文本 - 翻译为中文（DeepSeek R1）：将抓取后的 Markdown 文本翻译为中文 - 翻译为中文 - 输出结果：DeepSeek R1 的输出结果 - 风格改写（DeepSeek R1）：将翻译后的内容用指定的风格改写，阅读起来更自然 - 风格改写 - 输出结果：DeepSeek R1 的输出结果除了上面的 URL 生成文章外，里面还包含了几个不同的常用工作流： - 将输入的文本内容翻译为中文 - 将输入的图片内容翻译为中文 - 生成多条爆款标题供选择工作流的飞书模板链接🔗我放在了评论，建议你也可以试试，应该可以发掘出不少有意思的场景。⬇️

看我作为一个 AI 博主是如何用飞书 + 【可联网的】DeepSeek R1 搭建简单自动化工作流提升工作效率的作为一个 AI 博主，日常一大部分工作是阅读和分享各种海外的AI资讯，这就少不了要翻译各种英文文章。之前我很多操作是手动的，比如复制粘贴文章到 Markdown 编辑器，然后从编辑器复制到 DeepSeek R1 或者 ChatGPT 去翻译，再改写后发布。之前看 orange ai 分享的飞书多维表格接入 DeepSeek R1 的教程，【加上这周飞书的AI直播】，按照我自己的场景定制了几个工作流，最开始只是简单的文本翻译，后来发现也能用支持从图片提取文字，那意味着我可以直接先把图片转成文字，再基于翻译好的文本用 DeepSeek R1 翻译。简单设置后就成功了。再后来我甚至更进一步，直接从 URL 抓取内容，然后借助 DeepSeek R1 翻译，最后甚至还可以把翻译后的文章用各种不同的文章风格改写，使用的时候只要输入 URL 就可以自动生成一篇高质量的文章，是真的很方便。具体来说，就是飞书在添加字段的时候，可以选 ShortCuts（中文可能对应的是“快捷方式”），然后从快捷方式中选择各种不同的工具，比如说 AI 抓取、DeepSeek R1、图片 OCR、图片生成、抠图等等，并且你可以设置某个字段的内容为输入，以及自定义提示词。就像我前面自动从 URL 生成文章的流程，主要有这样几个字段： - URL：输入 URL - 原始网页内容（AI Web Link Reader）：从输入的 URL 中提取标题、内容为 Markdown 文本 - 翻译为中文（DeepSeek R1）：将抓取后的 Markdown 文本翻译为中文 - 翻译为中文 - 输出结果：DeepSeek R1 的输出结果 - 风格改写（DeepSeek R1）：将翻译后的内容用指定的风格改写，阅读起来更自然 - 风格改写 - 输出结果：DeepSeek R1 的输出结果除了上面的 URL 生成文章外，里面还包含了几个不同的常用工作流： - 将输入的文本内容翻译为中文 - 将输入的图片内容翻译为中文 - 生成多条爆款标题供选择工作流的飞书模板链接🔗我放在了评论，建议你也可以试试，应该可以发掘出不少有意思的场景。⬇️

宝玉

87,596 просмотров • 1 год назад

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 просмотров • 2 лет назад

我让 GPT-6 Astra 和 Claude Fable 5.1 审同一份代码，Astra 的账单便宜了 26.4%。点开日志，Astra 的 9,832 个输出 token 里，有 7,250 个属于推理，占 73.7%，扣掉推理后，剩下的 token 大约是 Fable 的一半。这次对照是在 ZenMux 上跑的，同一个 key 可以切模型，调用记录能展开每项费用，方便把两边放在一起核算。后面接入 Codex，又查了一次模型定价接口，我找到了另外两处只看总账单容易忽略的成本。先说审代码这次。测试材料是我自己项目里的自动评分器，163 行 Python，公开在 GitHub 的 ling-fin-eval 仓库。左边 GPT-6 Astra，右边 Claude Fable 5.1，同一段 prompt 同时发，要求把问题分三类，每条给确切行号和理由，没把握的明确写“未验证”，不要自行补全。 Astra 报了 20 条，另列 4 条未验证；Fable 报了 37 条，并逐条标注把握程度。两边的账单和输出放在一起，是这样。项目GPT-6 Astra，Claude Fable 5.1 总费用0.5331 美元，0.7245 美元输出 token9,832，13,278 推理 token7,250，8386 输出减去推理2,582，4,892 Astra 这次确实少花了 26.4%，总输出 token 也更少。我又做了一个折算。按 output token 包含 reasoning token 的口径，用总费用除以两者相减后的 token 数，再换算成每百万 token。 Astra 是 206.47 美元，Fable 是 148.10 美元，前者高出 39.4%。这个数只表示本次总费用分摊到非推理输出后的成本。，它依赖两边字段口径一致，也不能直接代表审查质量。回答长短、问题条数都只是表面数量，误报和遗漏需要逐条核验。这组数据让我对“输出更少”多留了一个心眼，只看 9,832 和 13,278，会漏掉输出内部的构成。 ZenMux 在这里省了接入和对账的步骤，我可以在同一个平台切模型，再展开两条调用记录看费用，实际参数和缓存状态仍要单独记录，同一个 key 不会自动让这些条件一致。接下来这笔更直观。我把 Codex 接到 ZenMux，问了一个很简单的问题：“用一句话说明 norm() 函数做了什么。” 它答对了，还给出了第 7 行。我回源核过，行号精确命中。其中一条调用记录的费用是 0.2482515 美元，拆开如下。费用项token 数，费用（美元）占比缓存读取 input_cache_read 182,934，0.182934，73.7% 缓存写入 input_cache_write，3,519 0.0439875 17.7% 输出 completion，413，0.020650 8.3%普通输入 prompt68，0.000680，0.3% 合计0.2482515 100% 输出费用只占 8.3%，大约十二分之一，缓存读取和写入合计占了 91.4%。这条记录中的输入类 token 加起来有 186,521 个，对照我只问了一句函数解释，这个输入量很值得继续查。 Agent 请求会携带上下文，系统提示、skills 清单、AGENTS.md 和读入的文件，都可能贡献输入，但仅凭费用表，还不能确定它们各占多少。缓存读取占比高，也不能直接判成缓存浪费，这里读缓存的单价是普通输入的十分之一。需要继续检查的是，任务带入了哪些上下文，其中多少确实需要。有了逐项账单，排查方向就清楚了。这条记录里，输出只占很小一部分，输入上下文值得优先检查，整次任务花了多少钱，则要把相关请求一起算进去。第三处发现来自定价接口，也纠正了我自己的一个推断。 ZenMux 模型页给 Astra 标出的价格区间是输入 10 至 20、输出 50 至 75 美元／百万 token，我最初把这个区间理解成了 low、medium、high 等推理档位，还专门去问了品牌方。后来查了公开的 models 接口，定价条件写的是 prompt_tokens。截至 2026 年 9 月 6 日，Astra 的定义如下，单位均为美元／百万 token。费用项，单次请求 prompt < 272K 单次请求 prompt ≥ 272K 输入10，20 缓存写入，12.5，25 缓存读取1，2输出50，75 这个区间对应长上下文阶梯，达到 272K 后，输入和缓存单价翻倍，输出单价上涨 50%。接口列出的这组价格条件没有按 effort 分档，effort 仍可能改变实际使用的 token 数，进而影响总费用。 272K 要对照单次请求的 prompt token，不能拿整个 agent 任务多次请求的累计输入来比较。不同模型的阶梯也要逐个看，这张表只适用于接口当前列出的 Astra 定义。超过门槛后的实际扣费，我没有另外发请求验证。这几笔账查完，我用 ZenMux 的理由更具体了，换模型时可以沿用同一个 key，跑完以后能在同一个地方对照调用记录，再追到输入、推理、缓存和各项单价。推理 token 数也能从部分官方 API 的 usage 字段里拿到，例如 OpenAI 就有相应字段，ZenMux 对我这次工作的帮助，是把多模型调用和费用查看集中起来，减少自己整理不同接口数据的步骤。限时充值活动：充 50 美元得 70（送 20）充 100 美元得 150（送 50）限 9.4-9.11 ，一共是7天，每个账号限兑一次活动入口和当前状态以官网为准： #ZenMux

我让 GPT-6 Astra 和 Claude Fable 5.1 审同一份代码，Astra 的账单便宜了 26.4%。点开日志，Astra 的 9,832 个输出 token 里，有 7,250 个属于推理，占 73.7%，扣掉推理后，剩下的 token 大约是 Fable 的一半。这次对照是在 ZenMux 上跑的，同一个 key 可以切模型，调用记录能展开每项费用，方便把两边放在一起核算。后面接入 Codex，又查了一次模型定价接口，我找到了另外两处只看总账单容易忽略的成本。先说审代码这次。测试材料是我自己项目里的自动评分器，163 行 Python，公开在 GitHub 的 ling-fin-eval 仓库。左边 GPT-6 Astra，右边 Claude Fable 5.1，同一段 prompt 同时发，要求把问题分三类，每条给确切行号和理由，没把握的明确写“未验证”，不要自行补全。 Astra 报了 20 条，另列 4 条未验证；Fable 报了 37 条，并逐条标注把握程度。两边的账单和输出放在一起，是这样。项目GPT-6 Astra，Claude Fable 5.1 总费用0.5331 美元，0.7245 美元输出 token9,832，13,278 推理 token7,250，8386 输出减去推理2,582，4,892 Astra 这次确实少花了 26.4%，总输出 token 也更少。我又做了一个折算。按 output token 包含 reasoning token 的口径，用总费用除以两者相减后的 token 数，再换算成每百万 token。 Astra 是 206.47 美元，Fable 是 148.10 美元，前者高出 39.4%。这个数只表示本次总费用分摊到非推理输出后的成本。，它依赖两边字段口径一致，也不能直接代表审查质量。回答长短、问题条数都只是表面数量，误报和遗漏需要逐条核验。这组数据让我对“输出更少”多留了一个心眼，只看 9,832 和 13,278，会漏掉输出内部的构成。 ZenMux 在这里省了接入和对账的步骤，我可以在同一个平台切模型，再展开两条调用记录看费用，实际参数和缓存状态仍要单独记录，同一个 key 不会自动让这些条件一致。接下来这笔更直观。我把 Codex 接到 ZenMux，问了一个很简单的问题：“用一句话说明 norm() 函数做了什么。” 它答对了，还给出了第 7 行。我回源核过，行号精确命中。其中一条调用记录的费用是 0.2482515 美元，拆开如下。费用项token 数，费用（美元）占比缓存读取 input_cache_read 182,934，0.182934，73.7% 缓存写入 input_cache_write，3,519 0.0439875 17.7% 输出 completion，413，0.020650 8.3%普通输入 prompt68，0.000680，0.3% 合计0.2482515 100% 输出费用只占 8.3%，大约十二分之一，缓存读取和写入合计占了 91.4%。这条记录中的输入类 token 加起来有 186,521 个，对照我只问了一句函数解释，这个输入量很值得继续查。 Agent 请求会携带上下文，系统提示、skills 清单、AGENTS.md 和读入的文件，都可能贡献输入，但仅凭费用表，还不能确定它们各占多少。缓存读取占比高，也不能直接判成缓存浪费，这里读缓存的单价是普通输入的十分之一。需要继续检查的是，任务带入了哪些上下文，其中多少确实需要。有了逐项账单，排查方向就清楚了。这条记录里，输出只占很小一部分，输入上下文值得优先检查，整次任务花了多少钱，则要把相关请求一起算进去。第三处发现来自定价接口，也纠正了我自己的一个推断。 ZenMux 模型页给 Astra 标出的价格区间是输入 10 至 20、输出 50 至 75 美元／百万 token，我最初把这个区间理解成了 low、medium、high 等推理档位，还专门去问了品牌方。后来查了公开的 models 接口，定价条件写的是 prompt_tokens。截至 2026 年 9 月 6 日，Astra 的定义如下，单位均为美元／百万 token。费用项，单次请求 prompt < 272K 单次请求 prompt ≥ 272K 输入10，20 缓存写入，12.5，25 缓存读取1，2输出50，75 这个区间对应长上下文阶梯，达到 272K 后，输入和缓存单价翻倍，输出单价上涨 50%。接口列出的这组价格条件没有按 effort 分档，effort 仍可能改变实际使用的 token 数，进而影响总费用。 272K 要对照单次请求的 prompt token，不能拿整个 agent 任务多次请求的累计输入来比较。不同模型的阶梯也要逐个看，这张表只适用于接口当前列出的 Astra 定义。超过门槛后的实际扣费，我没有另外发请求验证。这几笔账查完，我用 ZenMux 的理由更具体了，换模型时可以沿用同一个 key，跑完以后能在同一个地方对照调用记录，再追到输入、推理、缓存和各项单价。推理 token 数也能从部分官方 API 的 usage 字段里拿到，例如 OpenAI 就有相应字段，ZenMux 对我这次工作的帮助，是把多模型调用和费用查看集中起来，减少自己整理不同接口数据的步骤。限时充值活动：充 50 美元得 70（送 20）充 100 美元得 150（送 50）限 9.4-9.11 ，一共是7天，每个账号限兑一次活动入口和当前状态以官网为准： #ZenMux

阿良｜AI 工作流

70,332 просмотров • 23 дней назад

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

52,216 просмотров • 2 лет назад

最近拿 StepFun 的 Step 3.7 Flash 跑了一次完整的自动编程流水线，从需求文档到能用的工具，65 分钟，中间没碰键盘。先说模型。Step 3.7 Flash 的定位是把 Agent 工作流从头跑到尾：规划、写代码、跑测试、审代码、出错重试，看的是整条流程跑完的综合效率。原生多模态，开源可部署。Agent 循环一次要调几百次模型，快和便宜在这里不是锦上添花，是能不能跑得起的问题。再说项目。hero-coding 是我用 Go 写的一个自动编程流水线：输入一份 Markdown 需求文档，四个 Agent 执行——Planner 把需求拆成带依赖关系的小任务，Worker 在独立的 git worktree 里写代码提交，Verifier 跑测试出硬证据，Reviewer 审 diff，通过就合入主干，不过就打回重做。四个角色全部由 Step 3.7 Flash 驱动，区别只是 system prompt 和工具权限。这次给它的需求：做一个 Agent 运行日志分析工具，读日志文件，统计每个 Agent 的调用次数、成功率、平均耗时、token 消耗，找出最慢和最不稳定的 Agent。实际跑下来： · Planner 把需求拆成 6 个任务，自动排好依赖顺序 · 6 个任务全部自动交付，逐个合入主干 · 期间 Reviewer 打回 5 次——有测试全绿但被审出正确性问题的，有只改测试期望值想糊弄过去被拒收的，全部在重试轮次内自动修复 · 不是一个模型在自言自语，是多个 Agent 在互相检查，而且检查真的拦住了东西 · 最终产出的 CLI 直接能用，视频结尾是它分析真实日志的输出视频是完整过程的运行日志。国内: 海外： StepFun

最近拿 StepFun 的 Step 3.7 Flash 跑了一次完整的自动编程流水线，从需求文档到能用的工具，65 分钟，中间没碰键盘。先说模型。Step 3.7 Flash 的定位是把 Agent 工作流从头跑到尾：规划、写代码、跑测试、审代码、出错重试，看的是整条流程跑完的综合效率。原生多模态，开源可部署。Agent 循环一次要调几百次模型，快和便宜在这里不是锦上添花，是能不能跑得起的问题。再说项目。hero-coding 是我用 Go 写的一个自动编程流水线：输入一份 Markdown 需求文档，四个 Agent 执行——Planner 把需求拆成带依赖关系的小任务，Worker 在独立的 git worktree 里写代码提交，Verifier 跑测试出硬证据，Reviewer 审 diff，通过就合入主干，不过就打回重做。四个角色全部由 Step 3.7 Flash 驱动，区别只是 system prompt 和工具权限。这次给它的需求：做一个 Agent 运行日志分析工具，读日志文件，统计每个 Agent 的调用次数、成功率、平均耗时、token 消耗，找出最慢和最不稳定的 Agent。实际跑下来： · Planner 把需求拆成 6 个任务，自动排好依赖顺序 · 6 个任务全部自动交付，逐个合入主干 · 期间 Reviewer 打回 5 次——有测试全绿但被审出正确性问题的，有只改测试期望值想糊弄过去被拒收的，全部在重试轮次内自动修复 · 不是一个模型在自言自语，是多个 Agent 在互相检查，而且检查真的拦住了东西 · 最终产出的 CLI 直接能用，视频结尾是它分析真实日志的输出视频是完整过程的运行日志。国内: 海外： StepFun

劳伦斯

52,280 просмотров • 3 месяцев назад

阿里发布 Qwen3.8-LiveTranslate实时语音翻译模型：一边听、一边译、一边说这次升级集中在四项能力：分清谁在说话：流式区分多位说话人，并让译文语音尽量保留各自音色；原文译文同步出现：同一条数据流同时返回源语言识别结果与目标语言译文，便于字幕核对与内容整理；用前文和画面消歧：结合长上下文与静态图像帧，处理指代、专名和同音词；减少流式等待：把音频和文字交替放进同一条处理流，复用已经听过的音频和已经生成的译文；在 FLEURS 测试中，译文平均落后原话的时间从上一代的 2.8 秒降到 2.3 秒。种支持与覆盖范围系统对不同语种提供三种能力：音频输入 · 60 种：可以把这些语言作为源语音送入模型；文字输出 · 60 种：可以返回这些目标语言的翻译文本；语音输出 · 29 种：只有这个子集可以进一步合成目标语言语音。

阿里发布 Qwen3.8-LiveTranslate实时语音翻译模型：一边听、一边译、一边说这次升级集中在四项能力：分清谁在说话：流式区分多位说话人，并让译文语音尽量保留各自音色；原文译文同步出现：同一条数据流同时返回源语言识别结果与目标语言译文，便于字幕核对与内容整理；用前文和画面消歧：结合长上下文与静态图像帧，处理指代、专名和同音词；减少流式等待：把音频和文字交替放进同一条处理流，复用已经听过的音频和已经生成的译文；在 FLEURS 测试中，译文平均落后原话的时间从上一代的 2.8 秒降到 2.3 秒。种支持与覆盖范围系统对不同语种提供三种能力：音频输入 · 60 种：可以把这些语言作为源语音送入模型；文字输出 · 60 种：可以返回这些目标语言的翻译文本；语音输出 · 29 种：只有这个子集可以进一步合成目标语言语音。

小互

28,676 просмотров • 11 дней назад

在硅谷科技圈社交的觥筹交错之中，小龙虾之父🦞 Peter Steinberger 🦞 打开自己的电脑，分享了他和 Agent 一起工作的几个流程。开篇他就提到：去年，我受限于 token。我通过加入 OpenAI 解决了这个问题。后来，我受限于 CPU。现在我感觉，真正限制我的其实是注意力。他点出了我们与 AI 协作方式中正在发生的一个重要转变。大多数人以为自己在使用 AI。但实际上，他们还在做那些未来应该由 agent 接手的协调工作。我把它整理成一个 7 层阶梯。看看你现在在哪一层。第 1 层：聊天你提问，它回答。其他事情还是你自己做。第 2 层：上下文你把背景信息贴进去，它的回答变好了。但你仍然要决定什么上下文重要，以及什么时候提供。第 3 层：记忆它开始记住你。你不用反复解释那么多。但你仍然在管理每一次会话。第 4 层：工具它可以搜索、读文件、运行代码。但你仍然要决定什么时候调用工具、为了什么调用工具，以及如何检查每一个结果。第 5 层：技能skill 你已经给了它一些工作流程和 playbook。它知道你的工作方式，而不只是你问了什么。但它仍然是被动的，还在等你启动。第 6 层：后台工作它可以在你不盯着看的情况下运行，异步执行。你审核的是输出，而不是过程。现在大多数关于 “agentic” 的炒作，其实都集中在这一层，而且大多数团队还没有真正达到。第 7 层：目标你定义结果、约束和品味。agent 负责跑完整个循环。你不再管理任务，而是管理方向。每往上一层，你做的任务管理就更少，承担的结果 ownership 就更多。这不只是工具能力的变化，而是你和工具、你和自己时间之间关系的根本变化。大多数人还停留在第 2 层或第 3 层，却把这叫作“使用 AI”。大多数团队还停留在第 4 层或第 5 层，却把这叫作“AI-powered”。真正的突破，是建立一种更好的 delegation contract，把人从执行者释放出来，变成方向的定义者。那么：你现在在哪一层呢？

在硅谷科技圈社交的觥筹交错之中，小龙虾之父🦞 Peter Steinberger 🦞 打开自己的电脑，分享了他和 Agent 一起工作的几个流程。开篇他就提到：去年，我受限于 token。我通过加入 OpenAI 解决了这个问题。后来，我受限于 CPU。现在我感觉，真正限制我的其实是注意力。他点出了我们与 AI 协作方式中正在发生的一个重要转变。大多数人以为自己在使用 AI。但实际上，他们还在做那些未来应该由 agent 接手的协调工作。我把它整理成一个 7 层阶梯。看看你现在在哪一层。第 1 层：聊天你提问，它回答。其他事情还是你自己做。第 2 层：上下文你把背景信息贴进去，它的回答变好了。但你仍然要决定什么上下文重要，以及什么时候提供。第 3 层：记忆它开始记住你。你不用反复解释那么多。但你仍然在管理每一次会话。第 4 层：工具它可以搜索、读文件、运行代码。但你仍然要决定什么时候调用工具、为了什么调用工具，以及如何检查每一个结果。第 5 层：技能skill 你已经给了它一些工作流程和 playbook。它知道你的工作方式，而不只是你问了什么。但它仍然是被动的，还在等你启动。第 6 层：后台工作它可以在你不盯着看的情况下运行，异步执行。你审核的是输出，而不是过程。现在大多数关于 “agentic” 的炒作，其实都集中在这一层，而且大多数团队还没有真正达到。第 7 层：目标你定义结果、约束和品味。agent 负责跑完整个循环。你不再管理任务，而是管理方向。每往上一层，你做的任务管理就更少，承担的结果 ownership 就更多。这不只是工具能力的变化，而是你和工具、你和自己时间之间关系的根本变化。大多数人还停留在第 2 层或第 3 层，却把这叫作“使用 AI”。大多数团队还停留在第 4 层或第 5 层，却把这叫作“AI-powered”。真正的突破，是建立一种更好的 delegation contract，把人从执行者释放出来，变成方向的定义者。那么：你现在在哪一层呢？

Michael Guo

17,812 просмотров • 2 месяцев назад

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

宝玉

299,583 просмотров • 3 лет назад

Google 发布 Gemma 4 12B 开源模型 16GB 笔记本跑全模态 AI Gemma 4 12B 采用了一种叫"Unified"的无编码器架构，让文字、图像、音频、视频四种输入直接进入同一个 Transformer 主干网络处理。模型可直接处理原始的图像和声音用一个类比讲清楚传统多模态模型处理图片和音频的方式，类似于一个只会中文的老板配了两个翻译：一个英文翻译（视觉编码器），一个日文翻译（音频编码器）。每次有英文或日文材料进来，必须先让翻译转成中文，老板才能看懂。翻译本身占工位（显存），翻译过程要排队等（延迟），而且老板拿到的是翻译加工过的版本，不是原文。 Gemma 4 12B 做的事情是：把两个翻译都裁了，让老板自己学会了直接看英文和日文。几个关键数字： 16GB 显存或统一内存能跑，4-bit 量化低到 8GB，目标就是在普通笔记本上本地运行 256K Token 上下文窗口，支持 140+ 种语言内置 Thinking 模式（逐步推理）和原生 Function Calling

Google 发布 Gemma 4 12B 开源模型 16GB 笔记本跑全模态 AI Gemma 4 12B 采用了一种叫"Unified"的无编码器架构，让文字、图像、音频、视频四种输入直接进入同一个 Transformer 主干网络处理。模型可直接处理原始的图像和声音用一个类比讲清楚传统多模态模型处理图片和音频的方式，类似于一个只会中文的老板配了两个翻译：一个英文翻译（视觉编码器），一个日文翻译（音频编码器）。每次有英文或日文材料进来，必须先让翻译转成中文，老板才能看懂。翻译本身占工位（显存），翻译过程要排队等（延迟），而且老板拿到的是翻译加工过的版本，不是原文。 Gemma 4 12B 做的事情是：把两个翻译都裁了，让老板自己学会了直接看英文和日文。几个关键数字： 16GB 显存或统一内存能跑，4-bit 量化低到 8GB，目标就是在普通笔记本上本地运行 256K Token 上下文窗口，支持 140+ 种语言内置 Thinking 模式（逐步推理）和原生 Function Calling

小互

57,664 просмотров • 3 месяцев назад

👼 神级Prompt多到用不完，我用Claude将它们重构了一遍 Anthropic Anthropic 将自家的提示语生成升级成了提示语优化之后，并把整个过程拆成了五步： 1️⃣ 前三步是了解用户想要什么、生成执行的流程图、从样本里学习生成规则、这时候会生成第一版提示语。我都没有输入样本，Claude 就会主动去分析预期的样本会长什么样。 2️⃣ 后面两步就更有意思了，值得单独讲讲： - 补充执行步骤的细节：这次我优化的是长文摘要的提示语，最终生成的执行步骤从阅读文本、确定信息点、列出要素、确定目标受众、分析原文语气和风格，给出合适的hook以及原因，还限制了句子数量。说实话这比我自己写推文的思路都详细。 - 动态调整输入文本、样本、输出模块在整个提示语的顺序：打个比方，Claude 会主动推测用于总结的文章内容可能会比较长，这一part就会被移动到更前面。我把优化的过程都录制下来了👇：

👼 神级Prompt多到用不完，我用Claude将它们重构了一遍 Anthropic Anthropic 将自家的提示语生成升级成了提示语优化之后，并把整个过程拆成了五步： 1️⃣ 前三步是了解用户想要什么、生成执行的流程图、从样本里学习生成规则、这时候会生成第一版提示语。我都没有输入样本，Claude 就会主动去分析预期的样本会长什么样。 2️⃣ 后面两步就更有意思了，值得单独讲讲： - 补充执行步骤的细节：这次我优化的是长文摘要的提示语，最终生成的执行步骤从阅读文本、确定信息点、列出要素、确定目标受众、分析原文语气和风格，给出合适的hook以及原因，还限制了句子数量。说实话这比我自己写推文的思路都详细。 - 动态调整输入文本、样本、输出模块在整个提示语的顺序：打个比方，Claude 会主动推测用于总结的文章内容可能会比较长，这一part就会被移动到更前面。我把优化的过程都录制下来了👇：

卡尔的AI沃茨

49,442 просмотров • 1 год назад

概念不错，一款LLM通用记忆MCP：Supermemory MCP，作用是让不同的AI，比如ChatGPT、Windsurf、Claude等之间可以共享上下文也就是说你与一个LLM的对话内容可以被其他LLM访问和使用，实现更连贯的对话体验目前，它的记忆只基于用户与LLM的互动更新，或许扩展到连接Google Drive、Notion等个人应用其使用按需搜索和检索方式，远程存储，本身没有上下文大小的限制，理论上可以提供近乎无限的上下文这个工具解决了不同AI之间记忆割裂的问题，Supermemory MCP相当于提供了一个统一的记忆解决方案，可以实现在不同AI之间共享和延续对话 #AI记忆共享 #MCP #AI记忆工具

概念不错，一款LLM通用记忆MCP：Supermemory MCP，作用是让不同的AI，比如ChatGPT、Windsurf、Claude等之间可以共享上下文也就是说你与一个LLM的对话内容可以被其他LLM访问和使用，实现更连贯的对话体验目前，它的记忆只基于用户与LLM的互动更新，或许扩展到连接Google Drive、Notion等个人应用其使用按需搜索和检索方式，远程存储，本身没有上下文大小的限制，理论上可以提供近乎无限的上下文这个工具解决了不同AI之间记忆割裂的问题，Supermemory MCP相当于提供了一个统一的记忆解决方案，可以实现在不同AI之间共享和延续对话 #AI记忆共享 #MCP #AI记忆工具

AIGCLINK

24,415 просмотров • 1 год назад

这绝对是学生党必备的GitHub开源仓库，能一站式帮你搞定搜文献、数据分析等写论文中最麻烦的步骤，而且完全免费！学生党最头疼的就是写论文和做课题研究，查文献、跑代码，一搞就是两三天，特别是有些关键数据还需要付费才可以获取而最近我在GitHub上发现了一个免费的AI科研项目，叫ScienceBuddy （PhAI Labs），专为学生和科研人员打造。你只需要在平台上上传论文和相关数据文件，并精准表达需求，ScienceBuddy就能调用Agent去专业数据库中检索文献、收集数据并运行分析代码。整个分析过程全部清晰可见，方便你随时核对视频中，我选择了相对复杂的医学研究场景对该项目进行了简单测试，想看看它处理多篇专业论文以及梳理研究证据的能力如何。在我上传相关论文后，ScienceBuddy不仅判断了选题是否可行，还将研究方法、结论和局限整理成证据表，并总结研究共识与争议，最后生成论文提纲和摘要草稿。全程运行速度非常快，相当于直接快速完成了文献综述的前期准备同时在此基础上，ScienceBuddy还帮我继续深入搜索其他文献，并完整生成了一篇3000字左右的论文综述，结果清晰而且写作格式十分专业，个人感觉完全可以直接用于正式论文里了。整体体验下来，我认为对学生来说该工具是非常必要的，能节省非常多的时间另外，ScienceBuddy背后的团队也开源了ScienceIDE，其是 ScienceBuddy 的底层框架技术，现能让Agent在7个领域的真实科研代码中练习，并通过结果能否复现来验证修改是否有效，大家感兴趣也可以看看！！！目前项目的 ScienceBuddy 相关实验代码已经在GitHub上开源，感兴趣的同学可以去官网免费体验。不过考虑到当前仍是Preview版本，分析结果请自行核验后再用于正式研究官网地址： GitHub仓库地址：

这绝对是学生党必备的GitHub开源仓库，能一站式帮你搞定搜文献、数据分析等写论文中最麻烦的步骤，而且完全免费！学生党最头疼的就是写论文和做课题研究，查文献、跑代码，一搞就是两三天，特别是有些关键数据还需要付费才可以获取而最近我在GitHub上发现了一个免费的AI科研项目，叫ScienceBuddy （PhAI Labs），专为学生和科研人员打造。你只需要在平台上上传论文和相关数据文件，并精准表达需求，ScienceBuddy就能调用Agent去专业数据库中检索文献、收集数据并运行分析代码。整个分析过程全部清晰可见，方便你随时核对视频中，我选择了相对复杂的医学研究场景对该项目进行了简单测试，想看看它处理多篇专业论文以及梳理研究证据的能力如何。在我上传相关论文后，ScienceBuddy不仅判断了选题是否可行，还将研究方法、结论和局限整理成证据表，并总结研究共识与争议，最后生成论文提纲和摘要草稿。全程运行速度非常快，相当于直接快速完成了文献综述的前期准备同时在此基础上，ScienceBuddy还帮我继续深入搜索其他文献，并完整生成了一篇3000字左右的论文综述，结果清晰而且写作格式十分专业，个人感觉完全可以直接用于正式论文里了。整体体验下来，我认为对学生来说该工具是非常必要的，能节省非常多的时间另外，ScienceBuddy背后的团队也开源了ScienceIDE，其是 ScienceBuddy 的底层框架技术，现能让Agent在7个领域的真实科研代码中练习，并通过结果能否复现来验证修改是否有效，大家感兴趣也可以看看！！！目前项目的 ScienceBuddy 相关实验代码已经在GitHub上开源，感兴趣的同学可以去官网免费体验。不过考虑到当前仍是Preview版本，分析结果请自行核验后再用于正式研究官网地址： GitHub仓库地址：

Sac

41,847 просмотров • 6 дней назад

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

GPT-Realtime-2 语音模型发布语音首次接入 GPT-5 推理能力 OpenAI一口气发布了三个实时语音模型： GPT-Realtime-2 GPT-Realtime-Translate GPT-Realtime-Whisper 其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K... GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词 GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

小互

31,189 просмотров • 4 месяцев назад

以前 Claude Code 扫一个大项目，工具调用要52次。用了 CodeGraph 之后，3次。它给 AI 编程工具加了个知识图谱——函数、变量、依赖关系全部索引化，AI 不用再一遍遍翻文件，直接查图谱。 4000个文件的项目，速度快46%，token 费用少35%。完全本地运行，代码不外传。 GitHub 23k stars，支持 Claude Code、Cursor，Windows/Mac/Linux 都能跑。你现在跑大项目，AI 扫文件慢这个问题有多严重？

以前 Claude Code 扫一个大项目，工具调用要52次。用了 CodeGraph 之后，3次。它给 AI 编程工具加了个知识图谱——函数、变量、依赖关系全部索引化，AI 不用再一遍遍翻文件，直接查图谱。 4000个文件的项目，速度快46%，token 费用少35%。完全本地运行，代码不外传。 GitHub 23k stars，支持 Claude Code、Cursor，Windows/Mac/Linux 都能跑。你现在跑大项目，AI 扫文件慢这个问题有多严重？

Vincent

81,456 просмотров • 4 месяцев назад

你们需要的推文写作神器来了：tweet-skills，它是一组自动创作技能包。这个 repo 真正在做的一件事，是把内容创作工程化。怎么说？它有 8 个 skill： - hot-topics 负责采集 - topic-research 负责调研 - opinion-generator 负责观点 - tweet-writer 负责写作 - tweet-polish 负责去 AI 味 - title-optimizer 负责标题 - tweet-closing 负责结尾 - tweet-pipeline 负责串联。每个 skill 职责明确，每个 skill 可以独立运行，每个 skill 可以单独迭代升级。这是什么思路？软件工程的思路。模块化、可复用、可测试、可迭代。 skill 就是内容创作的「函数」。pipeline 就是内容创作的「工作流」。收藏价值设计就是内容创作的「代码审查」。市面上所有 AI 写作工具，本质上都是一个巨大的 prompt 加一个输入框。你进去一堆文字，出来一段文字。 tweet-skills 不一样。它把创作过程拆成了系统。你可以看到每一步在做什么，每一步的输入输出是什么，每一步的质量标准是什么。这才是 AI 时代内容创作该有的样子。不是用 AI 替代创作，是用工程化思维重构创作。这个 repo 值 star。先收下，以后会明白我在说什么。 #skill #openclaw 源码：

你们需要的推文写作神器来了：tweet-skills，它是一组自动创作技能包。这个 repo 真正在做的一件事，是把内容创作工程化。怎么说？它有 8 个 skill： - hot-topics 负责采集 - topic-research 负责调研 - opinion-generator 负责观点 - tweet-writer 负责写作 - tweet-polish 负责去 AI 味 - title-optimizer 负责标题 - tweet-closing 负责结尾 - tweet-pipeline 负责串联。每个 skill 职责明确，每个 skill 可以独立运行，每个 skill 可以单独迭代升级。这是什么思路？软件工程的思路。模块化、可复用、可测试、可迭代。 skill 就是内容创作的「函数」。pipeline 就是内容创作的「工作流」。收藏价值设计就是内容创作的「代码审查」。市面上所有 AI 写作工具，本质上都是一个巨大的 prompt 加一个输入框。你进去一堆文字，出来一段文字。 tweet-skills 不一样。它把创作过程拆成了系统。你可以看到每一步在做什么，每一步的输入输出是什么，每一步的质量标准是什么。这才是 AI 时代内容创作该有的样子。不是用 AI 替代创作，是用工程化思维重构创作。这个 repo 值 star。先收下，以后会明白我在说什么。 #skill #openclaw 源码：

tiantian

17,822 просмотров • 5 месяцев назад