Загрузка видео...

Не удалось загрузить видео

На главную

MiroThinker 1.5:全球最强的开源研究智能体 仅 30B参数,却超越 1T 级别的 Kimi-K2-Thinking 推理成本 $0.07( 1/20 成本) 它可以自动搜索信息,然后提出假设 → 查找证据 → 验证 → 修正 → 反复验证→ 最终生成完整结果。 一次最多可调用400个工具交互... 测试了下确实有点东西啊,兄弟们 我让它: “回顾人类历史上每一次知识革命(文字、印刷、电力、互联网),请分析:AI 革命的独特性与潜在风险。它将如何改变文明的演化方向?” 它进行了几十轮的推理和搜索,其中进行了多次的反复验证和再搜索。 搜索的内容覆盖了中外的各种资料和文献 非常之牛逼 最后给我了一个完整报告 它能理解问题、规划步骤,然后调用各种工具去解决任务。 具备: 自动化信息搜索; 支持多步思考与自我纠错; 具备长时记忆与上下文理解 工具调用与执行; 研究级信息整合与评估。 通过 memory-managed multi-round reasoning: 保留最近 5 次对话上下文; 清理无关历史; 维持信息完整性与低资源开销。 这种交互循环让模型具备了“自主探究式学习(self-directed inquiry)”能力。 在...

30,992 просмотров • 7 месяцев назад •via X (Twitter)

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

国产最新的多模态模型来了!! 前两周我刚体验过国产的阶跃星辰大模型,没想到这么快他们的新模型 Step 3.7 Flash 就出了。 现在大模型一发布必卷 benchmark 分数,但真正做 Agent 的人都清楚:跑分高 ≠ 能把活干完。 所以这次阶跃星辰的新模型 Step 3.7 Flash 它再不追求单点最聪明、也不只是单次最快,而是主打“生产任务端到端执行效率”。 一个真实的 Agent 任务从来不是一次问答,而是规划 → 搜索 → 工具调用 → 代码生成 → 多模态理解 → 反复校验的完整闭环,Step 3.7 Flash 这次升级的重点是整条链路的效率,而不是某个孤立指标。 提几个我觉得挺务实的点: 1. 原生多模态模型:它可以直接处理 UI 截图、图表、仪表盘、文档,原生读懂并转成结构化输出和可执行步骤,不需要像一些模型那样外挂视觉理解 MCP,而且现在多模态是顶级模型的标配。 2. 推理加入搜索和视觉检索:网页搜索、图像搜索、视觉验证、多源信息比对,让 Agent 在开放任务里边查边验证边行动,而不是事后再接个外部工具。 3. 198B MoE、约 11B 激活参数,最高 400 TPS:稀疏激活 + 这个速度,意味着高频交互、多步工作流、反复工具调用的场景下,单位任务的成本和延迟都压得很低——快和省是一起来的。 4. 开源、可部署:生产环境要的不只是 API,还有透明度、可控性和部署灵活性。 如果你在做 AI Agent、coding 工作流、搜索类应用或多模态系统,值得用 StepFun 试试这款新模型的能力。 想看更进阶的平台能力,可以了解 Step Plan。 海外平台: 国内平台:

耳朵

12,197 просмотров • 2 месяцев назад

Ling-3.0-flash :一个更适合实际工作的 AI 执行助手 过去一段时间,大模型的发展重点一直集中在能力提升上。模型能回答什么问题、能处理多复杂的任务,成为行业关注的焦点。但随着 AI 开始进入真实工作流程,用户对于模型的期待也在发生变化:除了能够提供高质量答案,更希望它能够稳定、高效地完成具体任务。 在日常工作中,真正消耗时间的往往不是复杂问题,而是大量重复性的处理工作。例如整理资料、分析数据、生成文档、处理代码、执行流程任务。这些事情需要投入大量精力,但其中有很多环节都可以通过 AI 进行优化。 Ling-3.0-flash 的定位正是在这一方向展开。它并不是单纯追求更大的模型规模,而是聚焦 Agent 工作流中的执行效率,帮助用户将明确的任务快速推进完成。官方介绍,该模型面向长程 Agent 工作流设计,重点提升响应速度、工具调用能力以及任务执行稳定性。 从实际体验来看,它最大的特点是能够很好地融入已有工作流程,让 AI 从一个问答工具变成一个真正参与任务执行的助手。 实测一:资料整理效率明显提升 第一个测试场景是长文档处理。 在实际工作中,经常会遇到需要快速阅读大量资料的情况,例如行业报告、会议记录、产品文档等。如果完全依靠人工整理,需要花费大量时间筛选重点、提取信息,再重新组织内容。 测试过程中,我将一批较长的资料交给 Ling-3.0-flash 处理,让它完成信息提取、重点归纳和结构化整理。 整个过程比较符合实际工作习惯。它能够快速抓取文档中的核心内容,并按照任务要求整理成更加清晰的结构。尤其是在面对大量相似信息时,它可以帮助用户减少重复阅读和手动整理的时间。 这类能力对于内容运营、产品分析、市场研究等岗位非常实用。很多时候,用户并不是需要 AI 替自己完成最终判断,而是希望它先完成信息整理,把大量基础工作处理好,让人可以把精力放在更重要的分析和决策上。 实测二:代码协作更加高效 第二个体验场景是代码辅助。 AI 编程已经成为大模型应用的重要方向,但真正影响开发效率的,不只是生成代码的速度,更重要的是能否持续参与开发过程。 在测试中,我让 Ling-3.0-flash 协助完成一个简单工具开发任务,包括生成基础代码、调整功能逻辑以及根据反馈进行优化。 我需要做一个AI 会议纪要整理助手,请帮我生成代码,把会议录音转文字或会议记录,自动生成:会议摘要、决策事项、待办任务、负责人、截止时间 首字耗时:337ms·完成耗时:68984ms·每秒 token 数:371 ,Ling-3.0-flash生成的会议纪要整理助手功能完整、专业美观,支持录音转文字、AI自动生成摘要/决策/待办任务,并支持导出和多种交互功能。 实际体验下来,它更适合成为开发过程中的协作助手。开发者可以先确定整体需求和功能方向,再让 AI 快速完成代码生成、修改和补充。这样一来,开发者不需要把大量时间花在重复编码和基础调整上,而可以更多关注产品逻辑和技术方案。 这种协作方式更接近真实开发场景。人负责判断方向,AI 负责提高执行效率。 实测三:批量任务处理展现执行优势 除了开发场景,批量信息处理也是 Ling-3.0-flash 比较适合的方向。 例如整理用户反馈、分析业务数据、处理文本分类等任务,通常具有数据量大、格式相对固定的特点。 在测试中,我模拟了用户反馈整理场景,让模型对大量文本进行分类,并提炼其中的主要问题。 从结果来看,它能够快速完成信息归类,并输出较为清晰的结构化结果。 这类任务的价值在于帮助用户减少大量机械操作。以前需要人工逐条查看和整理的信息,现在可以先由 AI 完成初步处理,再由人工进行确认和优化。 对于企业团队来说,这种能力可以应用在客服分析、市场调研、内部知识整理等多个环节。 速度和效率,是 Flash 模型的重要优势 随着 AI 应用逐渐深入业务流程,模型的效率同样成为重要指标。 很多实际任务并不需要每一次都进行复杂推理,而更需要快速响应和稳定执行。例如信息分类、内容整理、数据转换等工作,如果能够以更高效率完成,就能明显提升整体生产力。 Ling-3.0-flash 支持混合思考模式,可以根据任务复杂程度调整处理方式,在响应速度和任务能力之间进行平衡。 这种设计让它更适合高频使用场景。用户可以将更多日常任务交给 AI 处理,而不必担心流程效率受到影响。 从使用体验来看,它更像一个高效执行伙伴 经过几个场景测试后,Ling-3.0-flash 给我的整体感受是,它并不是单纯提升聊天体验,而是在帮助用户重新分配工作时间。 它可以处理大量信息整理工作,可以辅助开发过程,也可以参与自动化任务执行。 对于普通用户来说,它能够减少重复操作,提高工作效率。 对于开发者来说,它能够加快开发流程,降低基础工作的时间成本。 对于企业来说,它能够帮助更多业务流程实现自动化。 未来 AI 的价值,不只是回答问题,而是逐渐参与到真实工作流程中,帮助人完成更多具体任务。 Ling-3.0-flash 所体现的方向,就是让 AI 从一个提供答案的工具,进一步成为一个能够执行任务、提升效率的工作伙伴。 官推: 感兴趣可以自己试试 👉

冰糖雪梨

15,661 просмотров • 29 дней назад

OpenAI 全新“Deep Research”重磅发布:让 ChatGPT 帮你完成多步骤深度研究 在这个信息爆炸的时代,如何用最短的时间获取最精准、最详实的信息,一直是许多知识工作者面临的难题。如今,OpenAI 带来了全新的 Deep Research 功能,让你的 ChatGPT 化身为一位“研究助理”,能够独立查找、分析并综合海量网络信息,为你提供专业且有完整参考的研究报告。下面,让我们来一起了解这项强大的新功能吧! Deep Research 能做什么? 1. 多步骤研究 相比传统的聊天式问答,Deep Research 具备强大的自主研究能力。它能够从互联网上寻找并分析数百个来源,根据实时获取的信息进行动态调整和推理。短短几十分钟内,它能完成人工需要数小时才能完成的研究工作。 2. 自动化汇总海量信息 你只需要输入研究需求,ChatGPT(在 Deep Research 模式下)就会自动去浏览海量网页、PDF、图片等信息资源,并将它们整合成一份清晰、有理有据的分析报告,犹如一位具有专业分析能力的研究员。 3. 详尽引用与文献记录 Deep Research 每一个输出都附有引用来源,并在侧边栏展示搜索、分析过程,方便你查看、验证信息。同时也提供思路概述,保证研究过程的透明度与可追溯性。 4. 个性化、多场景适用 无论你是做金融、科学、政策、工程等领域的深度研究,还是想为购物(例如汽车、家电或家具等大件商品)做细致比对,Deep Research 都能胜任。它还擅长挖掘各类小众且不直观的信息,只需一次查询,就能节省你大量的时间和精力。 为什么它如此重要? 1. 效率大幅提升 普通用户在网络上搜集信息可能需要自己筛选资料、反复验证。Deep Research 通过自动化的搜寻和分析,大幅缩短研究时间,让你把更多精力放在思考与决策上。 2. 减少重复劳动 Deep Research 擅长处理那些需要浏览无数个网页、文件的繁琐任务。比如撰写报告、整理数据、查找论文资料、对比不同产品参数等。以前这些工作往往让人头疼,现在只需一次提问,就能得到系统、条理化的研究成果。 3. 助力专业领域 该功能在化学、人文社科、数学等众多专业领域都表现出色,尤其在需要检索专业文献、综合多方信息的复杂任务中,让研究人员更轻松、更高效。 4. 迈向真正的“通用人工智能” OpenAI 一直致力于开发具备创造全新知识能力的通用人工智能(AGI)。Deep Research 作为其新里程碑,进一步展现了 AI 在多领域多模态研究中的潜力,为未来更先进的 AI 系统奠定了基础。 如何使用 Deep Research? 1. 选择 Deep Research 模式 在 ChatGPT 界面中,找到消息输入区域的模式选项,选择“Deep Research”。然后在对话框输入你的研究需求。 2. 附加背景文件/数据 如果你有特定的文件、电子表格或参考资料,也可以上传给 Deep Research。它会结合这些材料,为你做更有针对性的深度分析。 3. 查看研究过程与报告 当 Deep Research 开始运行后,聊天界面会出现一个侧边栏,展示它搜索到的来源以及每一步的推理过程,让你随时掌握研究进展。 一般它会花 5~30 分钟进行深度研究,然后返回一份完整的报告,附带详细引用。如果任务很耗时,你也可以先去忙别的事,等它研究完成再回来查看结果。 4. 报告输出形式 初始版本以文字报告为主,在接下来几周内,Deep Research 将支持在报告中插入图片、数据可视化图表以及其他分析产出,让研究结果更加直观、生动。 技术原理与表现 1. 强化学习驱动 Deep Research 通过端到端强化学习训练,掌握了如何在复杂的网络环境中进行多步搜索和推理,遇到新情况时也能灵活应对。 2. 新的评测成绩 • 在 Humanity’s Last Exam 测试中,为 Deep Research 提供支持的模型取得了 26.6% 的准确率,远超上一代模型的表现。 • 在 GAIA 基准上,它也刷新了排行榜记录,证明了在多模态理解和使用工具(如浏览器、Python)等方面更具突破性。 3. 专业领域的进一步提升 一些专业人士反馈,使用 Deep Research 可以在短时间内完成原本需要数小时的调查工作,无论是找文献还是分析数据,效率提升显著。 注意事项及局限性 1. 依然存在幻觉或错误推断 虽然 Deep Research 生成“错误事实”或逻辑漏洞的概率比现有 ChatGPT 模型更低,但仍有可能出现。用户在使用时应保持警惕,尤其在严谨的学术或商业环境下,要对关键信息进行交叉验证。 2. 区分谣言与权威信息的能力有限 模型仍然可能对信息来源缺乏足够判断力,需要用户根据实际情况和专业常识来判断信息的可信度。 3. 报告格式与耗时 首批上线版本可能会出现小规模的格式问题或引用异常,研究任务也可能因为深度搜索而启动较慢。官方表示,会随着使用量的增加和时间的推移迅速改进这些问题。 谁能访问 Deep Research? 1. Pro 用户率先上线 目前 Deep Research 首先向 ChatGPT Pro 用户开放,每月可使用高达 100 个查询额度。 2. 逐步覆盖更多付费用户 之后会依次向 Plus 和 Team 用户开放,随后是企业版。OpenAI 也在努力面向英国、瑞士以及欧洲经济区的用户开放访问权限。 3. 进一步的扩容 OpenAI 计划推出一个使用更小模型、速度更快且成本更低的 Deep Research 版本,届时所有付费用户都会有更高的调用额度。 后续计划 1. 更广泛的平台支持 Deep Research 目前仅在 ChatGPT 网页端上线,官方将在未来一个月内把这项功能带到移动端与桌面端。 2. 接入更多数据源 不仅能访问互联网的公开信息和用户上传的文件,今后还会扩展到订阅或内网资源,让报告更具深度与个性化。 3. 与其他代理能力融合 OpenAI 正在开发的 Operator 功能,能够在现实世界中执行任务。当 Operator 与 Deep Research 结合,ChatGPT 将可以自主进行更复杂的在线与线下任务,为用户提供更全面的“智能助理”体验。 Deep Research 的到来,让我们看到了一个可以代替人工执行复杂、多步骤研究任务的 AI 时代正逐渐变成现实。无论你是需要大量文献支撑的研究工作者,还是想要做精细购物决策的普通用户,都能借助这个工具大幅提升效率。它不仅代表着 ChatGPT 的新能力,也标志着人类向更高水平的通用人工智能迈出了重要一步。对知识工作者来说,这将是一股全新的生产力,也是人工智能赋能未来的又一有力见证。 想要率先体验 Deep Research 的朋友,如果你是 ChatGPT Pro 用户,不妨立刻去试试看;如果尚未获得资格,也可以继续关注官方更新,相信不久后就有机会亲自感受这项强大的功能啦!

宝玉

67,531 просмотров • 1 год назад

我看到有人在让“Claude Code”自己开新进程 `claude -p `实现多任务,其实没必要,有更简单的办法。这个简单办法就是让它自己开子 Agent。Claude Code 现在有 18 个工具,最特殊的一个工具叫 Task,它本质就是一个 Claude Code 的克隆工具,只不过是作为 Claude Code 的一个工具。 如果你懂递归的话就很好理解。如果你不懂递归,可以这么理解:Claude Code 是个 AI 程序员,它可以用一堆工具,其中最神奇的一个工具叫 Task,就是克隆一个自己的分身去干活! 这样做有什么好处呢?就是可以并行多任务,还可以控制上下文,让子任务更专注。 举例来说,你粘贴一段错误代码让 Claude Code 去 Debug,并且还让它写测试代码覆盖这个错误。Claude Code 会先调用 TodoWrite 这个工具写一个 TODO List。把任务分成 3 步: - [ ] 根据错误信息收集相关代码 - [ ] 根据错误信息和相关代码解决 Bug - [ ] 写新的测试覆盖 这一步完了后它会起一个 Task,这个 Task 就是专门根据错误信息去找到相关代码的位置,那么这个子任务只需要接受错误信息找上下文,它不管怎么解决 Bug,也不管怎么写测试覆盖。 主任务就会等这个子任务完成,子任务完成后,主任务就调用 TODO Write 更新 TODO List。 - [x] 根据错误信息收集相关代码 - [ ] 根据错误信息和相关代码解决 Bug - [ ] 写新的测试覆盖 然后调用 TodoRead 工具看下一步要干嘛,现在有充足上下文了,它可以再起一个子任务去根据错误信息和代码修复 Bug,等修复 Bug 的子任务完成了,再回到主任务,继续更新 TODO List,继续读取下一个 Item 最后再启动一个子任务去写测试,测试子任务也完成了,返回结果到主任务,这时候调用 TodoRead 一看任务都处理完了,最后根据前面的任务情况给你一个总结摘要,表示任务都完成了。 Claude Code 真的没有做什么工程上的优化,什么上下文压缩、临时存储,都没有的!就是简单粗暴: 1. 把用户问题、系统提示词、能用到的工具一股脑发给 Claude,问下一步该干嘛 2. Claude 就返回说现在你要到 TodoWriter 工具 3. Claude Code 就去调用 TodoWriter 工具,本质上也是一个 AI 请求,最后返回生成的 Todo List 4. 然后 Claude Code 把工具返回结果和前面的所有消息继续发给 Claude,Claude 返回说你现在要去起一个新的 Task 去收集代码了 5. 然后 Claude Code 就起一个新的 Task,把错误信息和要求收集相关代码的任务说明、系统提示词、环境说明、能用到的工具一股脑发给 Claude,问下一步该干嘛 - 在新的 Task 里面,就是不停的问 Claude 该用啥工具,然后发送工具结果和前面所有历史消息 - 任务完成后,返回任务结果 6. 然后 Claude Code 把子 Task 的结果和前面历史信息一起发给 Claude 问下一步干嘛 7. 就这样循环直到 Claude 认为任务完成了 所以你经常看到 Claude Code 在那几十分钟上下文也没爆掉,因为它会启动子任务,这样上下文就分摊到子任务中了,主任务中只是保留子任务完成后的内容。

宝玉

76,401 просмотров • 1 год назад

AI 每天都在干活,最后为什么只长了数据库? 现在做 Agent,很容易产生一种虚假的繁荣。 日志越来越多,向量库越来越大,接入的工具越来越全,工作流也越来越复杂。 系统看起来什么都留下了。 可下一项相似任务到来时,模型的判断未必比上一次更好。 这就像一个员工每天写十页工作日报。年底一看,硬盘写满了,脑子还停在年初。 存得更多,不等于学得更多。 今天很多 AI 缺的不是第二块硬盘,而是一条能把真实工作变成模型能力的路。 我更愿意把它叫作:能力复利。 工具解决的是“这一次能不能完成”;能力复利解决的是“这一次完成之后,下一次能不能更好”。 这件事必须从完整的工作现场开始。 客户之前说过什么,项目为什么这样决策,哪些方案被否决,谁修改了结果,最终反馈发生在什么时间——如果这些信息散落在邮件、会议、文档和聊天记录里,模型看到的就只是几个孤立碎片。 Alloomi 的 Holistic Context,试图把分散的信息重新组织成一个持续变化的业务世界。 在验证跨会话问答、时间关系和多跳推理的 LoCoMo‑V2 上,取得 97.4%,对照 Mem0‑V3 的 92.5%。 在验证长期信息提取、知识更新和多会话综合推理的 LongMemEval‑S 上,取得 97.6%,对照 Mem0‑V3 的 94.4%;该项公开人类参考为 82.9%。 在千万 Token 历史规模下测试全局理解与信息定位的 BEAM 10M 上,取得 67.0%,对照 Hindsight 的 64.1%。 这些数据背后真正重要的,不是给 AI 增加一个更大的记忆库。 而是让它理解一件事情为什么发生、怎样变化,又是如何走到最终结果的。 当工作现场被完整还原,真正困难的部分才刚刚开始: 这些经历,能不能改变模型下一次的判断? 一次真实任务会留下 Context、Decision 和 Feedback:模型当时看见了什么、做出了什么选择、最后获得了怎样的反馈。 但并不是所有轨迹都值得学习。 错误判断、偶然成功和低质量反馈如果直接进入训练,模型不但不会进化,反而可能把错误放大。 所以 Alloomi 的 Self‑Evolving Agent 会先进行质量筛选和专家锚定,再通过 Online LoRA、跨任务回放与能力蒸馏,把有效经验逐步写入模型。 在验证从复杂上下文中学习新规则并用于后续执行的 CL‑Bench 上,SEA 取得 47.6%,同基座参考为21.5%。 在验证长周期、多阶段经验积累与迁移的 CL‑Bench‑Life 上,取得 32.1%,公开榜单中的 GPT 5.5(High)为22.2%。 在验证跨任务持续学习、环境适应和抗遗忘的 Con.L Bench 上,取得 32.6%,对照 Claude Sonnet 4.6 的22.3%。 跨模型成绩更适合观察公开榜单位置。真正能够判断框架贡献的,仍然是相同基座和相同评测条件下,21.5% 到47.6%的变化。 因为数据库保存的是“曾经发生过什么”。 训练改变的是“以后遇到类似问题会怎么做”。 但能力进入模型,还不能算完成。 最后仍然要回到现实世界,接受一个很朴素的检查: 代码修好了吗?报告能交吗?复杂任务形成了可以验收的结果吗? 在覆盖高经济价值职业任务的 GDPval‑AA Normalized 上,Alloomi 取得 74.2%,对照 Claude Opus 5 的67.9%。 在验证真实职业工作流与专业交付的 JobBench 上,取得57.5%,报告列出的公开参考为54.7%。 在验证真实 GitHub 问题修复、连续软件工程经验迁移和抗遗忘能力的 SWE‑Bench‑CL 上,取得80.6%,对照 OpenCode、Kimi K3 与 FAISS 组合方案的73.3%。 从真实工作进入上下文,从任务反馈进入训练,再从模型能力回到专业交付,这才构成一条完整的成长路径: 真实任务轨迹 → 质量筛选 → 专家锚定 → 后训练 → 评测准入 → 版本回滚。 效果变好,新的能力才能进入下一版本;如果更新破坏了旧能力,系统就回滚。 所以,自进化不是让模型随意修改自己。 而是让它在可验证、可审计、可撤销的条件下持续成长。 过去我们看 Agent,喜欢看第一次 Demo 有多惊艳。 但 Demo 看的是峰值,长期工作看的是斜率。 真正值得观察的,不是它今天执行了多少任务,而是这些任务有没有让能力曲线继续向上。 工具的价值,是帮 AI 做完一件事。 自进化的价值,是让这件事没有白做。 这就是 Alloomi 想建立的能力复利: 让 AI 每完成一次交付,就获得一次成长。 AlloomiAI

知识猫AI实验室

12,017 просмотров • 11 дней назад

一个放在桌面上或者户外的 AI Agent 控制小方盒:用语音、按键、小屏,去控制电脑/远程服务器、调用所有工具、执行任务 在做这个产品的时候有做过调研,现在市面上大都是纯对话的语音AI Hermes Studio 小方盒 可以做什么 ? (视频演示) 1. 控制电脑 /远程服务器 小方盒本身是 ESP32,但它可以作为入口,把指令交给 Hermes Studio 在电脑 /远程服务器 上执行。 (它就是Hermes Agent) 可以做: 打开/关闭本地应用或网页 在电脑/远程服务器 上运行命令 读取、搜索、整理本地文件 上传文件给 Agent 分析 下载 Agent 生成的文件 控制浏览器访问网页、查资料、填表、抓取信息 调用本地 Coding Agent,让它改代码、跑测试、生成项目 查看运行日志、任务状态、错误信息 用语音触发“帮我总结这个文件夹”“打开今天的任务”“跑一下测试” 2. 调用工具 (生产力有待研究) Hermes Studio 的核心优势是 Agent 工具链。小方盒可以作为物理触发器,让 Agent 调用工具。 文件工具:浏览文件、搜索文件、读取内容、上传下载、重命名、复制、移动、删除。 终端工具:执行 shell 命令、启动服务、查看进程、跑脚本、拉代码、跑测试。 浏览器工具:打开网页、搜索资料、读取网页内容、自动化页面操作。 代码工具:启动 Codex / Claude Code 等 coding-agent 会话,做代码修改、调试、检查。 MCP 工具:接入外部系统,比如数据库、知识库、Notion、GitHub、邮件、企业内部 API、智能家居等。 语音工具:STT 语音转文本,TTS 回复朗读,多种 TTS Provider。 自动化工具:定时任务、周期汇报、监控任务、Kanban 工作项。 多平台工具:Telegram、Discord、Slack、WhatsApp、Matrix、飞书、微信、企业微信等渠道。 一句话:小方盒不是自己完成所有任务,而是唤醒 Hermes Studio 里的工具系统。 产品功能: 语音唤醒桌面 Agent 实体按键触发 本地文件读取、搜索与整理 电脑/远程服务器命令执行与任务自动化 浏览器自动化与网页信息获取 Coding Agent 启动 MCP 工具扩展,连接外部服务 多模型、多 Profile 切换 多平台消息接入 TTS/STT 语音输入输出 Nous Research witcheer Teknium 🪽 Hermes community never disappoints! 👀

libapi

31,786 просмотров • 2 месяцев назад

发现一个讲的很细的大语言模型微调教程,详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴: 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示(T4 版本) 16:52 微调操作演示(A100 版本) 19:13 在 Hugging Face 上的保存与使用方法 文字版整理: ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning): 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调: Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调: Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集: 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置: 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控: 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择: 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用: 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型: 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference): 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 просмотров • 2 лет назад