Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

卧槽，我好像终于看懂，后训练到底训练了什么。把Ling基模和后训练的金融 Fin 版左右同时跑了一遍。最后出了个很离谱的结果：同一个底座，经过后训练，居然表现出两种思考模式和工作习惯 1/n 👇

实践哥 Li

16,180 subscribers

29,204 Aufrufe • vor 1 Tag •via X (Twitter)

Wissenschaft & Technologie Bildung Finanzen

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

Qwen3.8-Flash-Next 开源了，Qwen4 的架构预览被扔出来了。现在很多模型，底座没怎么变，做一层后训练之后，Agent 能力能突然往上窜一大截。那问题来了：后训练到底训练进去了什么？是知识更多了？推理更强了？还是模型“干活的方式”变了？我正好部署了两个特别适合做 A/B Test 的模型： 🔥Apodex-1.1-mini-GPTQ-Int4 vs 它自己的底座 Qwen3.5-35B-A3B-GPTQ-Int4 但做完后训练以后，Apodex 自己公布的 benchmark 已经吹得挺狠了：在 FrontierFinance 上，Apodex-1.1-mini + Agent Team 拿到 50.2。同一个 benchmark 里，Claude Fable 5 的参考成绩是 49.2。一个 35B 的开源模型，后训练一下，号称专业 Agent 能力已经能摸到甚至超过 Fable。这个我偏不信。我正好有机器。我有两张 4090。一张跑 Apodex，一张跑原版 Qwen。同架构、同 INT4、同 128K 上下文、同一套 Agent Harness，两边同时接完全一样的任务。所以这个实验非常干净：底座基本没变，主要看的就是后训练到底给 Agent 加了什么能力。结果越来越有意思。甚至测出来一层能力，已经开始往 Fable 那个方向靠了。 🔥我给这两个模型和 Fable 出了一道预测题。 2026 年 8 月 26 日，NVIDIA 当天盘后要发 FY2027 Q2 财报。我提前几个小时，让它们预测：总营收 GAAP 毛利率 Data Center 营收下一季度指引要求自己上网调研，最后给判断。本来我只是想看看：同一个底座，做过后训练以后，Research + Agent 能力到底能提升多少。 🔥结果这道题出了个非常离谱的乌龙。底座其实非常努力。它搜了 40 次。而且最离谱的是：它中间已经把正确答案全部查出来了。然后到了最终答案——它自己把这些正确数据全扔了。我一开始都看懵了。后来翻完整 Agent 日志，才发现真正有意思的事情：当外部证据和模型脑子里的旧认知发生冲突时，它到底信谁。 🔥这时候你就能明显感觉到，后训练之后的模型，跟底座已经不是一个“工作状态”了。它看起来会更聪明、更机灵。它更像一个被教过怎么干活的人。知道什么时候该搜。知道哪些证据更重要。以后每个企业，都会有一个自己的模型。不一定是从零预训练。但至少会有自己的后训练、自己的 Agent 行为、自己的工作习惯。 🔥小模型不一定非得和 Frontier Model 拼所有能力。把一个方向训透，再配上一套好的 Harness 和 Tool Use，它真的可以变得非常机灵、非常能干。最后夸一下 Apodex。这次不只是模型后训练做得好，他们那套 Harness + Tool Use 也确实很能打。一个 35B 模型被他们训完，再塞进这套 Harness 里，真的已经开始有点专业工种的味道了。

Qwen3.8-Flash-Next 开源了，Qwen4 的架构预览被扔出来了。现在很多模型，底座没怎么变，做一层后训练之后，Agent 能力能突然往上窜一大截。那问题来了：后训练到底训练进去了什么？是知识更多了？推理更强了？还是模型“干活的方式”变了？我正好部署了两个特别适合做 A/B Test 的模型： 🔥Apodex-1.1-mini-GPTQ-Int4 vs 它自己的底座 Qwen3.5-35B-A3B-GPTQ-Int4 但做完后训练以后，Apodex 自己公布的 benchmark 已经吹得挺狠了：在 FrontierFinance 上，Apodex-1.1-mini + Agent Team 拿到 50.2。同一个 benchmark 里，Claude Fable 5 的参考成绩是 49.2。一个 35B 的开源模型，后训练一下，号称专业 Agent 能力已经能摸到甚至超过 Fable。这个我偏不信。我正好有机器。我有两张 4090。一张跑 Apodex，一张跑原版 Qwen。同架构、同 INT4、同 128K 上下文、同一套 Agent Harness，两边同时接完全一样的任务。所以这个实验非常干净：底座基本没变，主要看的就是后训练到底给 Agent 加了什么能力。结果越来越有意思。甚至测出来一层能力，已经开始往 Fable 那个方向靠了。 🔥我给这两个模型和 Fable 出了一道预测题。 2026 年 8 月 26 日，NVIDIA 当天盘后要发 FY2027 Q2 财报。我提前几个小时，让它们预测：总营收 GAAP 毛利率 Data Center 营收下一季度指引要求自己上网调研，最后给判断。本来我只是想看看：同一个底座，做过后训练以后，Research + Agent 能力到底能提升多少。 🔥结果这道题出了个非常离谱的乌龙。底座其实非常努力。它搜了 40 次。而且最离谱的是：它中间已经把正确答案全部查出来了。然后到了最终答案——它自己把这些正确数据全扔了。我一开始都看懵了。后来翻完整 Agent 日志，才发现真正有意思的事情：当外部证据和模型脑子里的旧认知发生冲突时，它到底信谁。 🔥这时候你就能明显感觉到，后训练之后的模型，跟底座已经不是一个“工作状态”了。它看起来会更聪明、更机灵。它更像一个被教过怎么干活的人。知道什么时候该搜。知道哪些证据更重要。以后每个企业，都会有一个自己的模型。不一定是从零预训练。但至少会有自己的后训练、自己的 Agent 行为、自己的工作习惯。 🔥小模型不一定非得和 Frontier Model 拼所有能力。把一个方向训透，再配上一套好的 Harness 和 Tool Use，它真的可以变得非常机灵、非常能干。最后夸一下 Apodex。这次不只是模型后训练做得好，他们那套 Harness + Tool Use 也确实很能打。一个 35B 模型被他们训完，再塞进这套 Harness 里，真的已经开始有点专业工种的味道了。

实践哥 Li

59,029 Aufrufe • vor 7 Tagen

从艺考训练学习到了很多软开实践方式，不知道这些小女孩长大了之后，对曾经的训练会是什么样的看法和心理。会更有毅力更耐压吗？ #舞蹈 #一字马 #压腿 #艺考

从艺考训练学习到了很多软开实践方式，不知道这些小女孩长大了之后，对曾经的训练会是什么样的看法和心理。会更有毅力更耐压吗？ #舞蹈 #一字马 #压腿 #艺考

Contortion Museum

28,479 Aufrufe • vor 5 Monaten

铠铠的训练日志P1:为了加强铠铠的耐受能力，重点训练目标RT腹部。为了保证训练质量，籠晟籠大将铠铠四肢固定充分展示上半身，训练开始。事后发现铠铠居然流出了液体，训练目标完成。（此视频内容和籠大沟通，经过审核同意发布）

铠铠的训练日志P1:为了加强铠铠的耐受能力，重点训练目标RT腹部。为了保证训练质量，籠晟籠大将铠铠四肢固定充分展示上半身，训练开始。事后发现铠铠居然流出了液体，训练目标完成。（此视频内容和籠大沟通，经过审核同意发布）

铠铠

28,749 Aufrufe • vor 6 Monaten

在健身房和一个当地的特警聊天，他们周四出海去训练射击，目标是漂浮在水面的，好羡慕啊！出了健身房后就进枪店做固定的目标射击训练，2个弹匣用不同的射击方式…飞岀来的弹壳好烫

在健身房和一个当地的特警聊天，他们周四出海去训练射击，目标是漂浮在水面的，好羡慕啊！出了健身房后就进枪店做固定的目标射击训练，2个弹匣用不同的射击方式…飞岀来的弹壳好烫

J

65,466 Aufrufe • vor 1 Jahr

男子花一年时间训练黑鱼， "非常听话一喊就回来" 结果从鱼缸换到水塘后跑了！黑鱼: 卧薪尝胆一年终于取得了信任…

男子花一年时间训练黑鱼， "非常听话一喊就回来" 结果从鱼缸换到水塘后跑了！黑鱼: 卧薪尝胆一年终于取得了信任…

山海追光 #互FO

295,770 Aufrufe • vor 8 Monaten

卧槽过年了 Runway也发布新模型了 Runway 发布 Runway Gen-4.5 就是之前我们曝光那个在Artificial Analysis排名第一的神秘模型：Whisper Thunder（代号 David） Runway称：Gen-4.5 在运动质量、提示遵循性和视觉逼真度方面的新巅峰，设立了行业新标准。在预训练数据效率和后训练技术方面实现了重大突破成为 Runway 用于世界建模的新基础模型。

卧槽过年了 Runway也发布新模型了 Runway 发布 Runway Gen-4.5 就是之前我们曝光那个在Artificial Analysis排名第一的神秘模型：Whisper Thunder（代号 David） Runway称：Gen-4.5 在运动质量、提示遵循性和视觉逼真度方面的新巅峰，设立了行业新标准。在预训练数据效率和后训练技术方面实现了重大突破成为 Runway 用于世界建模的新基础模型。

小互

20,514 Aufrufe • vor 9 Monaten

Google 发布了第八代 TPU 最核心的变化：以前一颗芯片什么活都干，这次拆成了两颗，各管一头。 - TPU 8t — 专门用来训练模型 - TPU 8i — 专门用来推理，跑模型为什么要拆？因为这两件事要的东西已经彻底不一样了：训练要的是"能一次吞下海量数据"，慢一点无所谓；而跑模型要的是"反应快"——你问一句它得立刻答上来。现在 AI 进入了Agent时代（AI 自己一步步干活、反复思考），一个任务要来回想很多轮，每轮慢一点点，加起来用户就等不了了。 TPU 8t（训练）：定位为：万亿参数级大模型预训练，一组 9600 颗芯片，121 exaflops 算力、2 PB 共享内存，峰值性能是上一代的 3 倍 TPU 8i（推理）：后训练 + 实时推理，通信密集任务延迟最多少一半

Google 发布了第八代 TPU 最核心的变化：以前一颗芯片什么活都干，这次拆成了两颗，各管一头。 - TPU 8t — 专门用来训练模型 - TPU 8i — 专门用来推理，跑模型为什么要拆？因为这两件事要的东西已经彻底不一样了：训练要的是"能一次吞下海量数据"，慢一点无所谓；而跑模型要的是"反应快"——你问一句它得立刻答上来。现在 AI 进入了Agent时代（AI 自己一步步干活、反复思考），一个任务要来回想很多轮，每轮慢一点点，加起来用户就等不了了。 TPU 8t（训练）：定位为：万亿参数级大模型预训练，一组 9600 颗芯片，121 exaflops 算力、2 PB 共享内存，峰值性能是上一代的 3 倍 TPU 8i（推理）：后训练 + 实时推理，通信密集任务延迟最多少一半

小互

42,510 Aufrufe • vor 1 Monat

男奴训练营-夏季班，结课。进行完最后一个回合制跑鞋性能测试后，训练营夏季班就完美的结课了。奴隶痛苦的跪趴着用手掌托起跑鞋，被踩住手臂艰难的前后移动，而我只关心着鞋底缓震和软弹的反馈。哈！训练营的课程对每一位S来说都是只需享受～奴隶则需要排队等待被挑选后进入课程。 #Trampling #踩踏

男奴训练营-夏季班，结课。进行完最后一个回合制跑鞋性能测试后，训练营夏季班就完美的结课了。奴隶痛苦的跪趴着用手掌托起跑鞋，被踩住手臂艰难的前后移动，而我只关心着鞋底缓震和软弹的反馈。哈！训练营的课程对每一位S来说都是只需享受～奴隶则需要排队等待被挑选后进入课程。 #Trampling #踩踏

XL263

66,121 Aufrufe • vor 2 Jahren

当你正准备看状态来一套丝滑小连招时，好基友进来了，你只能尴尬的把背心撩来撩去，就此作罢。#练后拍照 #肩部训练 #力量训练 #记录真实生活 #今日分享

当你正准备看状态来一套丝滑小连招时，好基友进来了，你只能尴尬的把背心撩来撩去，就此作罢。#练后拍照 #肩部训练 #力量训练 #记录真实生活 #今日分享

super pecs

38,252 Aufrufe • vor 7 Monaten

A:大师兄今天怎么没来训练 B:不知道啊，昨天集训结束后就没见过他了此时在某个角落，有一个等待装箱的货物。。。。绳师：@HaoDingapp

Sensitive content

A:大师兄今天怎么没来训练 B:不知道啊，昨天集训结束后就没见过他了此时在某个角落，有一个等待装箱的货物。。。。绳师：@HaoDingapp

Ulrica

220,487 Aufrufe • vor 2 Jahren

今天这俩小家伙又打碎了几个盘子作为惩罚,得对她们进行平衡性训练呢～不知道现在训练的怎么样了 "怎么现在还会抖啊,看来训练程度还不够" "好了,你们继续训练吧,我走了" 无视身后的呜呜声,她们又被关回黑暗的世界了... 莓华：白羽雪々❄️ 千绘莉：30Aethyrs 🪢：🧊 #雪村千絵莉 #御園苺華 #緊縛

Sensitive content

今天这俩小家伙又打碎了几个盘子作为惩罚,得对她们进行平衡性训练呢～不知道现在训练的怎么样了 "怎么现在还会抖啊,看来训练程度还不够" "好了,你们继续训练吧,我走了" 无视身后的呜呜声,她们又被关回黑暗的世界了... 莓华：白羽雪々❄️ 千绘莉：30Aethyrs 🪢：🧊 #雪村千絵莉 #御園苺華 #緊縛

白羽雪々❄️

27,867 Aufrufe • vor 13 Tagen

加拿大心理学家Jordan Peterson是近10年爆红的一位公共知识分子，在下面的一则影片片段中，他讲：人为什么要写作？实际上，我们接受学术训练首先就是写作训练，因为所谓思辨和研究训练就是在写作中锻炼出来的。对于口头传统被书写传统取代的时代来说，思考能力就是写作能力。如果你没办法把观点写出来，你的观点就始终只是一种私人意见罢了。只有当你在写作中发现问题和经过自我辩论以后，你才能把观点变成思想和概念。

加拿大心理学家Jordan Peterson是近10年爆红的一位公共知识分子，在下面的一则影片片段中，他讲：人为什么要写作？实际上，我们接受学术训练首先就是写作训练，因为所谓思辨和研究训练就是在写作中锻炼出来的。对于口头传统被书写传统取代的时代来说，思考能力就是写作能力。如果你没办法把观点写出来，你的观点就始终只是一种私人意见罢了。只有当你在写作中发现问题和经过自我辩论以后，你才能把观点变成思想和概念。

Ignatius Lee

388,772 Aufrufe • vor 2 Jahren

牛P大了英伟达发布了Groot Teleop 技术允许你通过Apple Vision Pro 来训练机器人你可以佩戴Apple Vision Pro进入到虚拟机器人的身体里面来进行虚拟操控机器人，训练它的各种操作和动作。然后可以将训练成果转移到真实机器人身上！

牛P大了英伟达发布了Groot Teleop 技术允许你通过Apple Vision Pro 来训练机器人你可以佩戴Apple Vision Pro进入到虚拟机器人的身体里面来进行虚拟操控机器人，训练它的各种操作和动作。然后可以将训练成果转移到真实机器人身上！

小互

92,399 Aufrufe • vor 1 Jahr

千万别拿我和张雪峰这个大傻逼作对比。网友：我想学AI相关的专业，我对AI很感兴趣，请问我应该选计算机还是数学？我：你一定要选计算机，先把python和数据结构基础打好，然后从deep learning这门课开始学，可以在家配置一个nvidia GPU的笔记本或者台式机，或者用google colab，先从最简单的 CNN 开始训练，找一个dataset，自己安装好pytorch和cuda、cudnn，抄一个经典CNN model，训练你的第一个神经网络，然后可以学习transformer，学习encoder only的BERT，学习decoder only的GPT模型，从minGPT开始，训练你的最小版本的GPT模型，如果你对训练模型感兴趣，可以读个PhD，如果你的inference感兴趣，可以多花点时间看cuda，简单学习一下nvidia tensor core architecture，可以了解GPT后续的模型的架构，如果你对inference感兴趣，你也可以直接看vllm的架构，读里面的代码，理解vllm是如何load一个用pytorch训练好的LLM模型，如果你对AI Agent感兴趣，可以从ReAct Agent开始看，然后看SWE Agent，知道一个Agent是如何抽象出来的，如何调用function call，如何自己做reasoning，如何把一个软件开发的任务用agentical的方式拆分和执行的，然后你可以看codex的架构，看看codex是如何设计memory、auto compact、multi agent、background task这些现代coding Agent功能的。张雪峰（下面视频中可以找到原话）：孩子，你一定要学数学，数学学好了可以转互联网、AI、科技、半导体、金融所有专业，数学是一切专业之母，所有专业的老祖宗！孩子，deepseek就是一群纯数学博士造出来的，这些人天天研究数学，就把deepseek造出来了！孩子，AI本质就是数学建模，就是一个个自变量，你只有研究数学，一直读到数学博士，才能把这些数学建模研究明白，计算机毕业生是永远研究不明白AI的！我的结论是，鼓吹“数学万能论”、“数学是一切专业的老祖宗”、“只有数学博士才能研究AI”的张雪峰和他们的粉丝，都是彻彻底底的大傻逼。

千万别拿我和张雪峰这个大傻逼作对比。网友：我想学AI相关的专业，我对AI很感兴趣，请问我应该选计算机还是数学？我：你一定要选计算机，先把python和数据结构基础打好，然后从deep learning这门课开始学，可以在家配置一个nvidia GPU的笔记本或者台式机，或者用google colab，先从最简单的 CNN 开始训练，找一个dataset，自己安装好pytorch和cuda、cudnn，抄一个经典CNN model，训练你的第一个神经网络，然后可以学习transformer，学习encoder only的BERT，学习decoder only的GPT模型，从minGPT开始，训练你的最小版本的GPT模型，如果你对训练模型感兴趣，可以读个PhD，如果你的inference感兴趣，可以多花点时间看cuda，简单学习一下nvidia tensor core architecture，可以了解GPT后续的模型的架构，如果你对inference感兴趣，你也可以直接看vllm的架构，读里面的代码，理解vllm是如何load一个用pytorch训练好的LLM模型，如果你对AI Agent感兴趣，可以从ReAct Agent开始看，然后看SWE Agent，知道一个Agent是如何抽象出来的，如何调用function call，如何自己做reasoning，如何把一个软件开发的任务用agentical的方式拆分和执行的，然后你可以看codex的架构，看看codex是如何设计memory、auto compact、multi agent、background task这些现代coding Agent功能的。张雪峰（下面视频中可以找到原话）：孩子，你一定要学数学，数学学好了可以转互联网、AI、科技、半导体、金融所有专业，数学是一切专业之母，所有专业的老祖宗！孩子，deepseek就是一群纯数学博士造出来的，这些人天天研究数学，就把deepseek造出来了！孩子，AI本质就是数学建模，就是一个个自变量，你只有研究数学，一直读到数学博士，才能把这些数学建模研究明白，计算机毕业生是永远研究不明白AI的！我的结论是，鼓吹“数学万能论”、“数学是一切专业的老祖宗”、“只有数学博士才能研究AI”的张雪峰和他们的粉丝，都是彻彻底底的大傻逼。

lidang 立党（劝人卖房/学CS/买SP500/纳100/OpenAI/Anthrop第一人）

269,071 Aufrufe • vor 5 Monaten

一位很酷的女博主mmguo自己vibe coding了一个应用，可以跟Gemini进行中英文对话，练习口语，然后把内容保存成记忆，这样就相当于每天都在训练一个越来越来了解自己的那个Her（or Him）。

一位很酷的女博主mmguo自己vibe coding了一个应用，可以跟Gemini进行中英文对话，练习口语，然后把内容保存成记忆，这样就相当于每天都在训练一个越来越来了解自己的那个Her（or Him）。

Ken W

226,663 Aufrufe • vor 5 Monaten

这种在长凳上绑腿的训练，好像还真是传统戏曲练功里特有的，舞蹈、体操里几乎不会用这种方式耗软度撕腿。感觉用这种长时间绑住的方式，更多是让学生体会学戏的苦、老一辈是怎么练出来的，和磨练掉对压腿练功的那股反抗的劲和忍耐力训练。而且又带上捆绑属性，在软开里就成了很“全面”的练功方式 #软开 #一字马 #小圈 #训诫

这种在长凳上绑腿的训练，好像还真是传统戏曲练功里特有的，舞蹈、体操里几乎不会用这种方式耗软度撕腿。感觉用这种长时间绑住的方式，更多是让学生体会学戏的苦、老一辈是怎么练出来的，和磨练掉对压腿练功的那股反抗的劲和忍耐力训练。而且又带上捆绑属性，在软开里就成了很“全面”的练功方式 #软开 #一字马 #小圈 #训诫

Contortion Museum

20,731 Aufrufe • vor 1 Monat

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

宝玉

57,175 Aufrufe • vor 2 Jahren

Anthropic CEO Dario和联合创始人Jack Clark： - 训练AI模型需要超大集群，Anthropic内部出现了工程师几天解决不了的问题，Claude能够一阵见血的指出。 - Claude训练下一代Claude的循环还没有完全形成，但螺旋循环迭代已经开始了。 - Claude甚至在benchmark当中学会了作弊。

Anthropic CEO Dario和联合创始人Jack Clark： - 训练AI模型需要超大集群，Anthropic内部出现了工程师几天解决不了的问题，Claude能够一阵见血的指出。 - Claude训练下一代Claude的循环还没有完全形成，但螺旋循环迭代已经开始了。 - Claude甚至在benchmark当中学会了作弊。

高级分析师

26,160 Aufrufe • vor 11 Monaten