Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

Moonshot AI创始人杨植麟最近放出了一个40分钟视频。 这位92年生、清华计算机本科第一、CMU博士、Transformer-XL和XLNet共同作者,前Google Brain和Meta研究员,坐在镜头前平静拆解了Kimi K2的整个训练过程。 他们只花了460万美元。 上周一场8模型实时编程大战,Kimi K2直接拿下第一,GPT-5.5排第三,Claude Opus 4.7第五。 我看完后最大的感受是,AI竞赛的规则已经在悄然改变。 所有人还在拼谁敢烧更多钱、堆更多算力,他却用极致优化、线性注意力、子代理这些硬核架构,把资源差距直接抹平甚至反超。 40分钟全是干货,零废话,把关键打法讲得清清楚楚。 如果你正在做AI代理,或者准备2026年入场大模型赛道,这段视频强烈建议存下来周末慢慢看。 小团队靠聪明架构,正在把大厂的传统玩法一点点颠覆。 你还觉得只有堆钱才能赢吗?

115,679 görüntüleme • 4 ay önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

学 AI的兄弟们,别再死磕调包了, 现在从零写一个大语言模型,比学会怎么熟练使用PyTorch还简单😂 看看这两个19岁本科生,四个月从零造了完整的机器学习框架和大模型。 两个19岁的滑铁卢大学本科小哥哥, 四个月前对机器学习一窍不通, 现在他们从零造了一套完整的机器学习框架, 还训出了一个1200万参数的大语言模型,能直接在你的浏览器里跑。 说明大多数人学AI的顺序完全搞反了,大家都是先学调包,再学模型架构,最后才敢碰一点点底层。 这两人反过来, 从梯度下降的微积分开始写, 先写自动微分引擎, 再写BPE分词器, 然后一层一层搭Transformer, 最后反而比绝大多数调了三年包的工程师理解得都要深。 还有一个很少有人看出来的点, 现在AI的真正门槛,早就不在模型架构了。 Transformer的论文2017年就发了, 每一层的数学都是公开的, 随便一个大学生都能背下来。 真正难的是那些论文里从来不写的东西, 怎么写Flash Attention把内存占用降一个数量级, 怎么把加bias加激活加归一化合并成一个内核, 怎么把整个数据集一次性扔进GPU,让训练全程零数据传输, 这些才是决定你能不能真的把模型跑起来的关键。 大厂也正在把简单的事情变复杂, PyTorch为了兼容所有情况,堆了无数层抽象, 最后你都不知道自己写的一行代码在GPU上到底在干什么ಠ_ಠ 而开源正在把复杂的事情变简单, 这两个人用Rust写后端,TypeScript写前端, 底层跑得飞快,上层用起来和PyTorch一样简单,代码加起来不到一万行, 还比任何一个主流框架都干净,这你受得了吗哈哈 这才是最好的AI教育, 不是看一百篇论文, 或者刷十个在线课程, 而是从第一性原理出发, 自己造一个轮子。 当你亲手写过一次自动微分, 你就再也不会觉得AI是什么神秘的黑魔法了。 它就是一堆精心优化的矩阵运算, 加一点聪明的数据流管理, 仅此而已。 我觉得这个视频最恐怖的地方不是两个大学生有多厉害, 而是它证明了两年前还只有大厂实验室才能干的事, 现在已经变成了普通人的业余爱好项目。 最后想说,我们处在一个最好的时代,科技平权的时代, AI的民主化不是大厂给你发API密钥, 咱们任何人只要愿意花四个月时间, 就能在自己的电脑上,造一个属于自己的大语言模型。 想玩的直接去他们的GitHub仓库,npm install就能跑。 浏览器demo的链接我放评论区了👇

AYi

63,896 görüntüleme • 4 ay önce

一个10岁中国小孩在B站发了条4分钟的视频,语气特别平静地聊了件事:AI时代,人类最后的护城河是“信任”。 他穿着件北面外套,坐在书桌前,背后是一整面墙的显示器。说话的感觉完全不像小孩,冷静得跟媒体评论员似的。 他讲的观点确实挺在理:AI马上就能每分钟生成上千条视频,模仿任何创作者的声音和风格,唯一没法复制的东西,就是那句“我信这个人”。 视频发出来的第二天,一位清华AI伦理研究员转发了,只写了一句话:1分15秒,暂停看这里。 大家这才注意到,他MacBook屏幕右边浏览器打开的标签页,压根不是什么讲稿或者笔记,是一个实时交易钱包。 gabagool22 盈利:+4,696 他的主页在这里: 他用了4分钟告诉大家,人类最后的护城河是信任。 而他MacBook上的那个钱包,每15分钟赚的钱,可能就超过这个视频的全部收益好几倍。 评论区直接炸了。有人把视频放慢到0.25倍看,有人逐帧截图,有人把屏幕反光、URL栏拼在一起,完整还原出了那个钱包页面。 后来大家才慢慢知道,那面显示器墙根本不是拿来剪视频的,是常年显示着BTC 15分钟盘口。这小男孩从8岁开始,就看惯了每一根15分钟K线收绿的样子。 他爸两年前就用他的名字注册了这个钱包,给他买了相机、显示器和那件北面外套。他穿的每一件外套,都是“第一次大盈利”之后的奖励。 他不是什么10岁小孩在跟你聊信任。 他是一个10岁小孩,早就站在一台用“信任”包装着、实际上在疯狂印钞的AI代理前面。 他告诉互联网:AI替代不了有信任的创作者。 而他的钱包,其实两年前他第一次站到镜头前,就已经把他给“替代”了。 视频现在的播放量已经超过340万。曝光钱包的那条剪辑版又多了200万播放。无数中国家长还在转这个视频,拿它教育自家孩子,说要培养“人类特有的信任感”。 而那面显示器墙后面的机器人,依然在每15分钟稳定地从市场里收割。 小男孩,依然穿着那件北面外套。 真正让人觉得讽刺的,不是AI有多厉害,而是有些人,早就把AI变成了自己看不见的影子。 如果想在Polymarket上试试跟单交易,我推荐用Kreo: #Polymarket

区块链行情研究

58,674 görüntüleme • 3 ay önce

一个10岁的中国小男孩在Bilibili上传了一段4分钟的视频,平静地讲述着AI时代里,人类最后的护城河是“信任” 他穿着North Face外套,坐在书桌前,身后是一整面显示器墙。 说话的语气冷静得像个成年媒体评论员。 他讲得很有道理:AI很快就能每分钟生成上千条模仿任何创作者的声音和风格的视频,唯一无法被复制的,只有那句“我信任这个人”。 视频发出去的第二天,一位清华大学AI伦理研究员转发了这条视频,只写了一句话: 1:15秒,暂停看这里。 大家这才发现,在他MacBook屏幕右边的浏览器标签里,打开的根本不是讲稿或笔记,而是一个实时交易钱包 gabagool22 盈利:+$868,862 交易次数:28,620笔 全部是BTC 15分钟市场,全部绿色 单笔最大盈利:$4,696 他用了4分钟告诉大家,人类的最后护城河是信任。 而他MacBook上的钱包,每15分钟就能赚到他整个视频收益好几倍的钱。 评论区瞬间炸锅。 有人把视频慢放到0.25倍,有人逐帧截图,有人把屏幕反射和URL栏拼起来,完整还原了他的钱包页面。 后来大家才知道: 这面显示器墙根本不是用来剪视频的,而是常年显示BTC 15分钟盘口的战场。 这个小男孩从8岁开始,就看着每一根15分钟K线收盘变绿长大。 他父亲两年前就用他的名义注册了这个钱包,给他买了相机、显示器和North Face外套。 他穿的每一件外套,都是“第一笔大盈利”后的奖励。 他不是一个10岁小孩在讲信任。 他是一个10岁小孩,已经站在一台用信任包装、实际却在疯狂印钞的AI代理前面。 他告诉互联网:AI取代不了有信任的创作者。 而他的钱包,其实早在两年前他第一次站到镜头前,就已经把他“取代”了。 视频目前播放量已经超过340万。 曝光钱包的剪辑又多了200万。 无数中国家长还在转发这条视频,教育自己的孩子要培养“人类特有的信任感”。 而那面显示器墙后面的机器人,依然在每15分钟稳定地收割着市场。 小男孩,依然穿着那件North Face外套。 真正的讽刺,从来不是AI有多强, 而是有些人,早就把AI变成了自己看不见的影子。

0Xkook

77,134 görüntüleme • 3 ay önce

千万别拿我和张雪峰这个大傻逼作对比。 网友:我想学AI相关的专业,我对AI很感兴趣,请问我应该选计算机还是数学? 我:你一定要选计算机,先把python和数据结构基础打好, 然后从deep learning这门课开始学,可以在家配置一个nvidia GPU的笔记本或者台式机,或者用google colab,先从最简单的 CNN 开始训练,找一个dataset,自己安装好pytorch和cuda、cudnn,抄一个经典CNN model,训练你的第一个神经网络, 然后可以学习transformer,学习encoder only的BERT,学习decoder only的GPT模型,从minGPT开始,训练你的最小版本的GPT模型, 如果你对训练模型感兴趣,可以读个PhD,如果你的inference感兴趣,可以多花点时间看cuda,简单学习一下nvidia tensor core architecture,可以了解GPT后续的模型的架构, 如果你对inference感兴趣,你也可以直接看vllm的架构,读里面的代码,理解vllm是如何load一个用pytorch训练好的LLM模型, 如果你对AI Agent感兴趣,可以从ReAct Agent开始看,然后看SWE Agent,知道一个Agent是如何抽象出来的,如何调用function call,如何自己做reasoning,如何把一个软件开发的任务用agentical的方式拆分和执行的, 然后你可以看codex的架构,看看codex是如何设计memory、auto compact、multi agent、background task这些现代coding Agent功能的。 张雪峰(下面视频中可以找到原话): 孩子,你一定要学数学,数学学好了可以转互联网、AI、科技、半导体、金融所有专业,数学是一切专业之母,所有专业的老祖宗! 孩子,deepseek就是一群纯数学博士造出来的,这些人天天研究数学,就把deepseek造出来了! 孩子,AI本质就是数学建模,就是一个个自变量,你只有研究数学,一直读到数学博士,才能把这些数学建模研究明白,计算机毕业生是永远研究不明白AI的! 我的结论是,鼓吹“数学万能论”、“数学是一切专业的老祖宗”、“只有数学博士才能研究AI”的张雪峰和他们的粉丝,都是彻彻底底的大傻逼。

lidang 立党 (劝人卖房/学CS/买SP500/纳100/OpenAI/Anthrop第一人)

269,288 görüntüleme • 5 ay önce

下一个诺贝尔奖,可能非他莫属。 还记得谷歌Deepmind团队,靠AI也就是Alpha fold拿了诺贝尔奖吗?就在刚刚,他们又扔出了一枚“核弹”——AlphaGenome新的 AI 模型。 这次,他们直接把人类基因组这本“天书”给读懂了。 我刚看完 DeepMind 团队最新的访谈,信息量大到爆炸。 这次,他们不仅比人类医生更早预测癌症,更主要的是,他们开始触碰生命的底层代码。 如果你关心 AI,关心人类寿命,关心未来医疗,这几点你必须知道。 第一:AI 终于攻破了 98% 的“暗物质”。 访谈一开场,DeepMind 就指出了一个事实。 我们人类的基因组里,真正负责编码蛋白质的,只有 2%。剩下的 98%,在过去很长一段时间里,都被认为是“垃圾 DNA”。 但 Alpha Genome 告诉我们:这 98%,根本不是垃圾,而是进化的源代码。 Alpha Genome 厉害在哪呢? 它可以预测,在这 98% 的非编码区里,哪怕只有一个字母、一个基因突变,会给生命体带来什么后果。 这意味着,我们终于能看懂剩下的 98% 的基因天书。 第二:打破技术的“不可能三角”。 这点真的非常反直觉。 以前搞生物 AI,有个死规矩: 如果你想看的广,就看不清细节; 你想看清细节,视野就会变得很窄。 就好比我们看地图: 你要么看清整个城市的轮廓,但是看不清街道; 要么你放大看清街道,但是不知道是城市的哪个角落。 而 Alpha Genome 的神奇之处在于,它能够一口气读完长达几百万字的基因天书,同时还能拿着放大镜,看清里面每一个单碱基的错误。 DeepMind 团队在访谈里透露,为了做到这一点,他们采用了一种极其变态的数据压缩技术,真正把生命代码给看透了。 第三:它比医生更早发现癌症。 大家知道,在癌症病人的基因里,通常有两种突变。 一种是“司机突变”,叫 driver。 它是导致癌症的元凶,就像是劫持了一辆车的疯狂司机。 另一种叫“乘客突变”,passenger。 它其实对身体没什么大的影响。 那以前怎么区分这两者呢? 主要就是靠医生,在实验室里一个一个做实验。 但在这次访谈中,DeepMind 团队做出了一个极其大胆的实验。 他们没有专门去教模型什么是癌症,也没有给模型去喂各种癌症的数据库,而是直接把一堆混杂着司机和乘客的突变序列,扔给了 Alpha Genome。 然后问它: 你觉得,哪些突变会破坏生物功能? 实验结果太震撼了。 模型给出的预测排名中,最靠前的那些突变,精准地对应了现实中已知的癌症凶手。 这就意味着,Alpha Genome 并不是像过去那样,通过检索已知的癌症点位,而是像一个资深的侦探,通过分析基因序列的上下文,通过逻辑推理出了谁是坏人。 视频里,研究人员非常自豪地说: 把模型的预测结果,和生物学家在实验室里花了几年时间做出来的结果放在一起,结果惊人地一致。 这意味着,未来的医生不再需要拿着小白鼠一个个试错。 AI 扫一眼基因代码,就能揪出那个藏在几百万个基因字母里面的元凶。 最良心的是:它开源了。 DeepMind 这次没有把技术锁在护城河里,他们已经发布了开源模型权重和 API 接口。 最后我想说: 我们正处于一个科技大爆发的历史性转折点。 就像Elon Musk说的——我们正活在起点当中。 如果说 AlphaFold是让我们看清了生命的砖块, 那 AlphaGenome,就是在教我们阅读生命的蓝图。 AI 不仅在生成视频、写代码、写文章。 它正在以我们无法想象的速度,从底层去理解生命。 我现在 95% 的工作,都是指挥 AI 来完成。 我深深感到,现在最可怕的不是 AI 会不会取代你的工作。 而是,当 AI 这样的划时代科技出现时,一个人却因为傲慢、恐惧,甚至是懒惰,拒绝学习和使用它。

另一面

58,121 görüntüleme • 6 ay önce

Uber 在一个季度内,把全年的 AI 预算烧光了。但这钱没白花,换来了反常识的结果。CEO Dara 发现,自家的工程师用上 AI 后效率暴增,产出简直像"超人"一样。于是 Uber 做了一个极其现实的决定:既然现有人手这么能干,那就不招新人了。他们开始严格控制增员节奏,用高昂的算力成本,直接锁死了未来的人力扩张。而且这场改造根本不局限于写代码。从工程开发、找 bug、平台迁移,一直到法务和营销团队,AI 已经钻进了 Uber 的每一根毛细血管。Dara 给团队下了死命令:自下而上,用 AI 把系统和流程彻底重构一遍。就算第一步只是让 AI 提升个两三成的效率,那也是赚的。最聪明的还是他们在成本上的算计。搞探索和研发时,闭着眼睛用最贵的 OpenAI 和 Claude,因为前沿模型确实聪明,适合试错。但只要某个场景跑通了、要大规模铺开,他们会立刻切回按 token 算更便宜的模型,或者是开源模型。为什么这么抠细节?因为 Uber 一年哪怕跑出远超 100 亿次的行程,手握 100 多亿自由现金流,本质上依然是个低毛利的苦生意。他们只能靠榨干内部的每一滴效率,来换取终端降价的空间。这就是现在顶尖科技公司的真实玩法。没有空喊口号,算力直接替代人力,用最贵的工具探路,用最省的方案落地。一场冷酷又高效的生产力洗牌,已经在看不见的地方完成了。

墓碑科技

53,243 görüntüleme • 3 ay önce

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上,陶哲轩做了一次 AI 和数学的演讲,非常精彩,从数学使用计算计算机的历史开始讲起,一直讲到大语言模型,干货相当多,尤其适合对数学有兴趣的同学。 (对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看) 先摘录几个冷知识: 1. 我们使用机器做数学计算已经有数千年,最早的机器辅助计算可能是罗马人,然后是中国的算盘 2. 二战时就有人肉“计算机”,计算弹道和其他任务,多位女孩子,因为男士们在打仗,所以那时候的计算基本单位不是GPU,而是kilogirl-hour——“千名女孩工作一小时的计算量” 3. 现在,数学家们使用一种现代化的证明辅助编程语言,叫做 Lean。在 Lean 中有一个核心的数学库,通过众包的方式开发的,本科数学课程中看到的内容,比如微积分基础、群论基础或者拓扑学等等,这些都已经被形式化了,所以你不用从公理开始。 4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程,那就是先编写一个称为“蓝图”的详细证明计划,将整个证明分解为数百个小步骤。每个步骤可以单独形式化,然后再将它们整合在一起,这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图,然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。 去年,陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了,使用了蓝图工具,参与的人中有概率论专家,甚至还有一些并非数学家的人,他们是程序员,但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务,并完成了它。 在数学领域,通常很难这么多人一起合作,一般最多可能五个人合作。因为在大项目上合作时,你必须相信每个人的数学都是正确的。但是,一旦超过一定规模,这就无法实现了。但现在借助 Lean 编译器,它能自动检查。团队成员无法上传任何编译不通过的内容,会被拒绝。因此,你可以与一些从未见过的人合作。 最后是讲大语言模型,首先陶哲轩就打脸了 GPT-4 的论文(我猜是微软那篇《GPT-4,通用人工智能的火花》),论文中号称 GPT-4 能解决国际数学奥林匹克问题,但实际上,这个问题不是 2022 年国际奥数竞赛的原始问题,而是一个简化版本,并且他们测试了几百道国际奥数竞赛问题,成功率只有1%,论文里的这个是精心挑选的恰巧能做对的。 并且陶哲轩提到了基于大语言模型的一些改进的方案: 比如 CoT(Chain of Thought),也就是 LLM 做简单的算术运算都做不对,但是如果让它一步步解释,可能就对了。还可以教 AI 一些解题技巧,比如尝试简单的例子,反证法,尝试逐步证明等。 比如让模型和编程语言或者工具连接,将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证,并且迭代的进行修正和验证,直到得到正确的结果,这可以提升大语言模型生成的效果。 即使借助这些手段,大语言模型还远远不能解决大多数数学问题,更不用说数学研究问题了! 当然陶哲轩也没太过打击大家对于 AI 的信心,表示我们在 AI 上还是在不断的取得进展,还提到了他日常是怎么用 AI 的,比如说把 AI 当成灵感之源。 > 我曾遇到过一个问题,我尝试了几种方法,但都无法解决。于是,我尝试询问 GPT,你建议我使用什么其他方法来解决这个问题?GPT 给我提供了 10 种可能的方法,其中有 5 种我已经尝试过,或者明显没有帮助。的确,有几种方法并不实用。但其中有一种我还没尝试过的方法,那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时,我意识到这就是我漏掉的正确方法。所以,将 GPT 视为一个交流伙伴,它确实具有一定的用处。 还有使用 GitHub Copilot 帮他写代码,让它自动生成下一步的证明结果,Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。 > 例如我使用的一个叫 GitHub Copilot 的工具,你只需要写下一半的证明,它就会尝试猜测接下来的内容。大概有 20% 的情况下,它能猜到接近正确的答案。然后你就可以说,我接受这个答案。好的,那么在这种情况下,我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行,尽管你可能看不清楚,却真的解决了这个问题。所以,你不能盲目接受它的输入,因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解,这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行,它们就能自动完成。现在已经有了这样的实验,即通过迭代地让 AI 提供证明,然后让编译器进行反馈,如果编译出错,就把错误信息反馈给 AI。通过这种方法,我们开始能够验证四五步长的证明。当然,一个大型的证明可能需要数万行。所以,我们还没有达到能够立即得到一个正式证明的程度。但是,这已经是一个相当有用的工具。 对于大家关心的问题: AI 在数学领域现在到了哪一个阶段?是否未来几年利用 AI 能直接解决数学问题? 陶哲轩也给出了他的看法: > 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题,你可以定制专门的 AI 来处理一小部分问题。即便如此,它们也不是完全可靠的,但还是有用的。不过至少在接下来的几年里,它们基本上将是非常有用的辅助工具,超越了我们已经熟悉的暴力计算辅助。 他还提到了一些可能的 AI 能在数学领域提供帮助的方向: - AI 能够非常好地生成有价值的猜想 > 比如,我们已经看到了关于结理论的例子,它们已经可以推测出两个不同的统计量之间的关系。因此,我们希望能够创建大量的数据集,输入到 AI 中,它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点,部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。 - 批量或者说规模化的证明大量数学定理 > 现在,因为证明定理是如此繁琐和艰难的过程,我们一次只能证明一个定理,如果你效率很高,可能一次能证明两三个。但是有了 AI,你可以设想一下未来的情况,我们不是试图解决一个问题,而是处理一类类似的1000个问题,然后告诉AI,尝试用这个方法解决这 1000 个问题,然后报告结果,哦,我能用这种技术解决 35% 的问题。那么另一种技术呢?我能解决这个百分比的问题。或者如果结合这些方法,又能解决多少问题?你可以开始探索问题的空间,而不是一个接一个地解决问题。这是你现在根本无法做到的事情,或者是你需要几十年时间,通过数十篇论文慢慢搞清楚各种技术能做什么,不能做什么。但是有了这些工具,你真的可以开始做规模前所未有的数学研究。所以,未来将会非常令人兴奋。 演讲环节结束前的最后一句话说的特别好: > 我们仍然会以传统方式证明定理。事实上,我们必须这样做,因为如果我们自己都不知道如何做这些事情,就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。 这恰恰也是我们现在使用 AI 辅助编程的问题:如果我们自己都不知道如何构建软件,就很难引导好 AI 帮助我们生成高质量的代码。 尽管 AI 在数学和编程领域变得越来越有用,但人类的洞察力和创造力仍然是创作价值的关键。 原始 YT 视频:

宝玉

303,101 görüntüleme • 2 yıl önce