Sensitive content

This media may contain sensitive content.

Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

《1m养成日记》part 1 心血来潮买了个倒膜玩玩,倒膜首秀当然要交给我最爱的主麦啦! 但是在正式训练开始之前,还是要检验一下耶耶的潮喷能力! 噢噢噢~止不住的喷出来了!💦💦 (你们的点赞评论转发是我更新的动力!!part2会视数据后续放出噢!) #潮喷 #倒模 #男喘实录 #1m0s

38,214 görüntüleme • 11 ay önce •via X (Twitter)

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

俺上电视啦! 聊聊 kimi-k3 这么猛为什么还要开源 上周有幸接受了深圳卫视-科创最前沿栏目的采访, 主要聊了聊 Kimi-K3 这次取得如此牛的成绩背后的意义. 以及SOTA级别的模型就这样开放权重了, 不怕别人抄吗? 在我来看是真不怕的, 想象一下一个武林高手, 把自己的秘籍写成书, 免费送. 那是不是就意味着这些武林秘籍不是谁都练的. 大模型的情况也是这样的, 虽然权重也开源了, 训练技术也开源了, 但是, 最重要的, 训练使用的数据和经验, 这个是没开源的. 举个最典型的例子, 现在个人拿到kimi-k3的模型权重, 然后自己租算力微调, 大概率是会把模型越调越拉跨的. 就是因为既没有优质的后训练数据, 也没有优秀的后训练能力. 而现在大模型训练的数据其实大部分都是AI合成的了. 护城河已经从“静态的代码和模型权重”转移到了“持续的进化能力和数据飞轮”了. 所以即使全面复刻了 kimi-k3 的技术架构, 但是没有高质量合成数据流和持续的后训练体系, 也是没有办法竞争的. 但是 kimi-k3 开源获得的收益却是事实存在的, 不但能获得超高的曝光, 而且还能提升自己的社区影响力, 并且还能收获社区的正向反馈. 开源出来的训练工具链, 社区优秀的工程师在使用中也会不断的帮助反馈和提升. 形成整个生态的进步. 得道者多助这个道理是不会变的. #kimik3 #深圳卫视 #科创最前沿

karminski-牙医

17,354 görüntüleme • 25 gün önce

我们一直都搞错了记忆的原理。 你的记忆,并不存在。 记忆不是提取,而是生成。 我们一直以为,记忆就是把过往“存起来”,需要的时候再“取出来”。 但这其实是错觉。你记得妈妈的脸,不是因为那张脸一直存在于某个“脑内档案柜”里。而是你接收到“提示” 比如“妈妈”这个词:你的大脑里的生成系统就开始工作了。 它不是“取出”图片,而是“即兴画出”图片。 就像问一个AI:画一只马、画一座山 它不是从文件夹里调现成的,而是根据参数瞬时生成。你对“妈妈”的记忆,也是你大脑的一个实时“请求响应”行为:给我妈妈的脸 然后你脑中的模型立刻开始合成,画出轮廓、填上皮肤、添加声音和动作。 换句话说:你大脑里没有一个影像库,只有一个绘图工具。 所以,记忆并不是“有”或“没有”,而是“能不能生成”。 这种方式,也解释了我们为什么能灵活地“改写”记忆 你不只能想起妈妈的正脸,还能想起她在厨房做饭、在阳台晒太阳,甚至加上一点从未发生的细节。你有无限的方法组合她的存在。 这就带出一个巨大的问题转变: 如果记忆不是仓库,是生成器,那我们教孩子的时候,训练的是检索能力,还是生成能力? 我们不是在“给知识”,而是在“训练模型”。 这就意味着,教育不再是简单的填鸭与背诵,而是:如何帮他们搭建更高效的生成系统 ,能组合信息、模仿样式、即时调取、灵活变通。 记忆,并不是真实的复现,而是即时的重新创造。 重要的,从来不是“记住了什么”,而是“想起来的时候,你能生成出什么”。

墓碑科技

24,457 görüntüleme • 1 yıl önce

OpenAI 创始人 John Schulman 访谈节选:为什么 GPT-4 比一年前更“聪明”了?主要都是后训练(Post-Training)带来的! 另外他认为,在强化学习研究领域,研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈,并对各个部分充满好奇心是关键。此外,从第一性原理出发思考问题,而不仅仅依靠实验证据,也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel:在未来,用于训练的计算力中,预训练与后训练的比例是否会明显偏向后训练呢? John Schulman:确实,有一些观点支持这种说法。 Dwarkesh Patel:我是说,现在这个比例非常不平衡。 John Schulman:但你可以认为,模型生成的输出质量比网上的大多数内容都要高。因此,让模型自己思考似乎更有道理,而不仅仅是训练来模仿网络上的内容。所以,我认为从第一性原理上来说,这是有说服力的。我会说,我们通过后训练取得了很多进步。因此,我不确定。所以,我希望我们会继续推动这种方法,并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel:当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢? John Schulman:对,我会说大部分都是后训练带来的。 Dwarkesh Patel:这很有意思。 John Schulman:因此,有很多不同的改进方向。我们会考虑数据质量,数据数量,进行更多的部署和收集新数据的迭代,改变你收集的注解种类。因此,有很多因素叠加在一起。但是全部加在一起,就会带来一个相当不错的,有效的计算力提升。 Dwarkesh Patel:后训练的优化程度对于竞争优势有多大影响呢? John Schulman:目前,我会区别公司是通过我们的模型有多大等等。那么,找出你之前提到的所有这些数据的复杂问题的公司,会占据大优势吗? John Schulman:我认为这确实是一个优势,因为这是一个非常复杂的任务。因此,你必须有很多有技能的人来执行它。因此,存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程,创建一个具备人们所关心的所有功能的模型,是十分复杂的。这需要付出大量的努力,它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒,要想立即启动这种模型并非易事。 Dwarkesh Patel:看起来那些正在进行最严肃的预训练努力的公司,也在进行严肃的后训练努力。因此,看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman:另外,还有一种情况使得这个壁垒并非那么明显,那就是你可以提取模型,或者复制别人的模型输出,或者使用别人的模型进行比较。我认为大公司可能并不会这样做,因为这违反了服务条款,也会损害他们的自尊心,但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel:那些真正擅长进行这种强化学习(RL)研究的人有什么样的特质呢?我听说这种研究非常具有挑战性,但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢? John Schulman:我觉得有相当多的经验是关键。自从研究生时期以来,我一直在研究 RL 算法,涉及到数据收集、到注释过程,再到与语言模型的交互。所以,我算是涉猎了这些领域。我认为,在这类研究中表现出色的人通常对整个技术堆栈有全面的了解,并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点,还会从第一性原理出发思考问题。比如,假设深度学习是有效的,那么理想的收集数据的类型应该是什么,等等。

宝玉

57,175 görüntüleme • 2 yıl önce