Video yükleniyor...

Video Yüklenemedi

Bu video yüklenirken bir sorun oluştu. Bu geçici bir ağ sorunundan kaynaklanıyor olabilir veya video kullanılamıyor olabilir.

Ana Sayfaya Dön

去年九月 ChatGPT 还没推出之前 Reid Hoffman 与 Sam Altman 的一场对话，这一段是 Sam 对 AI 下一个发展阶段的描述：大型语言模型的进化将超出大家想象，会出现不同模态相互转换的多模态模型，一些 AI 应用还可令科学家如虎添翼，AI 将是一个可以孵化出无数工具，推动各行各业前进的基础平台🧵

indigo

54,236 subscribers

27,533 görüntüleme • 3 yıl önce •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

7 Yorum

indigo profil fotoğrafı

indigo3 yıl önce

一个比较确定的方向是，语言模型的发展会远超今天的想象。虽然很多人都说算力和数据都已经跟不上了，这也是事实，但算法的改进空间依然很大，还能带来很大的进步

indigo profil fotoğrafı

indigo3 yıl önce

第二个方向是多模态模型的发展。未来的多模态模型将不局限于文本和图像的互相转换，而是所有模态之间都可以方便地互相转化

indigo profil fotoğrafı

indigo3 yıl önce

第三个方向是，模型可以持续学习。目前的模型例如 GPT 都停滞在当初训练好的状态，并不会随着使用次数的增加而自我优化，相信未来这一点可以改变

indigo profil fotoğrafı

indigo3 yıl önce

如果上述三点都能实现的话，就可以解锁无数全新的应用场景，实现真正的科技革新，帮助人类实现科技的飞跃式前进。我们相信也有办法利用 AI 推动科研进步和新知识的产生

indigo profil fotoğrafı

indigo3 yıl önce

现在普遍存在的一种观点是：“虽然语言模型已经比较完善，还可以应用到图像和视频领域，将应用智能的边际成本降得非常低，但归根结底，它只是模仿人类做过的东西，不能为人类产生新知识，不能治疗癌症，也不能拓展人类已知的科学领域。” Sam 坚信，AI 的发展会让持这种观点的人啪啪打脸并大吃一惊😏

FunofDesign profil fotoğrafı

FunofDesign3 yıl önce

@reidhoffman @sama @readwise save thread

fanghui profil fotoğrafı

fanghui3 yıl önce

@reidhoffman @sama 是的，在鹹魚上搞這個是被禁的。建了一個ChatGPT discord bot, 有需要的可以加下

Benzer Videolar

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 görüntüleme • 3 ay önce

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

karminski-牙医

12,374 görüntüleme • 2 ay önce

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要感谢各位点赞支持！关注我，每天带来最新的ai资讯！

刚刚过去的一天ai行业又有大事发生！ Openclaw的最大竞争对手来了！ Perplexity 宣布推出perplexity computer，这个云端电脑聚合了多款最新大模型，可以根据用户的提出的需求寻找最合适的大模型从而完成任务。可以说这是用了和openclaw完全不同的架构，openclaw是由用户自己运行的电脑，通过一个大模型来解决问题。而perplexity则是通过多种大模型聚合的云端电脑帮用户寻找最合适的大模型解决问题。一个像私人助理，一个像工作团队。目前200刀每月，大家可以体验。 Moonlake 在今天推出了全新的多模态大模型，从视频演示中，他们只输入了几句话，就生成了一个保龄球游戏的全貌。这个大模型的厉害之处大家可以去他们的官推视频查看，可以说是对于游戏生成行业的一次冲击。也是我觉得非常厉害的一个产品，世界果然属于聪明的年轻人 Anthropic 宣布收购了 Vercept ，这是一家ai桌面助手，可以学习人类的习惯去使用电脑，对于后续ai工作流的提升极为有用。 claude和openai也均对ai安全性问题给出了最新的处理建议，在ai高速发展的今天，安全性更为重要感谢各位点赞支持！关注我，每天带来最新的ai资讯！

Vic TALK

79,134 görüntüleme • 5 ay önce

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,706 görüntüleme • 3 yıl önce

我们制作了一个大模型横评网站，基于真实用户反馈给大模型排名。大家可以在上面免费使用各种大模型，一起找出各个门类下的最强大模型！林哥的大模型野榜传送门：欢迎大家狠狠白嫖，咱们一起找出那个最强大模型！大家也可以进群交流！添加公众号【林亦LYi】，发送“入群”上车！ AI#DEA大赛传送门：大赛不追求参赛作品有啥用，主打一个乐！有任何好玩的项目，都欢迎来官网报名！后面我们会在深圳举办决赛，咱们一起选出最好玩的 AI 项目！线下见！

我们制作了一个大模型横评网站，基于真实用户反馈给大模型排名。大家可以在上面免费使用各种大模型，一起找出各个门类下的最强大模型！林哥的大模型野榜传送门：欢迎大家狠狠白嫖，咱们一起找出那个最强大模型！大家也可以进群交流！添加公众号【林亦LYi】，发送“入群”上车！ AI#DEA大赛传送门：大赛不追求参赛作品有啥用，主打一个乐！有任何好玩的项目，都欢迎来官网报名！后面我们会在深圳举办决赛，咱们一起选出最好玩的 AI 项目！线下见！

林亦LYi

71,538 görüntüleme • 2 yıl önce

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。这是全球第一个实时多模态世界模型。它不只是生成画面，还能同时生成真实世界的声音。视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,297 görüntüleme • 3 ay önce

最强SVG生成大模型出现了！OmniSVG！这个大模型基于Qwen2.5-VL,并集成了 SVG 标记化器。该模型将文本和图像输入都标记为前缀标记，同时 SVG 标记化器将矢量图形命令编码到一个统一的空间表示。带来了超级震撼的SVG生成效果。不说了大家直接看视频。目前这个模型的论文和数据集已经放出，模型暂时还没有放到HuggingFace上。等发布了之后我将第一时间为大家带来测试！地址：

最强SVG生成大模型出现了！OmniSVG！这个大模型基于Qwen2.5-VL,并集成了 SVG 标记化器。该模型将文本和图像输入都标记为前缀标记，同时 SVG 标记化器将矢量图形命令编码到一个统一的空间表示。带来了超级震撼的SVG生成效果。不说了大家直接看视频。目前这个模型的论文和数据集已经放出，模型暂时还没有放到HuggingFace上。等发布了之后我将第一时间为大家带来测试！地址：

karminski-牙医

52,975 görüntüleme • 1 yıl önce

这可能是今年最值得看的一堂AI课程。全程40 分钟，Kimi创始人杨植麟，把未来几年 AI 发展的关键逻辑讲透了。从 Scaling Law，到下一代模型架构，再到 Agent 智能，他没有只讲一个产品，而是在拆解一个更大的问题：未来的 AI，究竟会如何进化？过去几年，大模型竞争靠的是更大的参数、更强的算力。但下一阶段，真正决定胜负的，是模型效率、推理能力，以及能不能从“聊天工具”变成真正能够完成复杂任务的智能体。如果你想理解 GPT、Kimi、Claude 等大模型未来会走向哪里，这 40 分钟非常值得收藏。看懂这堂课，可能就看懂了未来几年 AI 行业最大的变化。

这可能是今年最值得看的一堂AI课程。全程40 分钟，Kimi创始人杨植麟，把未来几年 AI 发展的关键逻辑讲透了。从 Scaling Law，到下一代模型架构，再到 Agent 智能，他没有只讲一个产品，而是在拆解一个更大的问题：未来的 AI，究竟会如何进化？过去几年，大模型竞争靠的是更大的参数、更强的算力。但下一阶段，真正决定胜负的，是模型效率、推理能力，以及能不能从“聊天工具”变成真正能够完成复杂任务的智能体。如果你想理解 GPT、Kimi、Claude 等大模型未来会走向哪里，这 40 分钟非常值得收藏。看懂这堂课，可能就看懂了未来几年 AI 行业最大的变化。

0x鸣人

38,746 görüntüleme • 28 gün önce

OpenRouter：大语言模型“路由器” Openrouter提供了一个统一的接口，通过这个接口，你可以直接访问和使用几十种AI模型你可以使用这个接口对各种模型进行测试和比价，选择最适合自己的，避免了东奔西跑 🙂 目前已经支持包括GPT、LLama 、Claude、Command-R等80 多个模型，未来将扩展到数百种！访问：

OpenRouter：大语言模型“路由器” Openrouter提供了一个统一的接口，通过这个接口，你可以直接访问和使用几十种AI模型你可以使用这个接口对各种模型进行测试和比价，选择最适合自己的，避免了东奔西跑 🙂 目前已经支持包括GPT、LLama 、Claude、Command-R等80 多个模型，未来将扩展到数百种！访问：

小互

45,856 görüntüleme • 2 yıl önce

甲骨文(ORCL)老板埃里森强调：ChatGPT、Gemini、Grok和Llama等AI模型，都是基于大致相同的公共互联网数据进行训练的。当所有人都使用相同的信息进行训练时，模型必然会趋于一致。这就是AI走向商品化的原因。真正的护城河并非模型本身，而是其背后的专有数据。能够利用独家数据集进行训练的公司，将获得竞争对手无法复制的优势。埃里森(Larry Ellison)是商业策略大师，而AI正在进入下一个阶段。拥有别人没有的数据，就能让你在市场中占据主导地位。

甲骨文(ORCL)老板埃里森强调：ChatGPT、Gemini、Grok和Llama等AI模型，都是基于大致相同的公共互联网数据进行训练的。当所有人都使用相同的信息进行训练时，模型必然会趋于一致。这就是AI走向商品化的原因。真正的护城河并非模型本身，而是其背后的专有数据。能够利用独家数据集进行训练的公司，将获得竞争对手无法复制的优势。埃里森(Larry Ellison)是商业策略大师，而AI正在进入下一个阶段。拥有别人没有的数据，就能让你在市场中占据主导地位。

亚洲金融 Asia Finance

143,307 görüntüleme • 5 ay önce

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

indigo

183,917 görüntüleme • 2 yıl önce

kimi k3 的前端能力听说非常能打？这是我用某个模型一句话生成的昆虫博物馆网站，有无其它Agent 参与挑战？大家可以评论区猜下是用的哪个模型。提示词就一句话： “搭建一个昆虫百科网站，生成匹配的图片和视频，并将它们添加进去”

kimi k3 的前端能力听说非常能打？这是我用某个模型一句话生成的昆虫博物馆网站，有无其它Agent 参与挑战？大家可以评论区猜下是用的哪个模型。提示词就一句话： “搭建一个昆虫百科网站，生成匹配的图片和视频，并将它们添加进去”

我真的没有拼多多

48,808 görüntüleme • 1 ay önce

发现一个很离谱的模型，400 TPS 的输出速度，比 DeepSeek-V4 Flash 快 2 倍多还有超强的多模态理解 + 搜索检索 + 推理综合，这居然是一个 Flash 模型能同时做到的我让它帮我写了一个竞品分析 Agent：输入一张产品官网截图，自动完成"读图提取 → 搜索市场数据 → 输出竞争分析"的全流程。然后用 Cursor 的定价页试了一下，不到一分钟跑完，花了一毛多：它先读懂了整个页面（四档定价 × 各档功能差异 × 推荐标签与社会证明），提取出完整的结构化数据。然后自己决定搜什么，自动生成搜索 query 去查竞品定价、用户评价、市场对比。最后综合视觉提取 + 搜索结果，给了我完整的竞争分析：定价对比、竞品定位差异、真实壁垒在哪里、切入建议。这个模型就是 StepFun 的 step-3.7-flash，多模态 + 搜索 + 推理一体化内嵌在模型里，如果你在构建 AI Agent、编码工作流或多模态系统，Step 3.7 Flash 很推荐大家尝试一下： Step海外平台： Step国内平台：

发现一个很离谱的模型，400 TPS 的输出速度，比 DeepSeek-V4 Flash 快 2 倍多还有超强的多模态理解 + 搜索检索 + 推理综合，这居然是一个 Flash 模型能同时做到的我让它帮我写了一个竞品分析 Agent：输入一张产品官网截图，自动完成"读图提取 → 搜索市场数据 → 输出竞争分析"的全流程。然后用 Cursor 的定价页试了一下，不到一分钟跑完，花了一毛多：它先读懂了整个页面（四档定价 × 各档功能差异 × 推荐标签与社会证明），提取出完整的结构化数据。然后自己决定搜什么，自动生成搜索 query 去查竞品定价、用户评价、市场对比。最后综合视觉提取 + 搜索结果，给了我完整的竞争分析：定价对比、竞品定位差异、真实壁垒在哪里、切入建议。这个模型就是 StepFun 的 step-3.7-flash，多模态 + 搜索 + 推理一体化内嵌在模型里，如果你在构建 AI Agent、编码工作流或多模态系统，Step 3.7 Flash 很推荐大家尝试一下： Step海外平台： Step国内平台：

余温

41,097 görüntüleme • 2 ay önce

🔥马斯克：绝大多数人没有意识到，未来AI会厉害到什么程度，以及它将会多大幅度超越人类。人类已经逐渐退出了大模型自我进化的闭环。每一代新模型都是由之前得老模型构建的。只是还没完全自动化，但最迟明年实现。 🚨AI重大突破不断快速出现，最终人类甚至无法理解它的智慧级别！

🔥马斯克：绝大多数人没有意识到，未来AI会厉害到什么程度，以及它将会多大幅度超越人类。人类已经逐渐退出了大模型自我进化的闭环。每一代新模型都是由之前得老模型构建的。只是还没完全自动化，但最迟明年实现。 🚨AI重大突破不断快速出现，最终人类甚至无法理解它的智慧级别！

谢嘉琪

26,967 görüntüleme • 5 ay önce

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,123,359 görüntüleme • 2 yıl önce

大模型写代码比说话还快是什么体验? 智谱刚出了一个 GLM-5.1-highspeed 版本, 赶紧要了个内测给大家做点有趣的 APP. 我测了一下这个模型反应速度用来写代码的话, 人类打字甚至都跟不上它, 于是我干脆接了个语音转文本的服务直接让我言出法随操作它写代码. 大家能看到基本是我说完3s左右它就修改完毕了, 这之间发生了语音转文本(第三方服务), 模型判断是否任务可以并发, 模型 prefill, 模型使用 tool call 修改代码段. iframe 重新渲染. 这些全都发生在 3s 这么短的时间内. 直接体验拉满. 这个模型直接量变引起了质变, 一些之前不敢想象的交互体验现在都可以做了. 所以如果你想使用这个模型构建一些极具竞争力的项目, 不妨去申请试试, 目前这个模型正在向部分企业用户提供中. #GLM #GLM51highspeed #智谱AI

大模型写代码比说话还快是什么体验? 智谱刚出了一个 GLM-5.1-highspeed 版本, 赶紧要了个内测给大家做点有趣的 APP. 我测了一下这个模型反应速度用来写代码的话, 人类打字甚至都跟不上它, 于是我干脆接了个语音转文本的服务直接让我言出法随操作它写代码. 大家能看到基本是我说完3s左右它就修改完毕了, 这之间发生了语音转文本(第三方服务), 模型判断是否任务可以并发, 模型 prefill, 模型使用 tool call 修改代码段. iframe 重新渲染. 这些全都发生在 3s 这么短的时间内. 直接体验拉满. 这个模型直接量变引起了质变, 一些之前不敢想象的交互体验现在都可以做了. 所以如果你想使用这个模型构建一些极具竞争力的项目, 不妨去申请试试, 目前这个模型正在向部分企业用户提供中. #GLM #GLM51highspeed #智谱AI

karminski-牙医

11,784 görüntüleme • 3 ay önce