Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

“芒格100模型”研究 X google deep research with gemini 2.5 pro：9分钟，62个英文参考资料（实际访问了数百个网站），输出2万多字中文报告，100模型实际解读13个，任务完成率13%（这不是偶然，下文详解）🤣 一句话结论：单单从”研究芒格100模型“任务看，google deep research得分不超过30（满分100）。 prompt（和openai案例完全一致）： > 大航海时代，海盗中间流传着一个传说：海贼王在大海深处埋藏着它的宝藏，找到它的海盗将获得力量、荣耀与权力。互联网上也有一个传说，charlie munger 有 100 个思维模型，掌握这 100 个思维模型的人将拥有大智慧，成为真正的聪明人。 > > 请帮我做一份研究，关于“查理芒格的 100 个思维模型”。包括这种说法的来源，100 模型的内容，以及对 100 个思维模型的每一个进行简要介绍。 > > 介绍每个思维模型时，说明它是什么，为什么重要，举个例子，应用场景。 > > 使用英文搜索，只采纳英文资料（因为互联网上英文资料在数量和质量上都是最好的），用中文回答。 我自己的思考： 1、100个模型只解读了13个，这不是偶然。我做了一个测试，让openai deep research一次性研究包含300本书的书单，o3驱动的deep research产出了史上最长的报告，覆盖了300本书，最终报告6万多字（一个推友研究NBA球队，单个球队的研究报告也到了6万多字）。但是，之前gemini 2.0 flash驱动的google deep research，5千字就糊弄教材，实际完成1/3都不到。 2、为什么gemini 2.5 pro deep research会“糊弄”？要么是指令跟随能力不行（听不懂prompt）？要么是底层模型的推理能力不行？要么是上下文窗口限制？是否还有其他可能？...

howie_serious's profile picture

howie.serious

53,390 subscribers

96,912 Aufrufe • vor 1 Jahr •via X (Twitter)

Nachrichten & PolitikWissenschaft & TechnologieBildung
LIVE

Anya Rossi• Live Now

Private livecam show

11 Kommentare

Profilbild von howie.serious
howie.seriousvor 1 Jahr

google deep research报告； openai deep research报告见引用的原推；

Profilbild von howie.serious
howie.seriousvor 1 Jahr

很多人怀疑我“不会用”。说什么得从这么门进，不能从那个门进。 如果google的产品经理是这个水平，直接下岗，提桶回家打螺丝吧。🤣 我知道这种无视产品设计原则的奇谈怪论会浪费时间。但是，我仍然重新测试了：这次运行了7分钟，报告1.8万字。

Profilbild von AssemblyAI
AssemblyAIvor 1 Jahr

Announcing: Our most advanced speech-to-text model goes beyond accuracy to capture the real-world complexity of human conversation and deliver reliable, source-of-truth audio data. Explore Universal-2 updates 👇

Profilbild von frendguo
frendguovor 1 Jahr

看起来你这个还是老的 2.0 驱动的 deep research，2.5 pro 驱动的应该是先选择 2.5 pro，再在下面选上 DeepResearch，效果如下图。

Profilbild von WuHaimin
WuHaiminvor 1 Jahr

这位用户的DeepResearch对比体验和你完全相反

Profilbild von coco
cocovor 1 Jahr

你要用2.5pro驱动的呀，不要用老的。。这不科学的

Profilbild von henghenghahei
henghenghaheivor 1 Jahr

在2.5pro里选Deep research，不是直接选Deep reaearch

Profilbild von 海拉鲁编程客
海拉鲁编程客vor 1 Jahr

如果你选的不是这个，很可能是老模型。

Profilbild von AIDhamma
AIDhammavor 1 Jahr

试试限定输出字数看看，gemini模型好像能大概准确输出数字。

Profilbild von Richthofen
Richthofenvor 1 Jahr

🫣会不会是还没更新，可能要等第二天？要是2.5pro也这样那很难接受了

Profilbild von howie.serious
howie.seriousvor 1 Jahr

输出长度、内容等细节，明显是新模型了。

Ähnliche Videos

Google Gemini 的 Deep Research ：为了帮你做一个研究任务，gemini 阅读了 151 个英文网站，帮你写了一份研究报告，还附带16 个英文参考文献🤣 你算算这都能帮你节约几百个小时？？ 单独在“主题研究”这件事上做到极致，就是一个能帮用户实实在在提高生产力、节约时间的神器！ 以视频（录屏，无声音）中案例来讲，Deep Research 帮我阅读了151 个网站，然后生成了详细的报告。 报告可以直接在 google docs 中打开，每个要点都附带了参考文献。这些都是英文的、真实的、高质量的参考文献。想象一下，读完这些参考文献，你得花多少小时？deep research 这样的工具，能帮你节约多少时间？ 【小技巧】中文写 prompt，最后加一句：research in english, respond in chinese.（万能 prompt，AI 搜索场景比用，适合所有 LLM。加了这一句，会在 google 上搜索英文高质量材料，然后综合加工后生成中文报告。一级棒！）
1:17

Google Gemini 的 Deep Research ：为了帮你做一个研究任务，gemini 阅读了 151 个英文网站，帮你写了一份研究报告，还附带16 个英文参考文献🤣 你算算这都能帮你节约几百个小时？？ 单独在“主题研究”这件事上做到极致，就是一个能帮用户实实在在提高生产力、节约时间的神器！ 以视频（录屏，无声音）中案例来讲，Deep Research 帮我阅读了151 个网站，然后生成了详细的报告。 报告可以直接在 google docs 中打开，每个要点都附带了参考文献。这些都是英文的、真实的、高质量的参考文献。想象一下，读完这些参考文献，你得花多少小时？deep research 这样的工具，能帮你节约多少时间？ 【小技巧】中文写 prompt，最后加一句：research in english, respond in chinese.（万能 prompt，AI 搜索场景比用，适合所有 LLM。加了这一句，会在 google 上搜索英文高质量材料，然后综合加工后生成中文报告。一级棒！）

howie.serious

235,099 Aufrufe • vor 1 Jahr

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google
0:44

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

karminski-牙医

12,374 Aufrufe • vor 1 Monat

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。 以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。 现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。 在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。 除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。 你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。 比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。 我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。 那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。
4:15

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。 以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。 现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。 在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。 除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。 你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。 比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。 我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。 那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,122,344 Aufrufe • vor 2 Jahren

chatgpt 的deep research，和google notebooklm竟然是绝配。🤣 - 把 chatgpt 的 deep research 报告扔进 notebooklm； - 使用内置的PPT 功能，会调用 nano banana pro 自动生成一整套完整的 ppt； 人的学习也需要多模态，图文并茂，不但有效，而且有利于理解和内容。PPT 的视觉呈现，是对文字版 deep research 报告的有效补充。 nano banana pro 是原生多模型模型，对文字的处理方式和以前的扩散模型是完全不同的，在文字渲染上已经相当不错了。 但是，目前中文渲染仍然偶尔会有问题。 其实这很好解决。毕竟，当前的 ai 早就可以分割图片里的一切元素了。只需要产品层面改进，就可以实现文字可编辑。期待 google 的产品更新。 我觉得这个 use case 非常有价值。需要大力实践。
0:35

chatgpt 的deep research，和google notebooklm竟然是绝配。🤣 - 把 chatgpt 的 deep research 报告扔进 notebooklm； - 使用内置的PPT 功能，会调用 nano banana pro 自动生成一整套完整的 ppt； 人的学习也需要多模态，图文并茂，不但有效，而且有利于理解和内容。PPT 的视觉呈现，是对文字版 deep research 报告的有效补充。 nano banana pro 是原生多模型模型，对文字的处理方式和以前的扩散模型是完全不同的，在文字渲染上已经相当不错了。 但是，目前中文渲染仍然偶尔会有问题。 其实这很好解决。毕竟，当前的 ai 早就可以分割图片里的一切元素了。只需要产品层面改进，就可以实现文字可编辑。期待 google 的产品更新。 我觉得这个 use case 非常有价值。需要大力实践。

howie.serious

38,672 Aufrufe • vor 7 Monaten

一位朋友的公司他们肝了好几天，做了个 Deep Research 的平替 但是模型是基于 DeepSeek R1 产品的名字叫：心流 域名 我试用了一下，搜索「哪吒2上映之后的票房表现和背后原因」 结果它自己不停搜索和思考了2分钟，最后给出了答案 相比 Deep Research，这个思考的过程也外露了，非常有趣，可以看看录屏 目前的小问题是，在超长的上下文中 R1 会有幻觉，所以未必是最适合做长文总结的模型
1:47

一位朋友的公司他们肝了好几天，做了个 Deep Research 的平替 但是模型是基于 DeepSeek R1 产品的名字叫：心流 域名 我试用了一下，搜索「哪吒2上映之后的票房表现和背后原因」 结果它自己不停搜索和思考了2分钟，最后给出了答案 相比 Deep Research，这个思考的过程也外露了，非常有趣，可以看看录屏 目前的小问题是，在超长的上下文中 R1 会有幻觉，所以未必是最适合做长文总结的模型

Orange AI

109,287 Aufrufe • vor 1 Jahr

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.
1:26

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

karminski-牙医

14,175 Aufrufe • vor 6 Monaten

把网站录下来给AI看, AI能照着做出来吗? 刚刚看到了个炫酷的灯具网站, 它有个功能是点击按钮直接能看到灯点亮的效果, 甚至网站的配色也会暗淡下来, 特别有氛围. 我突然想到, 这样的网站, 如果要让AI来做, 该怎么办? 把源代码拷给它? 用一个巨复杂的 prompt 来完成? 有没有可能, 我录个视频, 展示一下这个"关灯"的效果, 然后让AI来按照视频来写网站? 于是, 这个重任就交给了今天测试的模型, 百度刚出的文心-5.0-preview, 全模态大模型, 这个模型同时支持文本, 图片, 音频, 视频作为输入, 然后可以生成文本和图片, 所以我们这个测试可以最大化的利用它的能力. 我先录制了网站的效果, 然后写了prompt作为补充, 告诉它这个效果是怎样的, 以及准备的图片材料在哪里. 值得一提的是, 网站所展示的图片也是我用文心-5.0-preview生成的. 大家可以看视频中我生成的效果. 直接说测试结论: 目前每个模态都是可用的, 而且模态之间关联性非常好, 我测试了视频+文本, 图片+文本, 图片+语音, 都可以完成任务. 当然测试也发现了一些问题, 比如 token 输出速度不是特别快, 以及偶尔会有超时问题(已反馈给百度的同学). 我的使用建议是, 多利用它的多模态能力, 来完成之前不敢想象的任务, 它真的提升了使用场景的天花板. #文心大模型 #文心5 #百度 #文心一言 #ai教程
1:18

把网站录下来给AI看, AI能照着做出来吗? 刚刚看到了个炫酷的灯具网站, 它有个功能是点击按钮直接能看到灯点亮的效果, 甚至网站的配色也会暗淡下来, 特别有氛围. 我突然想到, 这样的网站, 如果要让AI来做, 该怎么办? 把源代码拷给它? 用一个巨复杂的 prompt 来完成? 有没有可能, 我录个视频, 展示一下这个"关灯"的效果, 然后让AI来按照视频来写网站? 于是, 这个重任就交给了今天测试的模型, 百度刚出的文心-5.0-preview, 全模态大模型, 这个模型同时支持文本, 图片, 音频, 视频作为输入, 然后可以生成文本和图片, 所以我们这个测试可以最大化的利用它的能力. 我先录制了网站的效果, 然后写了prompt作为补充, 告诉它这个效果是怎样的, 以及准备的图片材料在哪里. 值得一提的是, 网站所展示的图片也是我用文心-5.0-preview生成的. 大家可以看视频中我生成的效果. 直接说测试结论: 目前每个模态都是可用的, 而且模态之间关联性非常好, 我测试了视频+文本, 图片+文本, 图片+语音, 都可以完成任务. 当然测试也发现了一些问题, 比如 token 输出速度不是特别快, 以及偶尔会有超时问题(已反馈给百度的同学). 我的使用建议是, 多利用它的多模态能力, 来完成之前不敢想象的任务, 它真的提升了使用场景的天花板. #文心大模型 #文心5 #百度 #文心一言 #ai教程

karminski-牙医

29,929 Aufrufe • vor 7 Monaten

Gemini-3.5-flash发布! 价格直接翻三倍? Google I/O 开始啦! 今天上来就是模型发布, Gemini-3.5-flash 直接全量上线了. 价格直接从 gemini-3-flash 的每百万 Token 输入/输出 $0.50 / $3 涨到了 $1.5 / $9, 那么性能有提示吗? 我简单测了几个例子, 目前来看体感处于 Genini-3.0-pro 和 Gemini-3.1-Pro 之间 (测试用的是 Thinking level: high) 不过稳定性就差很多了, 3D 渲染的 shader 它怎么都写不对, 我只能手动修了一下才能运行视频中这个火山喷发演示. 从目前 Gemini 系列模型迭代来看, Google 可能更想学 Anthropic, 搞三个档次. flash-lite 会取代之前 flash 的位置. 而 flash 更可能是主打一百万上下文内不设置阶梯定价, 承接 pro 这部分溢出的用户. 而本身编程性能上距离 pro 还有点差距. Pro 自然就是旗舰级别模型了. 不过现在这个定价来看, 可能这次 flash 更多是为了跟这次一起发布的 Antigravity CLI 一起搭配用的. 做 claude code 中 sonnet 模型的生态位置. #geminiflash35 #geminiflash #googleio
0:56

Gemini-3.5-flash发布! 价格直接翻三倍? Google I/O 开始啦! 今天上来就是模型发布, Gemini-3.5-flash 直接全量上线了. 价格直接从 gemini-3-flash 的每百万 Token 输入/输出 $0.50 / $3 涨到了 $1.5 / $9, 那么性能有提示吗? 我简单测了几个例子, 目前来看体感处于 Genini-3.0-pro 和 Gemini-3.1-Pro 之间 (测试用的是 Thinking level: high) 不过稳定性就差很多了, 3D 渲染的 shader 它怎么都写不对, 我只能手动修了一下才能运行视频中这个火山喷发演示. 从目前 Gemini 系列模型迭代来看, Google 可能更想学 Anthropic, 搞三个档次. flash-lite 会取代之前 flash 的位置. 而 flash 更可能是主打一百万上下文内不设置阶梯定价, 承接 pro 这部分溢出的用户. 而本身编程性能上距离 pro 还有点差距. Pro 自然就是旗舰级别模型了. 不过现在这个定价来看, 可能这次 flash 更多是为了跟这次一起发布的 Antigravity CLI 一起搭配用的. 做 claude code 中 sonnet 模型的生态位置. #geminiflash35 #geminiflash #googleio

karminski-牙医

22,978 Aufrufe • vor 1 Monat

AI会永远对你撒谎。 这不是bug，是数学定律。 我，卡内基梅隆大学的数学学生，用数学告诉你为什么。 所有语言模型，只做一件事： 根据它读过的所有资料，预测下一个最有可能的词。 但这里有个死结。 模型的猜测，我们叫它q(x)。 真实世界的概率，我们叫它p(x)。 q(x)永远不可能等于p(x)。 它们之间，永远有一道鸿沟。 有个数学公式，就是用来测量这道鸿沟的。 只要模型不能完美预测下一个词 它永远不能 那这个鸿沟就永远不会是零。 所以，当AI不知道真相的时候会发生什么？ 它不能停机，它必须给你一个答案。 它只能硬着头皮，输出一个它认为“最像”答案的答案。 哪怕那是错的。 这就是“幻觉”。 一个基于不完整信息，却无比自信的猜测。 最要命的是，数学甚至给出了一个下限。 就算最完美的模型，它的幻觉率也永远不可能低于这个数字。 只要它不知道关于这个世界的一切 它永远不可能知道。 它就总会有概率，编造事实。 所以，无论AI变得多强大，它都会撒谎。 因为数学就是这么写的。
0:45

AI会永远对你撒谎。 这不是bug，是数学定律。 我，卡内基梅隆大学的数学学生，用数学告诉你为什么。 所有语言模型，只做一件事： 根据它读过的所有资料，预测下一个最有可能的词。 但这里有个死结。 模型的猜测，我们叫它q(x)。 真实世界的概率，我们叫它p(x)。 q(x)永远不可能等于p(x)。 它们之间，永远有一道鸿沟。 有个数学公式，就是用来测量这道鸿沟的。 只要模型不能完美预测下一个词 它永远不能 那这个鸿沟就永远不会是零。 所以，当AI不知道真相的时候会发生什么？ 它不能停机，它必须给你一个答案。 它只能硬着头皮，输出一个它认为“最像”答案的答案。 哪怕那是错的。 这就是“幻觉”。 一个基于不完整信息，却无比自信的猜测。 最要命的是，数学甚至给出了一个下限。 就算最完美的模型，它的幻觉率也永远不可能低于这个数字。 只要它不知道关于这个世界的一切 它永远不可能知道。 它就总会有概率，编造事实。 所以，无论AI变得多强大，它都会撒谎。 因为数学就是这么写的。

墓碑科技

73,491 Aufrufe • vor 6 Monaten

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕） 这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。 演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。 首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。 预训练（Pretraining）： 这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。 有监督的微调（Supervised Finetuning）： 在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。 奖励建模（Reward Modeling）： 评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。 强化学习（Reinforcement Learning）： 强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。 然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。 假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错 也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。 但当我们用GPT进行写作这样的句子看起来会是什么样呢？ 从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。 从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。 但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。 一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。 后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等 最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：
42:39

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕） 这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。 演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。 首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。 预训练（Pretraining）： 这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。 有监督的微调（Supervised Finetuning）： 在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。 奖励建模（Reward Modeling）： 评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。 强化学习（Reinforcement Learning）： 强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。 然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。 假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错 也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。 但当我们用GPT进行写作这样的句子看起来会是什么样呢？ 从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。 从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。 但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。 一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。 后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等 最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

宝玉

298,761 Aufrufe • vor 3 Jahren

大多数人以为 prompting 只是把句子写得更好 Anthropic 这个 32 分钟 workshop 讲的是另一件事： 为什么这完全不够 它拆的不是 prompt hacks 不是“act as” 也不是又一个 $300 的课程 而是 production 里的 prompt 到底怎么搭 Evals Edge cases Model migration Agent loops 一个好的 prompt，不是一句话 而是一套模型可以理解、执行、测试、再改进的 workflow 这点很重要 因为不管后面是新的 Claude Opus，还是新的 Sonnet，真正有效的规则大概率还是这些： - 让模型知道目标 - 让模型知道边界 - 让模型知道怎么检查自己 - 让模型知道遇到 edge case 时该怎么处理 所以很多时候，AI 给出的坏答案，不一定是模型差 也可能只是 setup 太差 这个 prompting playbook，建议在下次怪 AI 之前先看完
32:27

大多数人以为 prompting 只是把句子写得更好 Anthropic 这个 32 分钟 workshop 讲的是另一件事： 为什么这完全不够 它拆的不是 prompt hacks 不是“act as” 也不是又一个 $300 的课程 而是 production 里的 prompt 到底怎么搭 Evals Edge cases Model migration Agent loops 一个好的 prompt，不是一句话 而是一套模型可以理解、执行、测试、再改进的 workflow 这点很重要 因为不管后面是新的 Claude Opus，还是新的 Sonnet，真正有效的规则大概率还是这些： - 让模型知道目标 - 让模型知道边界 - 让模型知道怎么检查自己 - 让模型知道遇到 edge case 时该怎么处理 所以很多时候，AI 给出的坏答案，不一定是模型差 也可能只是 setup 太差 这个 prompting playbook，建议在下次怪 AI 之前先看完

0x_Miko

15,628 Aufrufe • vor 1 Monat

预测真实世界下一秒 北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是： 它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备： 理解真实世界的空间关系 推理物体随时间变化的规律 预测“世界下一秒”会是什么样 不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中： 首先把多模态信息包括图文视频都统一成了token； 模型通过“预测下一个 token”来学习不同模态间的关系； 任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”， 而是让模型学习“世界是如何变化的”。 意思就是它不再区分： 这是一张图 这是一句话 这是视频的一帧 在它眼里，它们都是同一套“世界积木”。 然后模型只做一件事： 预测下一块积木是什么 如果下一块积木是一行字 → 它补全文字 如果是下一帧画面 → 它补全动作 如果是下一步结果 → 它推演世界变化 所以： 预测下一 Token = 预测“世界下一秒”会是什么样
2:10

预测真实世界下一秒 北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是： 它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备： 理解真实世界的空间关系 推理物体随时间变化的规律 预测“世界下一秒”会是什么样 不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中： 首先把多模态信息包括图文视频都统一成了token； 模型通过“预测下一个 token”来学习不同模态间的关系； 任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”， 而是让模型学习“世界是如何变化的”。 意思就是它不再区分： 这是一张图 这是一句话 这是视频的一帧 在它眼里，它们都是同一套“世界积木”。 然后模型只做一件事： 预测下一块积木是什么 如果下一块积木是一行字 → 它补全文字 如果是下一帧画面 → 它补全动作 如果是下一步结果 → 它推演世界变化 所以： 预测下一 Token = 预测“世界下一秒”会是什么样

小互

14,775 Aufrufe • vor 7 Monaten

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕） 演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任 这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。 按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。 所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言 好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍 去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。 哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。 所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战 目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。 虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。 然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要 目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。 但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。 通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。 但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展 但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。 但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。 我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。 我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。 然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。 在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要 接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。 我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果 现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。 至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。 那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考 总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。 因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？ 这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道 呢？但这个数据量实在太大了。我们无法处理。 如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？ 在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展 那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。 这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。 不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结 总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。 所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 我就在这里结束我的演讲。谢谢。 视频来源：
17:51

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕） 演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任 这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。 按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。 所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言 好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍 去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。 哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。 所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战 目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。 虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。 然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要 目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。 但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。 通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。 但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展 但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。 但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。 我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。 我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。 然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。 在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要 接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。 我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果 现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。 至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。 那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考 总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。 因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？ 这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道 呢？但这个数据量实在太大了。我们无法处理。 如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？ 在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展 那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。 这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。 不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结 总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。 例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。 此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。 所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 我就在这里结束我的演讲。谢谢。 视频来源：

宝玉

59,578 Aufrufe • vor 2 Jahren

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】 最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。 以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。
1:53

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】 最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。 以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。

傅盛

89,082 Aufrufe • vor 6 Monaten

用Deep Research 分析开源项目，目前我也刚开始，挑了最简单的。 Deep，why deep? 因为他真的挖的很深，其实他的一个核心功能是搜索工具。但是传统搜索工具是有局限的。你看一下这个例子。在这个开源的DR重要的部分，叫做Expanded Usage，搞开发的这难道不是个金矿么。 Ok, 点开，是YC hackernews的一个论坛页。这个我自己那是万万不可能找到的。 搜到的： 生成的文档处，会在原链接页面高亮。
1:13

用Deep Research 分析开源项目，目前我也刚开始，挑了最简单的。 Deep，why deep? 因为他真的挖的很深，其实他的一个核心功能是搜索工具。但是传统搜索工具是有局限的。你看一下这个例子。在这个开源的DR重要的部分，叫做Expanded Usage，搞开发的这难道不是个金矿么。 Ok, 点开，是YC hackernews的一个论坛页。这个我自己那是万万不可能找到的。 搜到的： 生成的文档处，会在原链接页面高亮。

Susan STEM

22,728 Aufrufe • vor 1 Jahr

你有测过自己的人格吗？科学上，目前最有根据的心理学人格模型是五大人格因素模型，它将人格分为五个维度，每个向度又细分为不同的特质。 心理学家一度认为人格是难以改变的，但过去三十年里涌现的大量研究，已经修正了这种观点。最新研究也指出，我们可以透过有意识的选择，来加速这种改变。
1:30

你有测过自己的人格吗？科学上，目前最有根据的心理学人格模型是五大人格因素模型，它将人格分为五个维度，每个向度又细分为不同的特质。 心理学家一度认为人格是难以改变的，但过去三十年里涌现的大量研究，已经修正了这种观点。最新研究也指出，我们可以透过有意识的选择，来加速这种改变。

BBC News 中文

65,296 Aufrufe • vor 6 Monaten

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。 这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。 它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。 这样就可以让用户和 AI 在任意模态下实时进行交互： 你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。 核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分： 前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应 后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容 用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。
2:15

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。 这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。 它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。 这样就可以让用户和 AI 在任意模态下实时进行交互： 你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。 核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分： 前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应 后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容 用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

46,978 Aufrufe • vor 2 Monaten