Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

ChatGPT + Readwise Reader = 知识管理全新范式的一个关键模块 1、顶级 LLM （尤其是 o1+狂暴模式 meta prompt）的输出质量是非常高的，值得读 5678 遍。我坚信，这种合成数据是比人类产生的大部分“有机”数据质量更高，是更好的学习材料； 2、所以，高质量 chatgpt 对话如同好文章，需要知识管理；有效的知识管理不是机械地存储信息，而是通过对信息进行深度加工和高效提取，让你在需要时能快速提炼关键内容；Readwise reader 就是这样的作用。 3、chatgpt 的网页对话，其知识管理流程无比顺畅，不论是阅读体验、划线和笔记、后续检索、回顾、提取调用，都是最佳状态。（看视频附件） 4、readwise 有发展中国家用户半价优惠，发邮件申请即可。 Reader

howie.serious

53,333 subscribers

59,543 views • 1 year ago •via X (Twitter)

Science & Technology News & Politics Education

Anya Rossi• Live Now

Private livecam show

11 Comments

LotusDecoder1 year ago

我是私人部署openwebui了，把claude 、openai、gemini 等api接进来，这样聊天数据都是自己的，方便以后开发或是研究。

AssemblyAI1 year ago

Announcing: Our most advanced speech-to-text model goes beyond accuracy to capture the real-world complexity of human conversation and deliver reliable, source-of-truth audio data. Explore Universal-2 updates 👇

那不能撕1 year ago

我等中国平民真悲催，连利用先进的互联网都困难重重世界主流网站、邮箱、主流AI、行业工具网站、主流支付渠道、收款渠道、主流智能设备，等等等等，要么被中国官方屏蔽，要么对中国大陆区限制，要么在功能上阉割或者被阉割中国这个国家，因为意识形态有毒，殃及了许多无辜从业者

OpenCils1 year ago

✎ 学到了，我最不满意的就是Reader的排版继续优化我的 Readwise Reader 阅读脚本。

howie.serious1 year ago

reader 很好的一点是可以在原网页上阅读、划线和笔记； reader 排版渲染的结果，极大取决于原网页的结构；chatgpt 的对话，保存在 reader 中格式极佳，层级结构都保留下来了（因为 chatgpt 的输出就是 Markdown 结构的）

ddtoys20161 year ago

跟着大佬搞定readwise的发展中国家优惠申请并付费使用了，客服很nice😊正在看一些教程和类似大佬的经验分享，争取迅速上手。前一阵子跟着大佬开始接触Logseq，已经可以在日常使用中慢慢“上道儿”。不过大佬的Chatgpt怕是跟不上了，国内的付费环境……原汁原味的体验费劲😭

howie.serious1 year ago

美区 ID，礼品卡充值，轻松搞定。

Jacky Su1 year ago

牛逼，打开新世界了，原来还能存chatgpt对话记录。Claude也能存吧

Bear Liu1 year ago

这个技巧真好，我天天用ChatGPT和Readwise Reader，怎么没想到把两者结合起来

howie.serious1 year ago

现在开始，刚刚好。每天阅读几条 chatgpt对好问题的回答，质量比大部分人类文章更好🤣

John Mike1 year ago

金点子

Related Videos

提高个人学习效率的策略和技巧优化学习前的准备：在开始深入学习之前，首先要对学习内容有一个大致的了解，包括通过阅读摘要、目录等方式获取关键词和主要概念。建立知识框架：使用关键词和概念创建一个初步的知识结构，这个结构不依赖于任何特定的学习材料的顺序，而是基于你的先验知识和理解。积极整合：在学习过程中，不断地将新信息整合到你的知识框架中，这包括对信息的重组和重新分类，以确保它与你已有的知识相连贯。避免线性学习：避免按照材料原有的顺序进行线性学习，而是基于个人的知识框架，有选择性地学习那些能最大化提高理解和记忆的部分。提高信息相关性：通过与已有知识的关联，增加新信息的相关性，这样可以更容易地记住并应用新学到的知识。实践和应用：通过实际应用学习到的知识来加深理解和记忆，即使是简单或看似无用的练习也能帮助巩固学习成果。个性化学习路径：虽然大脑的基本结构相似，但每个人的学习风格和偏好可能不同。寻找和优化最适合自己的学习方法是关键。

提高个人学习效率的策略和技巧优化学习前的准备：在开始深入学习之前，首先要对学习内容有一个大致的了解，包括通过阅读摘要、目录等方式获取关键词和主要概念。建立知识框架：使用关键词和概念创建一个初步的知识结构，这个结构不依赖于任何特定的学习材料的顺序，而是基于你的先验知识和理解。积极整合：在学习过程中，不断地将新信息整合到你的知识框架中，这包括对信息的重组和重新分类，以确保它与你已有的知识相连贯。避免线性学习：避免按照材料原有的顺序进行线性学习，而是基于个人的知识框架，有选择性地学习那些能最大化提高理解和记忆的部分。提高信息相关性：通过与已有知识的关联，增加新信息的相关性，这样可以更容易地记住并应用新学到的知识。实践和应用：通过实际应用学习到的知识来加深理解和记忆，即使是简单或看似无用的练习也能帮助巩固学习成果。个性化学习路径：虽然大脑的基本结构相似，但每个人的学习风格和偏好可能不同。寻找和优化最适合自己的学习方法是关键。

Yangyi

118,234 views • 2 years ago

熟悉Prompt的同学们应该都知道，通常在写Prompt的时候要先设定角色：“你是XX方面的专家”，这并非玄学，而是有科学根据的。 GPT在训练的时候，有各种训练数据，有的质量高有的质量低，而默认情况下，生成高质量数据和低质量数据的概率差不多，但是当你给它设定XX专家的角色时，它会尽可能把概率分布在高质量的解决方案上。详细内容建议看下面这段Andrej Karpathy在State of GPT中的一段演讲。以下是这段视频的文字文字内容： ---------- 下面我要讲的这点对LLM的理解非常有趣，我觉得这算是LLM的一种心理特性：LLM并不追求成功，而是追求模仿。你希望它成功，那就需要向它明确要求。这里的意思是，在训练Transformer的过程中，它们有各种训练集，而这些训练数据中可能涵盖了各种不同质量的表现。比如，可能有一个关于物理问题的提示，然后可能有学生的解答完全错误，但也可能有专家的答案完全正确。尽管Transformer可以识别出低质量的解决方案和高质量的解决方案，但默认情况下，它们只会模仿所有的数据，因为它们仅仅是基于语言模型进行训练的。在实际测试中，你其实需要明确要求它表现得好。在这篇论文的实验中，他们尝试了各种提示。例如，“让我们逐步思考”这种提示就很有效，因为它把推理过程分散到了许多记号上。但效果更好的是这样的提示：“让我们以一步一步的方式解决问题，以确保我们得到正确的答案。” 这就好像是在引导Transformer去得出正确的答案，这会使Transformer的表现更好，因为此时Transformer不再需要把它的概率质量分散到低质量的解决方案上，尽管这听起来很荒谬。基本上，你可以自由地要求一个高质量的解决方案。比如，你可以告诉它，“你是这个话题的领先专家。假装你的智商是120。” 但不要尝试要求太高的智商，因为如果你要求智商400，可能就超出了数据分布的范围，更糟糕的是，你可能落入了类似科幻内容的数据分布，它可能会开始展现一些科幻的，或者说角色扮演类的东西。所以，你需要找到适合的智商要求。我想这可能是一个U型曲线的关系。

熟悉Prompt的同学们应该都知道，通常在写Prompt的时候要先设定角色：“你是XX方面的专家”，这并非玄学，而是有科学根据的。 GPT在训练的时候，有各种训练数据，有的质量高有的质量低，而默认情况下，生成高质量数据和低质量数据的概率差不多，但是当你给它设定XX专家的角色时，它会尽可能把概率分布在高质量的解决方案上。详细内容建议看下面这段Andrej Karpathy在State of GPT中的一段演讲。以下是这段视频的文字文字内容： ---------- 下面我要讲的这点对LLM的理解非常有趣，我觉得这算是LLM的一种心理特性：LLM并不追求成功，而是追求模仿。你希望它成功，那就需要向它明确要求。这里的意思是，在训练Transformer的过程中，它们有各种训练集，而这些训练数据中可能涵盖了各种不同质量的表现。比如，可能有一个关于物理问题的提示，然后可能有学生的解答完全错误，但也可能有专家的答案完全正确。尽管Transformer可以识别出低质量的解决方案和高质量的解决方案，但默认情况下，它们只会模仿所有的数据，因为它们仅仅是基于语言模型进行训练的。在实际测试中，你其实需要明确要求它表现得好。在这篇论文的实验中，他们尝试了各种提示。例如，“让我们逐步思考”这种提示就很有效，因为它把推理过程分散到了许多记号上。但效果更好的是这样的提示：“让我们以一步一步的方式解决问题，以确保我们得到正确的答案。” 这就好像是在引导Transformer去得出正确的答案，这会使Transformer的表现更好，因为此时Transformer不再需要把它的概率质量分散到低质量的解决方案上，尽管这听起来很荒谬。基本上，你可以自由地要求一个高质量的解决方案。比如，你可以告诉它，“你是这个话题的领先专家。假装你的智商是120。” 但不要尝试要求太高的智商，因为如果你要求智商400，可能就超出了数据分布的范围，更糟糕的是，你可能落入了类似科幻内容的数据分布，它可能会开始展现一些科幻的，或者说角色扮演类的东西。所以，你需要找到适合的智商要求。我想这可能是一个U型曲线的关系。

宝玉

348,817 views • 3 years ago

让 o1 变身 o1 pro的“狂暴模式 prompt”，是真的有效，还只是人类用户的又一个幻觉？真的有免费馅饼？真的能薅到 openai 的羊毛？听起来不可思议。毕竟，“思考时间延长 511%，回答质量大幅提升，约等于立省 180，美金，每月”，好像不太可能真的有这样的好事🤣 但证据是充分的，验证是严密的，效果是显著的，原理是清晰可理解的。我连续做了十几次测试，o1 的额度快要用完了，但是屡试不爽；把 o1 的输出结果读上 5678遍，但是上狂暴模式 prompt 和无 prompt 的结果真的差异显著。 o1 作为推理模型，其关键是test-time compute的增加，体现在用户输入问题后 o1 思考时间的长短、CoT 的精细程度。虽然 openai 官方都用数学、编程、物理化学问题作为宣传点，但是，我发现，对于复杂且深刻的“文科”问题，o1用上 prompt 的结果提升巨大。我觉得有 2-3 倍的质量提升。这是我目前的测试案例： - 案例0 精致利己主义者：基于中国大陆的大环境，受过教育的人，是不是更容易成为精致的利己主义者？ - 案例1 信息熵是专注力的敌人。而信息熵的本质是信息的无序和复杂。所以，我们需要知识管理，来对抗信息的无序；我们需要ChatGPT，来对抗信息的复杂。整体的方向，是降低大脑的认知负荷（即使你的脑力爆表，也需要节省，因为认知过载会损害你的思考和专注）； - 案例2 内容 prompt vs meta prompt：meta prompt 被人当灵丹妙药而推崇追求推销推广，但是，内容 prompt 更关键（内容是思想本身）。meta prompt 作用是锦上添花，如果内容 prompt 本身是思想垃圾，那就是💩上添🌸了。 - 案例3 算法信息流与社会影响：算法信息流，是第一种大规模的“错误对齐”的 AI。尤其是算法短视频，没有正确对齐（价值观、目标），给人类造成的影响（坏脑症，娱乐至死，价值观扭曲，过度消费软色情、情绪按摩等感官信息），可能一代人以后才会充分展现出来。案例4 批判性思维挑战与形式逻辑教育：中国人大多没有经历过形式逻辑的训练。因为中国教育不教逻辑，而以辩证哲学取代。这是因为教育、文化、语言、思想、政治体制、历史等多重因素导致的。这导致了批判性思维在中国很难得到发展。案例5 假如沉入贝加尔湖：假如一个人溺水，沉入了贝尔加湖底。会怎样？案例6 知识管理简史案例7 王朝周期律的根本原因：中华文明虽然历史悠久，文化璀璨，但是每个朝代持续时间都不超过三百年，逃不出王朝兴衰更替的宿命。根本原因是什么？一共 8 个测试全部 prompt 有效，测试相互随机独立，相当于连续抛8 次硬币都是正面。所以，我基本确定这件近乎不可能的“好事”是真实成立的。全部案例和对照组的对话原始链接，都在视频的 video notes 里面。欢迎大家验证。

让 o1 变身 o1 pro的“狂暴模式 prompt”，是真的有效，还只是人类用户的又一个幻觉？真的有免费馅饼？真的能薅到 openai 的羊毛？听起来不可思议。毕竟，“思考时间延长 511%，回答质量大幅提升，约等于立省 180，美金，每月”，好像不太可能真的有这样的好事🤣 但证据是充分的，验证是严密的，效果是显著的，原理是清晰可理解的。我连续做了十几次测试，o1 的额度快要用完了，但是屡试不爽；把 o1 的输出结果读上 5678遍，但是上狂暴模式 prompt 和无 prompt 的结果真的差异显著。 o1 作为推理模型，其关键是test-time compute的增加，体现在用户输入问题后 o1 思考时间的长短、CoT 的精细程度。虽然 openai 官方都用数学、编程、物理化学问题作为宣传点，但是，我发现，对于复杂且深刻的“文科”问题，o1用上 prompt 的结果提升巨大。我觉得有 2-3 倍的质量提升。这是我目前的测试案例： - 案例0 精致利己主义者：基于中国大陆的大环境，受过教育的人，是不是更容易成为精致的利己主义者？ - 案例1 信息熵是专注力的敌人。而信息熵的本质是信息的无序和复杂。所以，我们需要知识管理，来对抗信息的无序；我们需要ChatGPT，来对抗信息的复杂。整体的方向，是降低大脑的认知负荷（即使你的脑力爆表，也需要节省，因为认知过载会损害你的思考和专注）； - 案例2 内容 prompt vs meta prompt：meta prompt 被人当灵丹妙药而推崇追求推销推广，但是，内容 prompt 更关键（内容是思想本身）。meta prompt 作用是锦上添花，如果内容 prompt 本身是思想垃圾，那就是💩上添🌸了。 - 案例3 算法信息流与社会影响：算法信息流，是第一种大规模的“错误对齐”的 AI。尤其是算法短视频，没有正确对齐（价值观、目标），给人类造成的影响（坏脑症，娱乐至死，价值观扭曲，过度消费软色情、情绪按摩等感官信息），可能一代人以后才会充分展现出来。案例4 批判性思维挑战与形式逻辑教育：中国人大多没有经历过形式逻辑的训练。因为中国教育不教逻辑，而以辩证哲学取代。这是因为教育、文化、语言、思想、政治体制、历史等多重因素导致的。这导致了批判性思维在中国很难得到发展。案例5 假如沉入贝加尔湖：假如一个人溺水，沉入了贝尔加湖底。会怎样？案例6 知识管理简史案例7 王朝周期律的根本原因：中华文明虽然历史悠久，文化璀璨，但是每个朝代持续时间都不超过三百年，逃不出王朝兴衰更替的宿命。根本原因是什么？一共 8 个测试全部 prompt 有效，测试相互随机独立，相当于连续抛8 次硬币都是正面。所以，我基本确定这件近乎不可能的“好事”是真实成立的。全部案例和对照组的对话原始链接，都在视频的 video notes 里面。欢迎大家验证。

howie.serious

102,599 views • 1 year ago

一个强大的开源知识库管理系统：Simba。能够轻松地任何检索增强生成（RAG）框架集成使用，并帮助我们更好地管理各种知识库。 GitHub：同时采用模块化设计，可根据需求，自由使用不同的向量存储、嵌入模型以及解析器等组件。有了该工具，大大简化对知识库管理的复杂性。

一个强大的开源知识库管理系统：Simba。能够轻松地任何检索增强生成（RAG）框架集成使用，并帮助我们更好地管理各种知识库。 GitHub：同时采用模块化设计，可根据需求，自由使用不同的向量存储、嵌入模型以及解析器等组件。有了该工具，大大简化对知识库管理的复杂性。

GitHubDaily

28,641 views • 1 year ago

readwise 的 “chat with highlights” 功能，看起来没什么，但实际上对普通人帮助极大。值得战略重视。 === 例如，我的readwise reader里面有10000条reads（我称为“互联网阅读”），包括书籍、文章、视频、推特、及任何网页。剪藏的内容，凡是读过的、划线的，现在都可以直接chat。相当于对你的整个阅读库做RAG，是阅读库级别的AI增强阅读。你提出任何问题，用你过去读过、看过的所有内容来综合回答。而且，带原始链接。不论是手机端app，还是网页端 web app，都直接跳转到原始文章、原始划线、原始笔记。这个实现效果，是超过claude 桌面app的readwise MCP的。如果你以前对自己的互联网阅读有管理（或者在我的多次强烈推荐下把readwise用起来了），那么，一定要试试。

readwise 的 “chat with highlights” 功能，看起来没什么，但实际上对普通人帮助极大。值得战略重视。 === 例如，我的readwise reader里面有10000条reads（我称为“互联网阅读”），包括书籍、文章、视频、推特、及任何网页。剪藏的内容，凡是读过的、划线的，现在都可以直接chat。相当于对你的整个阅读库做RAG，是阅读库级别的AI增强阅读。你提出任何问题，用你过去读过、看过的所有内容来综合回答。而且，带原始链接。不论是手机端app，还是网页端 web app，都直接跳转到原始文章、原始划线、原始笔记。这个实现效果，是超过claude 桌面app的readwise MCP的。如果你以前对自己的互联网阅读有管理（或者在我的多次强烈推荐下把readwise用起来了），那么，一定要试试。

howie.serious

26,429 views • 1 year ago

CES前夜我还参加了一个大网红举办的交流会，据说有500多人来参加，其实我还挺喜欢这样的讨论氛围（虽然有点社恐），Social是其次，最重要的是想法的交流和信息的互通，分享彼此正在做的事，AI在各自场景下的应用，以及身边朋友的相关动态，信息才是最宝贵的。获取足够多的信息，才能更好的学习、处理问题并做出决策，就像大模型预训练离不开海量数据一样，数据本质就是信息。这种通过不断交流了解世界、知晓他人正在做什么的过程，就是最好的学习方式。

CES前夜我还参加了一个大网红举办的交流会，据说有500多人来参加，其实我还挺喜欢这样的讨论氛围（虽然有点社恐），Social是其次，最重要的是想法的交流和信息的互通，分享彼此正在做的事，AI在各自场景下的应用，以及身边朋友的相关动态，信息才是最宝贵的。获取足够多的信息，才能更好的学习、处理问题并做出决策，就像大模型预训练离不开海量数据一样，数据本质就是信息。这种通过不断交流了解世界、知晓他人正在做什么的过程，就是最好的学习方式。

傅盛

37,182 views • 9 months ago

卧槽，刚发现一个能让我每天比别人节省2小时的学习黑科技！！我做梦也没想到还能这么搞… 作为AI博主，我订阅了200+个newsletter：OpenAI Updates、Lenny's Newsletter、AI Breakdown、Benedict's Newsletter、还有一堆Substack独立作者说实话，每天早上打开Gmail，300封未读邮件直接让我窒息我知道里面肯定藏着金子——某个AI工具的重大更新、某篇深度行业洞察、某个开源项目的突破但我永远不会逐封去看，只能随机扫过标题，然后在心里默念"晚点再看，晚点再看，晚点再看…" 结果就是：重要信息被淹没，newsletter变成心理负担，订阅越多越焦虑，我相信大家肯定都是这样的直到上周我试了网易邮箱的Mail Agent，整个工作流直接被重构了！！他让我有种感觉：newsletter不是用来"读"的，是用来"问"的这个认知一旦建立，你会发现邮箱的价值被低估了100倍 Mail Agent做的事很简单：把你的邮箱变成一个可对话的知识库，不是帮你写邮件回复（那没啥用），而是让你的历史邮件变成可检索的信息资产！这个就很牛了… 我现在的工作流是这样的：每天早上不再打开邮箱逐封看，而是直接问Mail Agent： "今天所有newsletter里，有哪些AI工具发布了重大更新？" "帮我整理最近一个月关于AI Agent的所有讨论，生成一份趋势摘要" "找出所有提到'开源'和'本地部署'的newsletter内容" 30秒，它给我一份结构化的信息清单，以前我要花2小时翻邮件，现在5分钟搞定，谁懂！更绝的是知识库沉淀，Mail Agent会基于你的邮件内容自动构建知识库这意味着：你过去3年订阅的所有newsletter，都变成了可检索的外部大脑我试了几个场景，直接震惊：场景1：写文章需要引用数据以前：疯狂翻邮件，"我记得某期newsletter提到过这个数据" 现在：问Mail Agent"过去半年有哪些newsletter提到了AI市场规模的数据？"，3秒出结果场景2：找某个工具的教程链接以前：在收藏夹和邮件里来回找，最后放弃现在："帮我找出所有关于Cursor使用技巧的邮件"，历史邮件秒级检索场景3：复盘行业趋势以前：凭记忆和零散笔记现在："把今年所有newsletter里关于AI视频生成的讨论，生成一份时间线报告" 这不是邮件工具，这是信息资产管理系统技术上它是怎么做到的？ Mail Agent结合了LLM Wiki的理念，基于邮箱全部内容构建知识库关键是它有固定记忆系统，可以持续学习你的使用习惯你可以告诉它：我关注哪些领域（AI工具、创业方法论、产品设计）我的信息优先级（开源>付费，实操>理论）我的输出偏好（要数据来源，要具体案例）用得越久，它越懂你，这不是工具，是你的数字分身，等你训练好它，它就更明白你需要什么了几个实际的使用场景： AI超级个体必备订阅了几十个AI工具的newsletter，但从来不看现在每周一问："本周有哪些值得关注的AI工具更新？" 信息密度直接拉满内容创作者的素材库 newsletter里藏着大量选题灵感和引用素材 "帮我找出所有关于AI商业化的案例" 30秒，10篇高质量素材到手成本几乎为0，但价值巨大网易邮箱大师是免费的，支持添加Gmail、Outlook等所有主流邮箱 Mail Agent内置在邮箱大师里，更新到最新版就能用我测试了一周，已经从邮箱里挖出了50+个之前忘记的优质资源这些信息我本来就订阅了，只是一直在吃灰现在它们变成了可检索的知识资产这些数据一直在那里，只是你从来没有好好利用过 Mail Agent做的事，就是让这些沉默的数据开口说话信息过载时代，检索能力>阅读能力订阅焦虑的本质，不是订阅太多，是缺乏检索能力有了Mail Agent，我反而订阅得更多了，因为我知道，这些信息不会丢，需要的时候随时能找到

卧槽，刚发现一个能让我每天比别人节省2小时的学习黑科技！！我做梦也没想到还能这么搞… 作为AI博主，我订阅了200+个newsletter：OpenAI Updates、Lenny's Newsletter、AI Breakdown、Benedict's Newsletter、还有一堆Substack独立作者说实话，每天早上打开Gmail，300封未读邮件直接让我窒息我知道里面肯定藏着金子——某个AI工具的重大更新、某篇深度行业洞察、某个开源项目的突破但我永远不会逐封去看，只能随机扫过标题，然后在心里默念"晚点再看，晚点再看，晚点再看…" 结果就是：重要信息被淹没，newsletter变成心理负担，订阅越多越焦虑，我相信大家肯定都是这样的直到上周我试了网易邮箱的Mail Agent，整个工作流直接被重构了！！他让我有种感觉：newsletter不是用来"读"的，是用来"问"的这个认知一旦建立，你会发现邮箱的价值被低估了100倍 Mail Agent做的事很简单：把你的邮箱变成一个可对话的知识库，不是帮你写邮件回复（那没啥用），而是让你的历史邮件变成可检索的信息资产！这个就很牛了… 我现在的工作流是这样的：每天早上不再打开邮箱逐封看，而是直接问Mail Agent： "今天所有newsletter里，有哪些AI工具发布了重大更新？" "帮我整理最近一个月关于AI Agent的所有讨论，生成一份趋势摘要" "找出所有提到'开源'和'本地部署'的newsletter内容" 30秒，它给我一份结构化的信息清单，以前我要花2小时翻邮件，现在5分钟搞定，谁懂！更绝的是知识库沉淀，Mail Agent会基于你的邮件内容自动构建知识库这意味着：你过去3年订阅的所有newsletter，都变成了可检索的外部大脑我试了几个场景，直接震惊：场景1：写文章需要引用数据以前：疯狂翻邮件，"我记得某期newsletter提到过这个数据" 现在：问Mail Agent"过去半年有哪些newsletter提到了AI市场规模的数据？"，3秒出结果场景2：找某个工具的教程链接以前：在收藏夹和邮件里来回找，最后放弃现在："帮我找出所有关于Cursor使用技巧的邮件"，历史邮件秒级检索场景3：复盘行业趋势以前：凭记忆和零散笔记现在："把今年所有newsletter里关于AI视频生成的讨论，生成一份时间线报告" 这不是邮件工具，这是信息资产管理系统技术上它是怎么做到的？ Mail Agent结合了LLM Wiki的理念，基于邮箱全部内容构建知识库关键是它有固定记忆系统，可以持续学习你的使用习惯你可以告诉它：我关注哪些领域（AI工具、创业方法论、产品设计）我的信息优先级（开源>付费，实操>理论）我的输出偏好（要数据来源，要具体案例）用得越久，它越懂你，这不是工具，是你的数字分身，等你训练好它，它就更明白你需要什么了几个实际的使用场景： AI超级个体必备订阅了几十个AI工具的newsletter，但从来不看现在每周一问："本周有哪些值得关注的AI工具更新？" 信息密度直接拉满内容创作者的素材库 newsletter里藏着大量选题灵感和引用素材 "帮我找出所有关于AI商业化的案例" 30秒，10篇高质量素材到手成本几乎为0，但价值巨大网易邮箱大师是免费的，支持添加Gmail、Outlook等所有主流邮箱 Mail Agent内置在邮箱大师里，更新到最新版就能用我测试了一周，已经从邮箱里挖出了50+个之前忘记的优质资源这些信息我本来就订阅了，只是一直在吃灰现在它们变成了可检索的知识资产这些数据一直在那里，只是你从来没有好好利用过 Mail Agent做的事，就是让这些沉默的数据开口说话信息过载时代，检索能力>阅读能力订阅焦虑的本质，不是订阅太多，是缺乏检索能力有了Mail Agent，我反而订阅得更多了，因为我知道，这些信息不会丢，需要的时候随时能找到

超级个体｜柿子

38,015 views • 1 month ago

Charle在哈佛大学和DEI的辩论过去30年美国很多大学为了政治正确为了保持不同种族的学生有相似的录取率制定了一些非常不公平、不合理的政策比如：白人学生需要比黑人高约 310 分 SAT 亚裔学生更是需要比黑人高约 450 分 Charle说：公平对待就是公平对待，不管你小时候被说了什么刻薄的话，你父亲是否是帮派成员，不管你以前有多么悲惨的故事，考试分数就是考试分数，这才是公平。这是常识，而今天很多人没有常识 DEI要的公平，不能凌驾于对正常人的不公平之上

Charle在哈佛大学和DEI的辩论过去30年美国很多大学为了政治正确为了保持不同种族的学生有相似的录取率制定了一些非常不公平、不合理的政策比如：白人学生需要比黑人高约 310 分 SAT 亚裔学生更是需要比黑人高约 450 分 Charle说：公平对待就是公平对待，不管你小时候被说了什么刻薄的话，你父亲是否是帮派成员，不管你以前有多么悲惨的故事，考试分数就是考试分数，这才是公平。这是常识，而今天很多人没有常识 DEI要的公平，不能凌驾于对正常人的不公平之上

Bruce J

178,239 views • 1 year ago

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

微软2023年Build大会演讲：如何训练和应用GPT（中英文字幕）这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT 都是非常有价值的分享。首先对于如何训练GPT，通常来说是四个阶段预训练（Pretraining），有监督的微调（Supervised Finetuning），奖励建模（Reward Modeling）和强化学习（Reinforcement Learning），这几个阶段通常是依次进行，每个阶段都有不同的数据集。预训练（Pretraining）：这个阶段的目标是让模型学习一种语言模型，用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后，模型可以生成一些有意义且语法正确的文本，但可能无法理解具体任务的需求。有监督的微调（Supervised Finetuning）：在预训练后，模型会进入微调阶段。在这个阶段，人类评估员将参与并给出指导，他们会给模型提供对话样本，样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用，例如回答问题或编写文章。奖励建模（Reward Modeling）：评估员将对模型生成的不同输出进行排名，以表示它们的质量。这个排名将被用作奖励函数，指导模型优化其生成的输出。强化学习（Reinforcement Learning）：强化学习阶段是一个迭代的过程，模型会试图优化其行为以获得最大的奖励。在这个阶段，模型会产生新的输出，评估员会对这些输出进行排名，然后模型根据这个反馈调整其行为。然后是如何有效应用GPT 在演讲中Andrej举了一个非常好的例子：人类和大语言模型（LLM）都是如何写作的？从这个例子中你能明显感觉到人类和GPT之间的差异。假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口，你的写作的过程中可能是像这样的： - 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口 - 我需要去获取两个州的人口数据 - 我不知道这两个周的人口数据 - 去维基百科找到加利福尼亚州的人口是39.2M - 去维基百科找到阿拉斯加州的人口是0.74M - 现在我需要计算一下两个州人口数相差多少倍，但是可能需要计算机帮忙 - 用计算器算出来39.2除以0.74约等于53 - 快速的检查一下53倍这个数字是不是符合常识，嗯，这是一个相当大的比值，但加利福尼亚州毕竟是人口最多的州，所以这个结果或许是合理的，可以继续 - 好了，我现在有了我需要的所有信息 - 写下：“加利福尼亚州的人口比53倍的……” - 觉得好像不太好，删除重写成：“加利福尼亚州的人口是阿拉斯加州的53倍。” - 嗯，觉得还不错也就是说，当人类写作时，哪怕是这样一个简单的句子，可能内心实际上进行了大量的运算的。但当我们用GPT进行写作这样的句子看起来会是什么样呢？从GPT的角度看，这只是一系列的标记（Tokens）。当GPT在接收到一个输入，比如你给出的主题。它会生成一段与输入相关的文本，GPT的目标是预测下一个词，所以它会连续生成一串词，形成一段连贯的文本。从本质上看，Transformer只是标记模拟器，它不知道自己知道什么不知道什么，它不知道自己擅长什么或不擅长什么，它只是尽力生成下一个标记，它也不会进行反思，也不会不进行任何合理性检查。它不会纠正自己的错误，它只是产生抽样的标记序列，它没有像人类那样的内心独白流。但是，GPT有一些优势，如它们拥有大量的基于事实的知识，并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制，能立即获取到上下文窗口中的信息，从而进行无损记忆。然而，GPT在推理和判断方面的能力相对较弱，如果提出的问题需要更复杂的推理，单凭一个标记的信息，GPT往往无法给出正确的答案。一些技巧可以提升GPT的表现，比如Cot（Chain of Though）设定步骤来引导GPT展示其工作过程，或者通过多次抽样然后选择最佳结果等，或者可以让GPT检查自己的输出，比如询问它是否完成了任务，最好是在Prompt中明确的要求它检查自己的输出。后面还介绍了目前比较流行的GPT应用，比如Agent、Plugin、CoT、Embedding等最后他用GPT-4写了一个结尾： “女士们，先生们，2023年Microsoft Build的创新者和先驱者们，欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师，是塑造数字领域的视野家，在那里人类繁荣发展。拥抱科技的无限可能，让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通，更出色，更包容的世界，为未来的世代留下。准备好释放你的创造力，探索未知，把梦想变成现实。你的旅程今天开始。” 原始视频地址： YouTube地址：

宝玉

299,692 views • 3 years ago

我用Codex重建了自己的知识库，发现一件事：大多数人的Obsidian，本质上是个高级剪贴板。笔记存进去，就再也没出来过。问题不在工具，在于缺了一个会”思考”的中间层。 Codex的出现，补上了这个缺口。它不是另一个AI聊天框，而是OpenAI专门为知识工作设计的编码代理——能读懂你的文件结构，能跨文档检索，能把零散的信息片段重新组织成有逻辑的输出。接入Obsidian之后，发生了什么变化？以前：我记录一篇投资笔记，它就躺在某个文件夹里。现在：Codex能跨越我三年积累的vault，把巴菲特笔记、行业分析、个人反思串联起来，给我一个没想到的视角。这不是搜索，是知识的重新激活。本教程会手把手带你完成三件事：一、配置Codex读取本地Obsidian vault的权限和路径；二、建立让AI真正”看懂”你笔记的文件命名与标签规范；三、设计5个高频prompt模板，让Codex帮你做知识综合、生成MOC（内容地图）、以及输出可直接发布的内容草稿。适合有Obsidian使用基础、对AI工作流感兴趣、但还没找到高效接入方式的知识工作者。跟着视频做一遍，你的vault会第一次真正”活”起来。

我用Codex重建了自己的知识库，发现一件事：大多数人的Obsidian，本质上是个高级剪贴板。笔记存进去，就再也没出来过。问题不在工具，在于缺了一个会”思考”的中间层。 Codex的出现，补上了这个缺口。它不是另一个AI聊天框，而是OpenAI专门为知识工作设计的编码代理——能读懂你的文件结构，能跨文档检索，能把零散的信息片段重新组织成有逻辑的输出。接入Obsidian之后，发生了什么变化？以前：我记录一篇投资笔记，它就躺在某个文件夹里。现在：Codex能跨越我三年积累的vault，把巴菲特笔记、行业分析、个人反思串联起来，给我一个没想到的视角。这不是搜索，是知识的重新激活。本教程会手把手带你完成三件事：一、配置Codex读取本地Obsidian vault的权限和路径；二、建立让AI真正”看懂”你笔记的文件命名与标签规范；三、设计5个高频prompt模板，让Codex帮你做知识综合、生成MOC（内容地图）、以及输出可直接发布的内容草稿。适合有Obsidian使用基础、对AI工作流感兴趣、但还没找到高效接入方式的知识工作者。跟着视频做一遍，你的vault会第一次真正”活”起来。

概率鹿梦｜DeerLucid

27,384 views • 3 months ago

Ling-3.0-flash ：一个更适合实际工作的 AI 执行助手过去一段时间，大模型的发展重点一直集中在能力提升上。模型能回答什么问题、能处理多复杂的任务，成为行业关注的焦点。但随着 AI 开始进入真实工作流程，用户对于模型的期待也在发生变化：除了能够提供高质量答案，更希望它能够稳定、高效地完成具体任务。在日常工作中，真正消耗时间的往往不是复杂问题，而是大量重复性的处理工作。例如整理资料、分析数据、生成文档、处理代码、执行流程任务。这些事情需要投入大量精力，但其中有很多环节都可以通过 AI 进行优化。 Ling-3.0-flash 的定位正是在这一方向展开。它并不是单纯追求更大的模型规模，而是聚焦 Agent 工作流中的执行效率，帮助用户将明确的任务快速推进完成。官方介绍，该模型面向长程 Agent 工作流设计，重点提升响应速度、工具调用能力以及任务执行稳定性。从实际体验来看，它最大的特点是能够很好地融入已有工作流程，让 AI 从一个问答工具变成一个真正参与任务执行的助手。实测一：资料整理效率明显提升第一个测试场景是长文档处理。在实际工作中，经常会遇到需要快速阅读大量资料的情况，例如行业报告、会议记录、产品文档等。如果完全依靠人工整理，需要花费大量时间筛选重点、提取信息，再重新组织内容。测试过程中，我将一批较长的资料交给 Ling-3.0-flash 处理，让它完成信息提取、重点归纳和结构化整理。整个过程比较符合实际工作习惯。它能够快速抓取文档中的核心内容，并按照任务要求整理成更加清晰的结构。尤其是在面对大量相似信息时，它可以帮助用户减少重复阅读和手动整理的时间。这类能力对于内容运营、产品分析、市场研究等岗位非常实用。很多时候，用户并不是需要 AI 替自己完成最终判断，而是希望它先完成信息整理，把大量基础工作处理好，让人可以把精力放在更重要的分析和决策上。实测二：代码协作更加高效第二个体验场景是代码辅助。 AI 编程已经成为大模型应用的重要方向，但真正影响开发效率的，不只是生成代码的速度，更重要的是能否持续参与开发过程。在测试中，我让 Ling-3.0-flash 协助完成一个简单工具开发任务，包括生成基础代码、调整功能逻辑以及根据反馈进行优化。我需要做一个AI 会议纪要整理助手，请帮我生成代码，把会议录音转文字或会议记录，自动生成：会议摘要、决策事项、待办任务、负责人、截止时间首字耗时：337ms·完成耗时：68984ms·每秒 token 数：371 ，Ling-3.0-flash生成的会议纪要整理助手功能完整、专业美观，支持录音转文字、AI自动生成摘要/决策/待办任务，并支持导出和多种交互功能。实际体验下来，它更适合成为开发过程中的协作助手。开发者可以先确定整体需求和功能方向，再让 AI 快速完成代码生成、修改和补充。这样一来，开发者不需要把大量时间花在重复编码和基础调整上，而可以更多关注产品逻辑和技术方案。这种协作方式更接近真实开发场景。人负责判断方向，AI 负责提高执行效率。实测三：批量任务处理展现执行优势除了开发场景，批量信息处理也是 Ling-3.0-flash 比较适合的方向。例如整理用户反馈、分析业务数据、处理文本分类等任务，通常具有数据量大、格式相对固定的特点。在测试中，我模拟了用户反馈整理场景，让模型对大量文本进行分类，并提炼其中的主要问题。从结果来看，它能够快速完成信息归类，并输出较为清晰的结构化结果。这类任务的价值在于帮助用户减少大量机械操作。以前需要人工逐条查看和整理的信息，现在可以先由 AI 完成初步处理，再由人工进行确认和优化。对于企业团队来说，这种能力可以应用在客服分析、市场调研、内部知识整理等多个环节。速度和效率，是 Flash 模型的重要优势随着 AI 应用逐渐深入业务流程，模型的效率同样成为重要指标。很多实际任务并不需要每一次都进行复杂推理，而更需要快速响应和稳定执行。例如信息分类、内容整理、数据转换等工作，如果能够以更高效率完成，就能明显提升整体生产力。 Ling-3.0-flash 支持混合思考模式，可以根据任务复杂程度调整处理方式，在响应速度和任务能力之间进行平衡。这种设计让它更适合高频使用场景。用户可以将更多日常任务交给 AI 处理，而不必担心流程效率受到影响。从使用体验来看，它更像一个高效执行伙伴经过几个场景测试后，Ling-3.0-flash 给我的整体感受是，它并不是单纯提升聊天体验，而是在帮助用户重新分配工作时间。它可以处理大量信息整理工作，可以辅助开发过程，也可以参与自动化任务执行。对于普通用户来说，它能够减少重复操作，提高工作效率。对于开发者来说，它能够加快开发流程，降低基础工作的时间成本。对于企业来说，它能够帮助更多业务流程实现自动化。未来 AI 的价值，不只是回答问题，而是逐渐参与到真实工作流程中，帮助人完成更多具体任务。 Ling-3.0-flash 所体现的方向，就是让 AI 从一个提供答案的工具，进一步成为一个能够执行任务、提升效率的工作伙伴。官推：感兴趣可以自己试试 👉

Ling-3.0-flash ：一个更适合实际工作的 AI 执行助手过去一段时间，大模型的发展重点一直集中在能力提升上。模型能回答什么问题、能处理多复杂的任务，成为行业关注的焦点。但随着 AI 开始进入真实工作流程，用户对于模型的期待也在发生变化：除了能够提供高质量答案，更希望它能够稳定、高效地完成具体任务。在日常工作中，真正消耗时间的往往不是复杂问题，而是大量重复性的处理工作。例如整理资料、分析数据、生成文档、处理代码、执行流程任务。这些事情需要投入大量精力，但其中有很多环节都可以通过 AI 进行优化。 Ling-3.0-flash 的定位正是在这一方向展开。它并不是单纯追求更大的模型规模，而是聚焦 Agent 工作流中的执行效率，帮助用户将明确的任务快速推进完成。官方介绍，该模型面向长程 Agent 工作流设计，重点提升响应速度、工具调用能力以及任务执行稳定性。从实际体验来看，它最大的特点是能够很好地融入已有工作流程，让 AI 从一个问答工具变成一个真正参与任务执行的助手。实测一：资料整理效率明显提升第一个测试场景是长文档处理。在实际工作中，经常会遇到需要快速阅读大量资料的情况，例如行业报告、会议记录、产品文档等。如果完全依靠人工整理，需要花费大量时间筛选重点、提取信息，再重新组织内容。测试过程中，我将一批较长的资料交给 Ling-3.0-flash 处理，让它完成信息提取、重点归纳和结构化整理。整个过程比较符合实际工作习惯。它能够快速抓取文档中的核心内容，并按照任务要求整理成更加清晰的结构。尤其是在面对大量相似信息时，它可以帮助用户减少重复阅读和手动整理的时间。这类能力对于内容运营、产品分析、市场研究等岗位非常实用。很多时候，用户并不是需要 AI 替自己完成最终判断，而是希望它先完成信息整理，把大量基础工作处理好，让人可以把精力放在更重要的分析和决策上。实测二：代码协作更加高效第二个体验场景是代码辅助。 AI 编程已经成为大模型应用的重要方向，但真正影响开发效率的，不只是生成代码的速度，更重要的是能否持续参与开发过程。在测试中，我让 Ling-3.0-flash 协助完成一个简单工具开发任务，包括生成基础代码、调整功能逻辑以及根据反馈进行优化。我需要做一个AI 会议纪要整理助手，请帮我生成代码，把会议录音转文字或会议记录，自动生成：会议摘要、决策事项、待办任务、负责人、截止时间首字耗时：337ms·完成耗时：68984ms·每秒 token 数：371 ，Ling-3.0-flash生成的会议纪要整理助手功能完整、专业美观，支持录音转文字、AI自动生成摘要/决策/待办任务，并支持导出和多种交互功能。实际体验下来，它更适合成为开发过程中的协作助手。开发者可以先确定整体需求和功能方向，再让 AI 快速完成代码生成、修改和补充。这样一来，开发者不需要把大量时间花在重复编码和基础调整上，而可以更多关注产品逻辑和技术方案。这种协作方式更接近真实开发场景。人负责判断方向，AI 负责提高执行效率。实测三：批量任务处理展现执行优势除了开发场景，批量信息处理也是 Ling-3.0-flash 比较适合的方向。例如整理用户反馈、分析业务数据、处理文本分类等任务，通常具有数据量大、格式相对固定的特点。在测试中，我模拟了用户反馈整理场景，让模型对大量文本进行分类，并提炼其中的主要问题。从结果来看，它能够快速完成信息归类，并输出较为清晰的结构化结果。这类任务的价值在于帮助用户减少大量机械操作。以前需要人工逐条查看和整理的信息，现在可以先由 AI 完成初步处理，再由人工进行确认和优化。对于企业团队来说，这种能力可以应用在客服分析、市场调研、内部知识整理等多个环节。速度和效率，是 Flash 模型的重要优势随着 AI 应用逐渐深入业务流程，模型的效率同样成为重要指标。很多实际任务并不需要每一次都进行复杂推理，而更需要快速响应和稳定执行。例如信息分类、内容整理、数据转换等工作，如果能够以更高效率完成，就能明显提升整体生产力。 Ling-3.0-flash 支持混合思考模式，可以根据任务复杂程度调整处理方式，在响应速度和任务能力之间进行平衡。这种设计让它更适合高频使用场景。用户可以将更多日常任务交给 AI 处理，而不必担心流程效率受到影响。从使用体验来看，它更像一个高效执行伙伴经过几个场景测试后，Ling-3.0-flash 给我的整体感受是，它并不是单纯提升聊天体验，而是在帮助用户重新分配工作时间。它可以处理大量信息整理工作，可以辅助开发过程，也可以参与自动化任务执行。对于普通用户来说，它能够减少重复操作，提高工作效率。对于开发者来说，它能够加快开发流程，降低基础工作的时间成本。对于企业来说，它能够帮助更多业务流程实现自动化。未来 AI 的价值，不只是回答问题，而是逐渐参与到真实工作流程中，帮助人完成更多具体任务。 Ling-3.0-flash 所体现的方向，就是让 AI 从一个提供答案的工具，进一步成为一个能够执行任务、提升效率的工作伙伴。官推：感兴趣可以自己试试 👉

冰糖雪梨

15,661 views • 2 months ago

谁能掌握世界上所有的知识？一个人？一个组织？一个中央权力机构？哈耶克说：这是一种幻觉。社会主义就建立在这种幻觉之上。他们以为，所有可用的知识，都能被一个单一的中央权力机构所掌握和利用。但现代社会是怎么运转的？哈耶克把它叫做“扩展秩序”。这个秩序的复杂性，早就超越了任何个人心智的理解范围。它的基础，是对千百万人分散知识的利用。正是因为我们利用了无数个体的智慧和信息，才实现了对资源的有效配置。一旦你明白这一点，就会发现计划经济的假设是多么不切实际。让少数精英规划一切，声称能比市场中无数个体的自发互动更有效。这真的可能吗？这种模式，是否必然导致权力的过度集中和个人自由的丧失？知识是分散的，自由也是。

谁能掌握世界上所有的知识？一个人？一个组织？一个中央权力机构？哈耶克说：这是一种幻觉。社会主义就建立在这种幻觉之上。他们以为，所有可用的知识，都能被一个单一的中央权力机构所掌握和利用。但现代社会是怎么运转的？哈耶克把它叫做“扩展秩序”。这个秩序的复杂性，早就超越了任何个人心智的理解范围。它的基础，是对千百万人分散知识的利用。正是因为我们利用了无数个体的智慧和信息，才实现了对资源的有效配置。一旦你明白这一点，就会发现计划经济的假设是多么不切实际。让少数精英规划一切，声称能比市场中无数个体的自发互动更有效。这真的可能吗？这种模式，是否必然导致权力的过度集中和个人自由的丧失？知识是分散的，自由也是。

战斗室

13,919 views • 7 months ago

推荐一个Obsidian必安插件：Obsidian Web Clipper 平时看到一篇不错的文章，很多人的流程是：收藏网页 → 放到稍后阅读 → 过几天忘了 → 再也没打开其实更好的方式，是直接把有价值的内容沉淀到自己的知识库里 Obsidian Web Clipper 就是解决这个问题的安装方法很简单：打开 Chrome 应用商店，搜索 Obsidian Web Clipper，点击安装即可安装完成后，它主要有两个非常实用的功能： 1、沉浸式阅读模式打开一篇文章后，可以直接进入阅读模式它会去掉网页里各种广告、导航、推荐内容，只保留正文阅读体验类似专门的阅读软件，更适合长文章学习 2、网页内容保存到 Obsidian 遇到值得收藏的文章，点击插件按钮选择保存位置后，它会自动把内容同步到你的 Obsidian 库里后续可以继续整理、添加标签、关联笔记，让收藏的内容真正变成自己的知识资产很多人使用 Obsidian，只是在记录自己的想法其实它更大的价值，是把每天接触到的信息，慢慢沉淀成属于自己的知识库

推荐一个Obsidian必安插件：Obsidian Web Clipper 平时看到一篇不错的文章，很多人的流程是：收藏网页 → 放到稍后阅读 → 过几天忘了 → 再也没打开其实更好的方式，是直接把有价值的内容沉淀到自己的知识库里 Obsidian Web Clipper 就是解决这个问题的安装方法很简单：打开 Chrome 应用商店，搜索 Obsidian Web Clipper，点击安装即可安装完成后，它主要有两个非常实用的功能： 1、沉浸式阅读模式打开一篇文章后，可以直接进入阅读模式它会去掉网页里各种广告、导航、推荐内容，只保留正文阅读体验类似专门的阅读软件，更适合长文章学习 2、网页内容保存到 Obsidian 遇到值得收藏的文章，点击插件按钮选择保存位置后，它会自动把内容同步到你的 Obsidian 库里后续可以继续整理、添加标签、关联笔记，让收藏的内容真正变成自己的知识资产很多人使用 Obsidian，只是在记录自己的想法其实它更大的价值，是把每天接触到的信息，慢慢沉淀成属于自己的知识库

苏乐

18,876 views • 2 months ago

LangChain：构建与数据对话的聊天机器人4——向量和嵌入 #LangChain构建与数据对话的聊天机器人这节课主要讲述了如何使用嵌入（embeddings）和向量存储（vector stores）来处理和检索数据。首先，我们将文档分割成小的、语义有意义的分块，然后将这些分块存储到索引中，以便在需要回答关于这个数据集的问题时能够轻松地检索到。Embedding是将文本转化为向量空间的数组的过程，相似内容的文本在向量空间中会有相似的向量。这意味着我们可以比较这些向量，找出相似的文本片段。向量存储是一个可以轻松查找相似向量的数据库，这在我们试图找到与手头问题相关的文档时非常有用。视频还详细讲解了如何使用OpenAI创建嵌入，以及如何使用NumPy比较嵌入的相似度。然后，我们将所有的嵌入存储在向量存储中，以便于后续的检索。视频中使用的向量存储是Chroma，因为它轻量级且内存中，非常容易上手。最后，我们将向量数据库持久化，以便在未来的课程中使用。然而，这种方法并不完美，视频也讨论了一些边缘情况和失败模式，例如检索到重复的信息，或者无法准确捕捉到结构化信息。课程地址：播放列表： B站：

LangChain：构建与数据对话的聊天机器人4——向量和嵌入 #LangChain构建与数据对话的聊天机器人这节课主要讲述了如何使用嵌入（embeddings）和向量存储（vector stores）来处理和检索数据。首先，我们将文档分割成小的、语义有意义的分块，然后将这些分块存储到索引中，以便在需要回答关于这个数据集的问题时能够轻松地检索到。Embedding是将文本转化为向量空间的数组的过程，相似内容的文本在向量空间中会有相似的向量。这意味着我们可以比较这些向量，找出相似的文本片段。向量存储是一个可以轻松查找相似向量的数据库，这在我们试图找到与手头问题相关的文档时非常有用。视频还详细讲解了如何使用OpenAI创建嵌入，以及如何使用NumPy比较嵌入的相似度。然后，我们将所有的嵌入存储在向量存储中，以便于后续的检索。视频中使用的向量存储是Chroma，因为它轻量级且内存中，非常容易上手。最后，我们将向量数据库持久化，以便在未来的课程中使用。然而，这种方法并不完美，视频也讨论了一些边缘情况和失败模式，例如检索到重复的信息，或者无法准确捕捉到结构化信息。课程地址：播放列表： B站：

宝玉

40,993 views • 3 years ago

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

如何让小型语言模型高效工作。Yejin Choi在2024年数据与AI峰会上发表演讲（双语字幕）演讲者：Yejin Choi，华盛顿大学教授、麦克阿瑟奖学金获得者，同时也是AI2常识AI的高级研究主任这个演讲是将如何优化小模型的，他们训练了一个 0.5B 参数的小模型做文档摘要任务，超过了GPT-3.5。按照演讲者的结论：AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。很多可能担心合成数据质量不高，可能存在偏见，但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"论文的观点也证明了，数据质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。所以，AI 的质量更关乎数据的质量、新颖性和多样性，而不仅仅是数量。 * 引言好的。我来这里要跟你们分享一些看似不可能实现的可能性。 * 介绍去年，当有人问 Sam Altman 如何让印度的创业公司为印度创建基础模型时，他的回答是，不用费那个劲了。这根本没希望。哇。首先，我希望印度的创业公司不会轻易放弃。其次，这种对话可能会在任何地方发生。无论是在美国的任何一所大学，或是创业公司，或是研究机构，他们都可能面临没有足够计算能力的问题。所以，这就引出了我们要讨论的问题：不可能的提炼。如何以环保的方式训练出你的小型语言模型，使其效果堪比真实模型。 * 当前的方法与挑战目前我们听到的最佳做法是大规模的预训练，紧接着进行大规模的后训练，例如 RLHF。如果我告诉你我打算从 GPT-2 开始，那个不被大众关注的小型、低质量模型，我也不知道为什么，但以某种方式，我们将创造或提炼出一个高质量的小型模型，然后与可能大两个数量级的更强大的模型竞争。这听起来应该很不可能，尤其是当你可能听说过一篇论文，标题是《模仿大型语言模型的虚假希望》。虽然他们所报告的对于他们进行的特定评估实验来说是真实的，但请不要过分泛化，认为所有的小型语言模型都无法媲美大型模型。因为还有许多其他反例证明特定于任务的符号知识精馏可以奏效在许多不同的任务和领域中其中一些来自我的实验室。然而今天，我只想关注一个任务即如何学习语言中的抽象。为了简化这个任务，我们从句子摘要开始这是我们的第一个不可能的任务。 * 任务一：句子摘要目标是在没有极端规模的预训练、没有大规模的 RLHF、以及没有大规模的有监督数据集的情况下实现这一目标。这些东西并不总是必要的。但等一下，我们必须使用通常是所有三个，至少是其中一部分。但如果没有这些，我们如何能和更大的模型一较高下呢？关键的直觉是当前的 AI 能做得多好取决于它所接受的训练数据。我们必须有某种优势。我们不能没有任何优势，所以那个优势将来自数据。顺便说一下，我们必须合成数据，因为如果数据已经存在于互联网上某处 OpenAI 已经对其进行了爬取，那就不是你的优势了，他们也有，所以你必须创造出一些真正新颖的东西，比现有的东西更好。通常，精馏是从大型模型开始的，但我们将丢弃它，以向你展示我们可能对隐藏的可能性视而不见。所以我现在就开始示范。从 GPT-2 开始，那个质量很差的模型。然后我将进行一些创新，我马上就会概述，制作出高质量的数据集，然后可以用来训练小模型，这个模型将成为执行特定任务的强大模型。但问题是，GPT-2 甚至无法理解你的提示词。你无法利用 GPT-2 进行提示词工程。你让它总结你的句子，它生成的一些输出，完全没有任何意义。所以你再试一次，因为它的输出通常有随机性。你可以生成很多不同的例子，比如几百个例子，我们发现它的表现几乎总是不好，像好的不到 0.1%。 * 解决方法与进展但是有志者事竟成。所以我们想出了许多不同的办法。这其中包括我们的神经解码。这是一种即时推理算法，可以将任何逻辑约束加入到你的语言模型输出中。对于任何现成的模型，我们都可以使用这个来引导输出的语义空间。但是因为 GPT-2 太糟糕了，即使使用了这个，成功率也只有 1%。但这比零要好。现在我们已经有了进展。因为如果你生成大量的样本，然后进行筛选，你实际上可以这样得到一些好的例子。然后，聪明的学生们提出了许多不同的想法。我就不详述技术细节了，但我们找到了一些方法。为了能更容易找到好的例子，我们需要将成功的概率提高到 10% 以上。总体的流程是这样的：首先，从一个质量较差的教师模型开始，生成大量的数据点。然后，由于数据中存在大量的噪声，需要进行严格的过滤。我们使用了一个三层过滤系统。虽然细节并不重要，但我要强调其中的第一个，即 Intel Monte 过滤器，它基于现成的 Intel Monte 分类器，能判断一个摘要是否能从原文中逻辑推断出来。这个模型并不完美，可能只有 70% 到 80% 的准确度。但是，当你大力使用它来过滤数据时，它的表现已经足够好了。然后，我们使用这些数据来训练一个更小的模型，这个模型可以成为下一代学生的教师模型。我们重复了这个过程几次，最终得到了高质量的 DIMM sum 数据和高质量的模型。在与那时最好的模型 GPT-3 进行对比时，那时，GPT-3 是最好的摘要模型。但当 ChatGPT 问世后，我们成功地超过了 GPT-3，人们似乎不再关心其他的，因为 ChatGPT 能做任何事情，包括摘要，所以我们为什么还要费心呢？ * 任务二：文档摘要接下来是我们的“不可能完成的任务 2”。我们现在将与 ChatGPT 3.5 展开竞争。并且，要让我们的挑战更具难度——我们现在要总结的是整个文档，而不仅仅是句子。然后，我们还要做到以上所有这些而不依赖于那个现成的蕴含分类器。我的意思是，实际上你可以这么做，就像从学术角度来看，我们想看看我们能在多大程度上打破关于规模的普遍假设。因此，我们在 InfoSumm 的新工作是一种基于信息理论的蒸馏方法其中关键的想法是我们将不再使用那个现成的 Imitating Humans LLM。我们将使用一些公式，这个公式其实只有三行，包括一些你可以用现成的语言模型来计算的条件概率得分。 * 实验与成果现在时间还早，所以我们不深入讨论这些公式的细节。但我可以大体上告诉你，如果你把这些公式重新排列一下，你可以将此理解为点对点互信息的特例。你可以用它来过滤你的数据。因此，我们使用的是和之前相同的整体框架。我们现在使用 PTHEA 2.8 亿参数模型，因为我们觉得它比 GPT-2 稍好一些。至于过滤，我们现在使用的是我之前向你们展示过的那三个简短的公式。然后我们就做同样的事情。这一次，我们让模型变得更小，只有 5 亿参数模型。这带来了高质量的文档摘要数据集，以及模型。那么我们的表现如何呢？正如我们所承诺的，至少在这个任务上，我们的表现能与 ChatGPT-3.5 媲美，或者，根据评测的设定和标准，我们的表现甚至有所超越。你可以在我们的论文中找到更多的细节。 * 任务三：学习抽象思考总的来说，我展示了我们如何学习文档摘要，即使不依赖于大规模预训练模型和其他大规模资源。然而，这两篇论文背后的真正研究问题是，我们如何学习进行抽象思考。因为现在的做法就是让模型尽可能地大。越大越好。但是我们人类，无法像模型那样记住所有的上下文，比如一百万个 Token。没有人能记住上下文中的一百万个 Token。你会立刻抽象出我刚才告诉你的所有事情。但是你仍然记得我到目前为止说的所有话。这就是人类的惊人智能，我们还不知道如何通过 AI 模型有效地实现这一点。我相信这是可能的。我们只是还没有尽力去探索，因为我们被大规模的迷惑了。 * 任务四：Infini-gram 好的。那么，Infini-gram 就是我们面临的第三个挑战。稍微转换一下话题，现在的任务是让经典的统计 N-gram 语言模型在神经语言模型中发挥一定的作用。你们中有多少人还在讨论 n-gram 模型呢？我也不清楚。你们现在还在学习这个吗？这里我们设定 n 等于无穷大。我们将在数万亿的 token 上完成这个计算，反应时间必须非常快，而且我们甚至不需要使用一颗 GPU。哇！我来告诉你们这有多么困难。假设，如果你要在一个经典的 n-gram 语言模型中索引 5 万亿个 token，且 n 无限大，那么你大概需要处理 2 千万亿个唯一的 n-gram 序列。你需要枚举，排序，计数，存储一些错误，这可能需要占用大约 32 太字节的硬盘空间，甚至更多。我们又怎么知道呢？但这个数据量实在太大了。我们无法处理。如果你看看其他人建立的大规模经典 N-gram 模型，那就是 Google。在 2007 年，由 Jeff Dean 和其他人带领的团队，他们只处理了 2 万亿个 token——我的意思是，对于那个时代来说，这已经是很大的数量了。他们使用的是五元 n-gram，这就产生了大约 3000 亿个不同的 n-gram 序列，这些序列他们都需要进行枚举、排序、计数等操作。这个数量实在是太庞大了。大家其实并没有进一步增加这个数量。那么，我们到底是如何做到将这个数量无限扩大的呢？在我解释我们如何做到这一点之前，如果你感兴趣的话，我邀请你去查看这个在线演示。 token。这里有一个例子，它是一个 48 个字符的词。我不明白为什么这个词会存在。但是如果你去搜索它，你会发现它不仅存在，而且还有超过 3000 个实例。这个搜索过程耗时 5.5 毫秒。此外，它还会向你展示如何对这个长词进行分词。你也可以试试搜索多个词，看看下一个可能出现的词是什么。比如，"行动胜过语言"，那么接下来可能是什么词呢？该网站会向你展示可能出现的下一个词。而且，这个过程非常快速。 * 解决方法与进展那么，我们是如何做到这一切的呢？你可能会惊讶地发现，我们的方法其实非常简单。有一种叫做后缀数组的数据结构，可能并不是所有的算法课程都会教授，但是有一些课程会教授。这是一种我们非常小心地实施的数据结构。所以我们用后缀数组索引整个网络语料库。事实上，我们并没有预先计算这些 n-gram 的统计数据。我们只是预先准备好这个数据结构。当你进行特定的查询时，我们会实时计算。多亏了这个数据结构——我们可以做得非常快，尤其是在使用 C++ 实现的情况下。我知道现在 AI 研究中，C++ 可能不是大家首选的语言，但实际上，使用 C++ 会让程序运行得更快。这样做的成本有多低呢？其实我们只花了几百美元就索引了全部内容，而且，为 API 服务的成本也相当低。即便没有 GPU，它的速度也非常快。不同类型的 API 调用的延迟只有几十毫秒。你可以利用这个做很多事情。我现在可以分享的一点是，你可以用我们的 Infinigram 插值你的神经语言模型，降低困惑度，这是常用于评估语言模型质量的指标。我认为这只是我们能做的事情的冰山一角。实际上，我还在研究一些我希望能分享，但现在还不能告诉你们的东西。不过我们已经开始提供这些 API 端点。从几周前开始计数，到现在我们已经提供了 6000 万次 API 调用，这还不包括我们自己的使用。我非常想知道人们是如何使用我们的 InfiniGram 的。 * 总结总结一下，我的演讲主要是说，AI 的性能，至少在目前的形态下，取决于它的训练数据。因此，过去和现在的 AI 主要依赖于人类生成的数据，但未来可能会依赖于 AI 生成的数据。我知道人们对此有很多担忧，可能担心质量不高，可能存在偏见。因此，你不能以普通的方式来进行这项工作。你应该以更有创新性的方式来进行。但是，越来越多的证据表明，这种方法是有效的。例如，使用 Meta 的 SAM（Segment Anything）进行图像分割就是 AI 合成图像分割注释的一个例子。虽然有人类的验证帮助，但是单靠人类无法对如此多的图像样本进行注释。这是另一个例子。Microsoft 的论文"Textbooks are all you need"是另一个例证。当你有真正高质量的数据，例如教科书级别的数据，经过合成，你实际上可以在许多、许多不同的任务中与规模更大的对手竞争。可能在某些方面，它并不像大型模型那样具有广泛的适用性，但这对于满足许多商业需求来说是非常出色的。你可能不需要通才，你可能需要专家。此外，"Textbooks are all you need"也意味着，质量是最重要的。这并不仅仅关乎数量，更在于质量。DALL-3 就是一个很好的例子。为什么它会突然之间超越了 DALL-E 2 呢？很大程度上是因为它有更好的图像标注。但是，究竟是哪些更好的图像标注呢？在此之前，我们使用了所有好的图像标注。他们将这些图像标注进行了合成。这就是我们获得高质量数据的方式。当然，你需要小心翼翼地进行，但是有越来越多的任务特定符号知识蒸馏的例子，包括我自己实验室的工作，都证明了这是可行的。这真的可以让小模型发挥出惊人的潜力。所以，这更关乎数据的质量、新颖性和多样性，而不仅仅是数量。我就在这里结束我的演讲。谢谢。视频来源：

宝玉

59,826 views • 2 years ago

近日，老梁围绕“消费降级”话题发布视频在视频中，老梁认为一、“经济这几年不会好。消费降级是个持续的过程，一定要做好准备，不要抱有幻想。” 二、“不要以为消费降级是别人的事。我这么有才，我这么有本事，我这么有人脉，我这么有能力，消费降级轮不到我，我依然是谁会精英。” 他指出，“大时代的一粒尘沙，落到每个人都是一座大山。” 在谈及社会结构时，他表示：“在中国最可笑的就是中产阶级，中国的中产就是笑话，可能一夜返贫。你不行，你差的远。我们要正确的认识自己的能力，不要把自己想得太高。” 对于知识的作用，他提到：“有人说，我学那么多知识就没有用了吗？有用。你学那么多知识有用，让你知道，中产阶级脆弱的，是不可靠的。消费降级的时候你也是社会底层。学文化最大好处是清醒的认识到自己所处在哪个位置。” 他还表示：“不学知识就不行了，你就跟司马南的粉丝似的，你还以为你是这个国家的主人当家做主呢，你不是做梦呢么！” 关于人生与处世，他提出：“人一辈子有三件事：自己的事，别人的事和老天爷的事儿。自己的事儿别指望别人；别人的事儿别瞎管；老天爷的你得顺着它来。” 他总结称：“消费降级是国运，你得顺着它来。有钱的时候你讲究点，没钱的时候你就将就点吧。”

近日，老梁围绕“消费降级”话题发布视频在视频中，老梁认为一、“经济这几年不会好。消费降级是个持续的过程，一定要做好准备，不要抱有幻想。” 二、“不要以为消费降级是别人的事。我这么有才，我这么有本事，我这么有人脉，我这么有能力，消费降级轮不到我，我依然是谁会精英。” 他指出，“大时代的一粒尘沙，落到每个人都是一座大山。” 在谈及社会结构时，他表示：“在中国最可笑的就是中产阶级，中国的中产就是笑话，可能一夜返贫。你不行，你差的远。我们要正确的认识自己的能力，不要把自己想得太高。” 对于知识的作用，他提到：“有人说，我学那么多知识就没有用了吗？有用。你学那么多知识有用，让你知道，中产阶级脆弱的，是不可靠的。消费降级的时候你也是社会底层。学文化最大好处是清醒的认识到自己所处在哪个位置。” 他还表示：“不学知识就不行了，你就跟司马南的粉丝似的，你还以为你是这个国家的主人当家做主呢，你不是做梦呢么！” 关于人生与处世，他提出：“人一辈子有三件事：自己的事，别人的事和老天爷的事儿。自己的事儿别指望别人；别人的事儿别瞎管；老天爷的你得顺着它来。” 他总结称：“消费降级是国运，你得顺着它来。有钱的时候你讲究点，没钱的时候你就将就点吧。”

李老师不是你老师

291,380 views • 6 months ago

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

OpenAI 创始人 John Schulman 访谈节选：为什么 GPT-4 比一年前更“聪明”了？主要都是后训练（Post-Training）带来的！另外他认为，在强化学习研究领域，研究人员需要具备丰富的经验和敏锐的直觉。了解整个技术堆栈，并对各个部分充满好奇心是关键。此外，从第一性原理出发思考问题，而不仅仅依靠实验证据，也能够帮助研究人员在数据操控和环境设置方面做出更好的决策。 *** Dwarkesh Patel：在未来，用于训练的计算力中，预训练与后训练的比例是否会明显偏向后训练呢？ John Schulman：确实，有一些观点支持这种说法。 Dwarkesh Patel：我是说，现在这个比例非常不平衡。 John Schulman：但你可以认为，模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。因此，我不确定。所以，我希望我们会继续推动这种方法，并且可能会增加投入到后训练中的计算力。 Dwarkesh Patel：当前的 GPT-4 的 ELO 分数比最初发布的版本高出了大约 100 分。这是否全都是后训练带来的改进呢？ John Schulman：对，我会说大部分都是后训练带来的。 Dwarkesh Patel：这很有意思。 John Schulman：因此，有很多不同的改进方向。我们会考虑数据质量，数据数量，进行更多的部署和收集新数据的迭代，改变你收集的注解种类。因此，有很多因素叠加在一起。但是全部加在一起，就会带来一个相当不错的，有效的计算力提升。 Dwarkesh Patel：后训练的优化程度对于竞争优势有多大影响呢？ John Schulman：目前，我会区别公司是通过我们的模型有多大等等。那么，找出你之前提到的所有这些数据的复杂问题的公司，会占据大优势吗？ John Schulman：我认为这确实是一个优势，因为这是一个非常复杂的任务。因此，你必须有很多有技能的人来执行它。因此，存在大量的隐性知识。同时也需要大量的组织知识。我认为后训练的过程，创建一个具备人们所关心的所有功能的模型，是十分复杂的。这需要付出大量的努力，它是大量研发工作的积累。我会说这种情况在某种程度上形成了一种壁垒，要想立即启动这种模型并非易事。 Dwarkesh Patel：看起来那些正在进行最严肃的预训练努力的公司，也在进行严肃的后训练努力。因此，看起来这种模型有可能被复制或有更多的类似努力出现。 John Schulman：另外，还有一种情况使得这个壁垒并非那么明显，那就是你可以提取模型，或者复制别人的模型输出，或者使用别人的模型进行比较。我认为大公司可能并不会这样做，因为这违反了服务条款，也会损害他们的自尊心，但我预计一些规模较小的参与者可能正在这样做以便更好地起步。 Dwarkesh Patel：那些真正擅长进行这种强化学习（RL）研究的人有什么样的特质呢？我听说这种研究非常具有挑战性，但是什么样的直觉能帮助你找到操控数据和设置环境的方法呢？ John Schulman：我觉得有相当多的经验是关键。自从研究生时期以来，我一直在研究 RL 算法，涉及到数据收集、到注释过程，再到与语言模型的交互。所以，我算是涉猎了这些领域。我认为，在这类研究中表现出色的人通常对整个技术堆栈有全面的了解，并且对其中的各个部分充满好奇心。他们不仅依靠实验证据来更新自己的观点，还会从第一性原理出发思考问题。比如，假设深度学习是有效的，那么理想的收集数据的类型应该是什么，等等。

宝玉

57,189 views • 2 years ago