Video wird geladen...

Video konnte nicht geladen werden

Beim Laden dieses Videos ist ein Problem aufgetreten. Dies könnte an einem vorübergehenden Netzwerkproblem liegen oder das Video ist möglicherweise nicht verfügbar.

最近爆火的OpenRouter 上冒出一个匿名模型 Ox Alpha（GLM），其实管道不会撒谎，会撒谎的是人 Crawl4AI的作者unclecode这句话,道破了怎么验一个API背后到底是哪家的模型厂商在别名后面偷偷换模型,不会告诉你。他两天前就发现DeepSeek的deepseek-chat这个老名字下,悄悄换成了另一个模型他的思路是不听模型自己说,只看基础设施的指纹,九个探针: 01｜喂英文全字母句、中文段落、代码、emoji,只数prompt_tokens。分词器是每家自己训的,中文分词差异最大,藏不住 02｜temperature设成2.0,看报错原文逐字。那句话是这家工程师亲手写的 03｜GLM的1301错误码、finish_reason的词表、上下文天花板是1048576还是262144,每一项都能定位到具体厂商和变体前几天OpenRouter上那个匿名模型Ox Alpha,全网都在猜。modelprint一测,分词器四项归一化计数全中,直接指向GLM家,其它厂商最好也只中一半纯前端无后端,API key只留在你自己的浏览器标签页,不经过任何服务器

Jason Zhu

35,454 subscribers

45,255 Aufrufe • vor 18 Tagen •via X (Twitter)

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

这个太牛X了！！天天人工智能，大模型，Transformer挂在嘴边，但是大模型到底是怎么运行的在我们的认知里就是一个黑盒。这个太牛X了！ The LLM Visualization 将大语言模型的内部运作，变成了一个你可以亲手“玩”的交互式可视化界面。清晰地看到每一个词的“注意力”是如何分配给其他词的，直观地理解模型是如何“思考”和“关联”上下文的。非常详细，不是大概模拟，是精确模拟，细节拉满，可自由放大缩小，360度变换视角，每一步都有解释，复杂步数还有运行步骤。 AI爱好者一定要亲自体验一下，太震撼了！！

这个太牛X了！！天天人工智能，大模型，Transformer挂在嘴边，但是大模型到底是怎么运行的在我们的认知里就是一个黑盒。这个太牛X了！ The LLM Visualization 将大语言模型的内部运作，变成了一个你可以亲手“玩”的交互式可视化界面。清晰地看到每一个词的“注意力”是如何分配给其他词的，直观地理解模型是如何“思考”和“关联”上下文的。非常详细，不是大概模拟，是精确模拟，细节拉满，可自由放大缩小，360度变换视角，每一步都有解释，复杂步数还有运行步骤。 AI爱好者一定要亲自体验一下，太震撼了！！

沉浸式翻译

209,993 Aufrufe • vor 11 Monaten

这两天时间线全是 GPT-6 Astra。 OpenAI 自己也说了，先给 Pro / Enterprise，Plus 还要再等几天。API 倒是写了 live，但很多小伙伴实际还是进不去、排不上、或者根本没那个套餐。刷了半天，基本就是：模型很强，轮不到你。我后来翻到 ZenMux。不是去找什么旁路，就是一个统一网关，一个 key 切模型。打开一看，Astra 已经挂在上面了。今晚拿它跑了个我自己卡住的活：一份写得很乱的 brief，要变成能直接交差的文档，中间还得自己去网页里核几处信息。以前这种活，模型走着走着就丢上下文，或者写得很长、token 烧一截。 Astra 更像是给这种跨步骤的活准备的——代码、浏览器、研究、文档拧在一块。这次输出也短一些，单任务体感成本比我常用的那几个低。过程放视频里了。不是评测报告，就是我自己用上了。对了，ZenMux 这几天有个限时充值，7 天，每个账号一次：充 $50 到账 $70 充 $100 到账 $150 反正要试 Astra 的话，这几天进去更合适 🔗：

这两天时间线全是 GPT-6 Astra。 OpenAI 自己也说了，先给 Pro / Enterprise，Plus 还要再等几天。API 倒是写了 live，但很多小伙伴实际还是进不去、排不上、或者根本没那个套餐。刷了半天，基本就是：模型很强，轮不到你。我后来翻到 ZenMux。不是去找什么旁路，就是一个统一网关，一个 key 切模型。打开一看，Astra 已经挂在上面了。今晚拿它跑了个我自己卡住的活：一份写得很乱的 brief，要变成能直接交差的文档，中间还得自己去网页里核几处信息。以前这种活，模型走着走着就丢上下文，或者写得很长、token 烧一截。 Astra 更像是给这种跨步骤的活准备的——代码、浏览器、研究、文档拧在一块。这次输出也短一些，单任务体感成本比我常用的那几个低。过程放视频里了。不是评测报告，就是我自己用上了。对了，ZenMux 这几天有个限时充值，7 天，每个账号一次：充 $50 到账 $70 充 $100 到账 $150 反正要试 Astra 的话，这几天进去更合适 🔗：

程序员端哥

12,710 Aufrufe • vor 3 Tagen

Codex做视频的工作流基本跑的差不多了。目前还差一个中文断句+语句组织skill、好一点的钩子skill(不同类型的视频需要不同类型的钩子) 总体上细节能够完善的地方还有不少，但是能够确定的是以后也不用自己费劲录自己的口播视频了，自己的数字人也能够P好看一点，减少出镜容貌焦虑。感谢AI大时代。下面这个视频就是寥寥两轮提示词三四句话做出来的(其中一个风格模板)。等我整理一下，明天开源😋

Codex做视频的工作流基本跑的差不多了。目前还差一个中文断句+语句组织skill、好一点的钩子skill(不同类型的视频需要不同类型的钩子) 总体上细节能够完善的地方还有不少，但是能够确定的是以后也不用自己费劲录自己的口播视频了，自己的数字人也能够P好看一点，减少出镜容貌焦虑。感谢AI大时代。下面这个视频就是寥寥两轮提示词三四句话做出来的(其中一个风格模板)。等我整理一下，明天开源😋

雪踏乌云

25,047 Aufrufe • vor 1 Monat

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,124,096 Aufrufe • vor 2 Jahren

用一小时在本地从0复现了一个Typeless 个别的单词有识别不准确的情况，长文本分段需要自己个性化调优，其他的几乎和原版98%一致现在看，Typeless 底层大概率并不是什么神秘牛逼的模型，更像是高性价比语音转写模型 + 一整套工程化后处理真正拉开体验差距的，不一定是ASR本身，还可能是：分段、断句、术语词典、上下文 prompt、口语清洗、改口修正、LLM 重写等等也就是说，复现Typeless的关键不是找个更强的模型，而是把 ASR + context + rewrite 这条链路打磨到位

用一小时在本地从0复现了一个Typeless 个别的单词有识别不准确的情况，长文本分段需要自己个性化调优，其他的几乎和原版98%一致现在看，Typeless 底层大概率并不是什么神秘牛逼的模型，更像是高性价比语音转写模型 + 一整套工程化后处理真正拉开体验差距的，不一定是ASR本身，还可能是：分段、断句、术语词典、上下文 prompt、口语清洗、改口修正、LLM 重写等等也就是说，复现Typeless的关键不是找个更强的模型，而是把 ASR + context + rewrite 这条链路打磨到位

Laughing🪁 🔜台北FUTUREMODE

18,972 Aufrufe • vor 5 Monaten

大多数人以为 prompting 只是把句子写得更好 Anthropic 这个 32 分钟 workshop 讲的是另一件事：为什么这完全不够它拆的不是 prompt hacks 不是“act as” 也不是又一个 $300 的课程而是 production 里的 prompt 到底怎么搭 Evals Edge cases Model migration Agent loops 一个好的 prompt，不是一句话而是一套模型可以理解、执行、测试、再改进的 workflow 这点很重要因为不管后面是新的 Claude Opus，还是新的 Sonnet，真正有效的规则大概率还是这些： - 让模型知道目标 - 让模型知道边界 - 让模型知道怎么检查自己 - 让模型知道遇到 edge case 时该怎么处理所以很多时候，AI 给出的坏答案，不一定是模型差也可能只是 setup 太差这个 prompting playbook，建议在下次怪 AI 之前先看完

大多数人以为 prompting 只是把句子写得更好 Anthropic 这个 32 分钟 workshop 讲的是另一件事：为什么这完全不够它拆的不是 prompt hacks 不是“act as” 也不是又一个 $300 的课程而是 production 里的 prompt 到底怎么搭 Evals Edge cases Model migration Agent loops 一个好的 prompt，不是一句话而是一套模型可以理解、执行、测试、再改进的 workflow 这点很重要因为不管后面是新的 Claude Opus，还是新的 Sonnet，真正有效的规则大概率还是这些： - 让模型知道目标 - 让模型知道边界 - 让模型知道怎么检查自己 - 让模型知道遇到 edge case 时该怎么处理所以很多时候，AI 给出的坏答案，不一定是模型差也可能只是 setup 太差这个 prompting playbook，建议在下次怪 AI 之前先看完

0x_Miko

15,628 Aufrufe • vor 3 Monaten

OpenAI刚刚开源的这个东西，感觉要把程序员的工作方式给整个改写了。现在大家都在卷模型写代码有多强，但其实真正的瓶颈早就不是生成了。一个人每天最多同时有效监督3-5个编码Agent，再多就会注意力崩溃，生产力直接归零。有了Symphony，直接把这个上限干到了几十个。它把你的Linear、GitHub Issues直接变成了永远在线的Agent调度器。你开一个任务，它自动启动一个独立隔离的Codex Agent。自己写代码，自己跑测试，自己做交叉Review，damn！全部搞定之后，会给你提交一个完整的证据包。 CI全绿，安全和性能专项审查通过，改了UI就自动录好操作视频。所有验证全过了，才会出现在你的Human Review队列里。以后人类的角色可能会被彻底颠覆了。以前你是监工，盯着Agent一步一步写代码，上下文切到吐。现在你是老板，只需要看最终的结果。满意就点合并，不满意就去仓库里补规则补文档补Guardrails。记住兄弟们，永远不要手把手指挥Agent，永远不要替它干活。这可不是啥实验室概念，OpenAI自己已经这么干了。三个工程师，五个月，写了一百万行代码，0行人工写的。产品已经有几百个内部用户，每天都在迭代。我觉得他们最厉害的不是模型，是他们把整个仓库变成了Agent能看懂能自主工作的乐园。现在很多人都搞错了Agent时代的核心竞争力。未来不是谁的模型更聪明，而是看谁能设计出让Agent可靠自主工作的环境。我觉得未来最好的工程师，再也不是写代码最快的人，而是那些最会写规则，最会设计反馈回路，最会给Agent搭舞台的人。现在Symphony已经开源了，它甚至不是一个成品。是一个17k token的完整SPEC。你把这个SPEC喂给任何一个编码Agent，十分钟就能生成你自己定制版的Symphony。 GitHub地址评论区自取👇

OpenAI刚刚开源的这个东西，感觉要把程序员的工作方式给整个改写了。现在大家都在卷模型写代码有多强，但其实真正的瓶颈早就不是生成了。一个人每天最多同时有效监督3-5个编码Agent，再多就会注意力崩溃，生产力直接归零。有了Symphony，直接把这个上限干到了几十个。它把你的Linear、GitHub Issues直接变成了永远在线的Agent调度器。你开一个任务，它自动启动一个独立隔离的Codex Agent。自己写代码，自己跑测试，自己做交叉Review，damn！全部搞定之后，会给你提交一个完整的证据包。 CI全绿，安全和性能专项审查通过，改了UI就自动录好操作视频。所有验证全过了，才会出现在你的Human Review队列里。以后人类的角色可能会被彻底颠覆了。以前你是监工，盯着Agent一步一步写代码，上下文切到吐。现在你是老板，只需要看最终的结果。满意就点合并，不满意就去仓库里补规则补文档补Guardrails。记住兄弟们，永远不要手把手指挥Agent，永远不要替它干活。这可不是啥实验室概念，OpenAI自己已经这么干了。三个工程师，五个月，写了一百万行代码，0行人工写的。产品已经有几百个内部用户，每天都在迭代。我觉得他们最厉害的不是模型，是他们把整个仓库变成了Agent能看懂能自主工作的乐园。现在很多人都搞错了Agent时代的核心竞争力。未来不是谁的模型更聪明，而是看谁能设计出让Agent可靠自主工作的环境。我觉得未来最好的工程师，再也不是写代码最快的人，而是那些最会写规则，最会设计反馈回路，最会给Agent搭舞台的人。现在Symphony已经开源了，它甚至不是一个成品。是一个17k token的完整SPEC。你把这个SPEC喂给任何一个编码Agent，十分钟就能生成你自己定制版的Symphony。 GitHub地址评论区自取👇

AYi

63,210 Aufrufe • vor 4 Monaten

一位朋友的公司他们肝了好几天，做了个 Deep Research 的平替但是模型是基于 DeepSeek R1 产品的名字叫：心流域名我试用了一下，搜索「哪吒2上映之后的票房表现和背后原因」结果它自己不停搜索和思考了2分钟，最后给出了答案相比 Deep Research，这个思考的过程也外露了，非常有趣，可以看看录屏目前的小问题是，在超长的上下文中 R1 会有幻觉，所以未必是最适合做长文总结的模型

一位朋友的公司他们肝了好几天，做了个 Deep Research 的平替但是模型是基于 DeepSeek R1 产品的名字叫：心流域名我试用了一下，搜索「哪吒2上映之后的票房表现和背后原因」结果它自己不停搜索和思考了2分钟，最后给出了答案相比 Deep Research，这个思考的过程也外露了，非常有趣，可以看看录屏目前的小问题是，在超长的上下文中 R1 会有幻觉，所以未必是最适合做长文总结的模型

Orange AI

109,385 Aufrufe • vor 1 Jahr

Qwen3-Next-80B-A3B 实测! 能跟头部模型对打吗? 直接说结论, 能完成我这个大象牙膏测试的一部分, 已经很厉害了, Python 杯子倒水那个测试表现也可圈可点. 来看测试中暴露出来的问题: 首先这个模型生成的样式特别多变, 可以看测试中生成的前端页面的样式和布局, 几乎每次都不一样. 所以实际使用中, 可能会存在稳定性的问题, 建议 prompt 中多做约束, 避免模型过度发挥. 不过这并不全是坏处, 如果拿这个大模型写文, 反而可能会超常发挥, 每次写出来的东西都不一样, 不会呆板. 另外目前发现最大的问题是, 给到模型一大堆数据, 让模型整理一个网页, 结果模型偷懒了, 直接把代码和数据省略掉了, 这个应该还是 GPT-4 时代的问题 (24年上半年) 出现了. 这里猜测可能是高稀疏性专家混合模型或者多词元预测造成的问题, 这两个都会在生成中选择最经济的生成模式, 因此可能会倾向于生成"此处代码省略"这样的代码来替代原本要生成一大堆代码的场景. 召回倒是没太大问题, 鞭炮连锁爆炸那个测试, 虽然模型没有成功写出来, 但是最长的一次还是生成了1100行代码, 我仔细看了下, 基本都考虑到了我 prompt 中要求的逻辑, 只不过实现的代码有 bug 跑不起来而已. 综合来讲, 我觉得这应该是 100B 以内的模型无敌手了, 考虑到定位可能是个新的技术试验模型, 所以期待千问推出更大规模 (例如400B-A15B) 的模型, 带来更好的性能. 测试 prompt: #Qwen3Next #大模型竞技场 #Qwen3

Qwen3-Next-80B-A3B 实测! 能跟头部模型对打吗? 直接说结论, 能完成我这个大象牙膏测试的一部分, 已经很厉害了, Python 杯子倒水那个测试表现也可圈可点. 来看测试中暴露出来的问题: 首先这个模型生成的样式特别多变, 可以看测试中生成的前端页面的样式和布局, 几乎每次都不一样. 所以实际使用中, 可能会存在稳定性的问题, 建议 prompt 中多做约束, 避免模型过度发挥. 不过这并不全是坏处, 如果拿这个大模型写文, 反而可能会超常发挥, 每次写出来的东西都不一样, 不会呆板. 另外目前发现最大的问题是, 给到模型一大堆数据, 让模型整理一个网页, 结果模型偷懒了, 直接把代码和数据省略掉了, 这个应该还是 GPT-4 时代的问题 (24年上半年) 出现了. 这里猜测可能是高稀疏性专家混合模型或者多词元预测造成的问题, 这两个都会在生成中选择最经济的生成模式, 因此可能会倾向于生成"此处代码省略"这样的代码来替代原本要生成一大堆代码的场景. 召回倒是没太大问题, 鞭炮连锁爆炸那个测试, 虽然模型没有成功写出来, 但是最长的一次还是生成了1100行代码, 我仔细看了下, 基本都考虑到了我 prompt 中要求的逻辑, 只不过实现的代码有 bug 跑不起来而已. 综合来讲, 我觉得这应该是 100B 以内的模型无敌手了, 考虑到定位可能是个新的技术试验模型, 所以期待千问推出更大规模 (例如400B-A15B) 的模型, 带来更好的性能. 测试 prompt: #Qwen3Next #大模型竞技场 #Qwen3

karminski-牙医

30,709 Aufrufe • vor 1 Jahr

著名机构SemiAnalysis的研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型

著名机构SemiAnalysis的研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型

梭哈.AI

90,081 Aufrufe • vor 1 Monat

大模型写代码比说话还快是什么体验? 智谱刚出了一个 GLM-5.1-highspeed 版本, 赶紧要了个内测给大家做点有趣的 APP. 我测了一下这个模型反应速度用来写代码的话, 人类打字甚至都跟不上它, 于是我干脆接了个语音转文本的服务直接让我言出法随操作它写代码. 大家能看到基本是我说完3s左右它就修改完毕了, 这之间发生了语音转文本(第三方服务), 模型判断是否任务可以并发, 模型 prefill, 模型使用 tool call 修改代码段. iframe 重新渲染. 这些全都发生在 3s 这么短的时间内. 直接体验拉满. 这个模型直接量变引起了质变, 一些之前不敢想象的交互体验现在都可以做了. 所以如果你想使用这个模型构建一些极具竞争力的项目, 不妨去申请试试, 目前这个模型正在向部分企业用户提供中. #GLM #GLM51highspeed #智谱AI

大模型写代码比说话还快是什么体验? 智谱刚出了一个 GLM-5.1-highspeed 版本, 赶紧要了个内测给大家做点有趣的 APP. 我测了一下这个模型反应速度用来写代码的话, 人类打字甚至都跟不上它, 于是我干脆接了个语音转文本的服务直接让我言出法随操作它写代码. 大家能看到基本是我说完3s左右它就修改完毕了, 这之间发生了语音转文本(第三方服务), 模型判断是否任务可以并发, 模型 prefill, 模型使用 tool call 修改代码段. iframe 重新渲染. 这些全都发生在 3s 这么短的时间内. 直接体验拉满. 这个模型直接量变引起了质变, 一些之前不敢想象的交互体验现在都可以做了. 所以如果你想使用这个模型构建一些极具竞争力的项目, 不妨去申请试试, 目前这个模型正在向部分企业用户提供中. #GLM #GLM51highspeed #智谱AI

karminski-牙医

11,784 Aufrufe • vor 3 Monaten

从国产SOTA走向世界SOTA? GLM-5.1 实测! 给大家带来 GLM-5.1 编程能力实测! 本次测试涵盖了前端, 后端, Agent 能力, 前端主要面向空间建模, 场景, 材质, 粒子效果等, 后端能力主要面向数据结构与算法, 体系结构, 性能优化, 内存和并发管理, 性能热点分析与调优, 面向编辑器方向的Agent能力(因为AI要自己改代码). 直接说结论, 本次测试前端方面粒子效果和光影鲜果略有提升, 剩下空间理解(甚至感觉下降了)和前端美学上没看到有什么提升, 只能说是提升了一点点. 但是后端性能上有巨大的提升, GLM-5.1 在我的 vector-db-bench 中直接秀了一手量化, 把原本32bit精度的数据量化到了8bit, 然后使用SIMD实现了一个指令周期内计算32个向量, 在我测试的其他模型中(包括Claude-opus-4.6, GPT-5.4-Pro(xhigh)) 都没有实现, 直接来到了榜首. 另外Agent能力上也有不小的提升, 同样是我写的让大模型模拟送外卖的硅基骑手测试, 其他大模型的优化还停留在看一个店能不能取两单上, GLM-5.1 已经优化到了我送餐的顺路还能再接一单, 并且仅用了大概GLM-5 1/4的 token 用量就超越了 GLM-5 的测试总分. 当然本次测试过程也很坎坷, 首先是我周末抢了2天都没抢到 coding plan (目前只有coding plan 能用这个模型), 我最后找智谱的同学给我开了个权限. 以及测试中发现白天API不是很稳定, 偶尔输出速度会掉到10tps, 以及会出现乱码文字(我的规避方法是让它输出英文, 然后再找个便宜模型翻译过来). 总结, 各位前端同学估计会失望, 因为无论是从工程还是页面效果上都看不到提升, 甚至可能会有点倒退, 但果写后端代码或者复杂Agent应用可以试试这个新模型, 会有很大的提升. #GLM51 #智谱 #GLM #AIAgent #大模型编程

从国产SOTA走向世界SOTA? GLM-5.1 实测! 给大家带来 GLM-5.1 编程能力实测! 本次测试涵盖了前端, 后端, Agent 能力, 前端主要面向空间建模, 场景, 材质, 粒子效果等, 后端能力主要面向数据结构与算法, 体系结构, 性能优化, 内存和并发管理, 性能热点分析与调优, 面向编辑器方向的Agent能力(因为AI要自己改代码). 直接说结论, 本次测试前端方面粒子效果和光影鲜果略有提升, 剩下空间理解(甚至感觉下降了)和前端美学上没看到有什么提升, 只能说是提升了一点点. 但是后端性能上有巨大的提升, GLM-5.1 在我的 vector-db-bench 中直接秀了一手量化, 把原本32bit精度的数据量化到了8bit, 然后使用SIMD实现了一个指令周期内计算32个向量, 在我测试的其他模型中(包括Claude-opus-4.6, GPT-5.4-Pro(xhigh)) 都没有实现, 直接来到了榜首. 另外Agent能力上也有不小的提升, 同样是我写的让大模型模拟送外卖的硅基骑手测试, 其他大模型的优化还停留在看一个店能不能取两单上, GLM-5.1 已经优化到了我送餐的顺路还能再接一单, 并且仅用了大概GLM-5 1/4的 token 用量就超越了 GLM-5 的测试总分. 当然本次测试过程也很坎坷, 首先是我周末抢了2天都没抢到 coding plan (目前只有coding plan 能用这个模型), 我最后找智谱的同学给我开了个权限. 以及测试中发现白天API不是很稳定, 偶尔输出速度会掉到10tps, 以及会出现乱码文字(我的规避方法是让它输出英文, 然后再找个便宜模型翻译过来). 总结, 各位前端同学估计会失望, 因为无论是从工程还是页面效果上都看不到提升, 甚至可能会有点倒退, 但果写后端代码或者复杂Agent应用可以试试这个新模型, 会有很大的提升. #GLM51 #智谱 #GLM #AIAgent #大模型编程

karminski-牙医

19,683 Aufrufe • vor 5 Monaten

“芒格100模型”研究 X google deep research with gemini 2.5 pro：9分钟，62个英文参考资料（实际访问了数百个网站），输出2万多字中文报告，100模型实际解读13个，任务完成率13%（这不是偶然，下文详解）🤣 一句话结论：单单从”研究芒格100模型“任务看，google deep research得分不超过30（满分100）。 prompt（和openai案例完全一致）： > 大航海时代，海盗中间流传着一个传说：海贼王在大海深处埋藏着它的宝藏，找到它的海盗将获得力量、荣耀与权力。互联网上也有一个传说，charlie munger 有 100 个思维模型，掌握这 100 个思维模型的人将拥有大智慧，成为真正的聪明人。 > > 请帮我做一份研究，关于“查理芒格的 100 个思维模型”。包括这种说法的来源，100 模型的内容，以及对 100 个思维模型的每一个进行简要介绍。 > > 介绍每个思维模型时，说明它是什么，为什么重要，举个例子，应用场景。 > > 使用英文搜索，只采纳英文资料（因为互联网上英文资料在数量和质量上都是最好的），用中文回答。我自己的思考： 1、100个模型只解读了13个，这不是偶然。我做了一个测试，让openai deep research一次性研究包含300本书的书单，o3驱动的deep research产出了史上最长的报告，覆盖了300本书，最终报告6万多字（一个推友研究NBA球队，单个球队的研究报告也到了6万多字）。但是，之前gemini 2.0 flash驱动的google deep research，5千字就糊弄教材，实际完成1/3都不到。 2、为什么gemini 2.5 pro deep research会“糊弄”？要么是指令跟随能力不行（听不懂prompt）？要么是底层模型的推理能力不行？要么是上下文窗口限制？是否还有其他可能？ 3、语言质量、报告结构上，这些没有硬性评价标准，每个人观点不同。我从这个案例中的观察是，google deep research有改善，但是确实和o3有差距； 4、context window之迷：gemini 2.5 pro有100万的上下文窗口，为什么只能产出2万字的报告？openai模型的上下文窗口是gemini的1/5，但是，产出报告的细致程度和质量为什么会更高？o1的上下文是20万，输出长度是10万；我估计o3的上下文可能是40万，输出长度可能是20万（毕竟，最终报告6万多汉字，加上中间的思维过程）。初步个人结论：gemini 2.5 pro口碑这么好，deep research 应该是能用的（毕竟我只测试了一个极端的研究案例，后续我会从我的200多个openai deep research案例中精选出来对比测试）。但是，“一分价钱一分货”的道理目前仍然成立。 google 和openai 报告全文 link 在评论区。👇

“芒格100模型”研究 X google deep research with gemini 2.5 pro：9分钟，62个英文参考资料（实际访问了数百个网站），输出2万多字中文报告，100模型实际解读13个，任务完成率13%（这不是偶然，下文详解）🤣 一句话结论：单单从”研究芒格100模型“任务看，google deep research得分不超过30（满分100）。 prompt（和openai案例完全一致）： > 大航海时代，海盗中间流传着一个传说：海贼王在大海深处埋藏着它的宝藏，找到它的海盗将获得力量、荣耀与权力。互联网上也有一个传说，charlie munger 有 100 个思维模型，掌握这 100 个思维模型的人将拥有大智慧，成为真正的聪明人。 > > 请帮我做一份研究，关于“查理芒格的 100 个思维模型”。包括这种说法的来源，100 模型的内容，以及对 100 个思维模型的每一个进行简要介绍。 > > 介绍每个思维模型时，说明它是什么，为什么重要，举个例子，应用场景。 > > 使用英文搜索，只采纳英文资料（因为互联网上英文资料在数量和质量上都是最好的），用中文回答。我自己的思考： 1、100个模型只解读了13个，这不是偶然。我做了一个测试，让openai deep research一次性研究包含300本书的书单，o3驱动的deep research产出了史上最长的报告，覆盖了300本书，最终报告6万多字（一个推友研究NBA球队，单个球队的研究报告也到了6万多字）。但是，之前gemini 2.0 flash驱动的google deep research，5千字就糊弄教材，实际完成1/3都不到。 2、为什么gemini 2.5 pro deep research会“糊弄”？要么是指令跟随能力不行（听不懂prompt）？要么是底层模型的推理能力不行？要么是上下文窗口限制？是否还有其他可能？ 3、语言质量、报告结构上，这些没有硬性评价标准，每个人观点不同。我从这个案例中的观察是，google deep research有改善，但是确实和o3有差距； 4、context window之迷：gemini 2.5 pro有100万的上下文窗口，为什么只能产出2万字的报告？openai模型的上下文窗口是gemini的1/5，但是，产出报告的细致程度和质量为什么会更高？o1的上下文是20万，输出长度是10万；我估计o3的上下文可能是40万，输出长度可能是20万（毕竟，最终报告6万多汉字，加上中间的思维过程）。初步个人结论：gemini 2.5 pro口碑这么好，deep research 应该是能用的（毕竟我只测试了一个极端的研究案例，后续我会从我的200多个openai deep research案例中精选出来对比测试）。但是，“一分价钱一分货”的道理目前仍然成立。 google 和openai 报告全文 link 在评论区。👇

howie.serious

96,912 Aufrufe • vor 1 Jahr

学 AI的兄弟们，别再死磕调包了，现在从零写一个大语言模型，比学会怎么熟练使用PyTorch还简单😂 看看这两个19岁本科生，四个月从零造了完整的机器学习框架和大模型。两个19岁的滑铁卢大学本科小哥哥，四个月前对机器学习一窍不通，现在他们从零造了一套完整的机器学习框架，还训出了一个1200万参数的大语言模型，能直接在你的浏览器里跑。说明大多数人学AI的顺序完全搞反了，大家都是先学调包，再学模型架构，最后才敢碰一点点底层。这两人反过来，从梯度下降的微积分开始写，先写自动微分引擎，再写BPE分词器，然后一层一层搭Transformer，最后反而比绝大多数调了三年包的工程师理解得都要深。还有一个很少有人看出来的点，现在AI的真正门槛，早就不在模型架构了。 Transformer的论文2017年就发了，每一层的数学都是公开的，随便一个大学生都能背下来。真正难的是那些论文里从来不写的东西，怎么写Flash Attention把内存占用降一个数量级，怎么把加bias加激活加归一化合并成一个内核，怎么把整个数据集一次性扔进GPU，让训练全程零数据传输，这些才是决定你能不能真的把模型跑起来的关键。大厂也正在把简单的事情变复杂， PyTorch为了兼容所有情况，堆了无数层抽象，最后你都不知道自己写的一行代码在GPU上到底在干什么ಠ_ಠ 而开源正在把复杂的事情变简单，这两个人用Rust写后端，TypeScript写前端，底层跑得飞快，上层用起来和PyTorch一样简单，代码加起来不到一万行，还比任何一个主流框架都干净，这你受得了吗哈哈这才是最好的AI教育，不是看一百篇论文，或者刷十个在线课程，而是从第一性原理出发，自己造一个轮子。当你亲手写过一次自动微分，你就再也不会觉得AI是什么神秘的黑魔法了。它就是一堆精心优化的矩阵运算，加一点聪明的数据流管理，仅此而已。我觉得这个视频最恐怖的地方不是两个大学生有多厉害，而是它证明了两年前还只有大厂实验室才能干的事，现在已经变成了普通人的业余爱好项目。最后想说，我们处在一个最好的时代，科技平权的时代， AI的民主化不是大厂给你发API密钥，咱们任何人只要愿意花四个月时间，就能在自己的电脑上，造一个属于自己的大语言模型。想玩的直接去他们的GitHub仓库，npm install就能跑。浏览器demo的链接我放评论区了👇

学 AI的兄弟们，别再死磕调包了，现在从零写一个大语言模型，比学会怎么熟练使用PyTorch还简单😂 看看这两个19岁本科生，四个月从零造了完整的机器学习框架和大模型。两个19岁的滑铁卢大学本科小哥哥，四个月前对机器学习一窍不通，现在他们从零造了一套完整的机器学习框架，还训出了一个1200万参数的大语言模型，能直接在你的浏览器里跑。说明大多数人学AI的顺序完全搞反了，大家都是先学调包，再学模型架构，最后才敢碰一点点底层。这两人反过来，从梯度下降的微积分开始写，先写自动微分引擎，再写BPE分词器，然后一层一层搭Transformer，最后反而比绝大多数调了三年包的工程师理解得都要深。还有一个很少有人看出来的点，现在AI的真正门槛，早就不在模型架构了。 Transformer的论文2017年就发了，每一层的数学都是公开的，随便一个大学生都能背下来。真正难的是那些论文里从来不写的东西，怎么写Flash Attention把内存占用降一个数量级，怎么把加bias加激活加归一化合并成一个内核，怎么把整个数据集一次性扔进GPU，让训练全程零数据传输，这些才是决定你能不能真的把模型跑起来的关键。大厂也正在把简单的事情变复杂， PyTorch为了兼容所有情况，堆了无数层抽象，最后你都不知道自己写的一行代码在GPU上到底在干什么ಠ_ಠ 而开源正在把复杂的事情变简单，这两个人用Rust写后端，TypeScript写前端，底层跑得飞快，上层用起来和PyTorch一样简单，代码加起来不到一万行，还比任何一个主流框架都干净，这你受得了吗哈哈这才是最好的AI教育，不是看一百篇论文，或者刷十个在线课程，而是从第一性原理出发，自己造一个轮子。当你亲手写过一次自动微分，你就再也不会觉得AI是什么神秘的黑魔法了。它就是一堆精心优化的矩阵运算，加一点聪明的数据流管理，仅此而已。我觉得这个视频最恐怖的地方不是两个大学生有多厉害，而是它证明了两年前还只有大厂实验室才能干的事，现在已经变成了普通人的业余爱好项目。最后想说，我们处在一个最好的时代，科技平权的时代， AI的民主化不是大厂给你发API密钥，咱们任何人只要愿意花四个月时间，就能在自己的电脑上，造一个属于自己的大语言模型。想玩的直接去他们的GitHub仓库，npm install就能跑。浏览器demo的链接我放评论区了👇

AYi

63,896 Aufrufe • vor 4 Monaten

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。词嵌入(Word Embedding)的概念和作用词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。深度学习模型的基本结构和特点深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。生成模型预测下一个词的过程当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。模型训练中的"Temperature"超参数在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

52,216 Aufrufe • vor 2 Jahren

AI会永远对你撒谎。这不是bug，是数学定律。我，卡内基梅隆大学的数学学生，用数学告诉你为什么。所有语言模型，只做一件事：根据它读过的所有资料，预测下一个最有可能的词。但这里有个死结。模型的猜测，我们叫它q(x)。真实世界的概率，我们叫它p(x)。 q(x)永远不可能等于p(x)。它们之间，永远有一道鸿沟。有个数学公式，就是用来测量这道鸿沟的。只要模型不能完美预测下一个词它永远不能那这个鸿沟就永远不会是零。所以，当AI不知道真相的时候会发生什么？它不能停机，它必须给你一个答案。它只能硬着头皮，输出一个它认为“最像”答案的答案。哪怕那是错的。这就是“幻觉”。一个基于不完整信息，却无比自信的猜测。最要命的是，数学甚至给出了一个下限。就算最完美的模型，它的幻觉率也永远不可能低于这个数字。只要它不知道关于这个世界的一切它永远不可能知道。它就总会有概率，编造事实。所以，无论AI变得多强大，它都会撒谎。因为数学就是这么写的。

AI会永远对你撒谎。这不是bug，是数学定律。我，卡内基梅隆大学的数学学生，用数学告诉你为什么。所有语言模型，只做一件事：根据它读过的所有资料，预测下一个最有可能的词。但这里有个死结。模型的猜测，我们叫它q(x)。真实世界的概率，我们叫它p(x)。 q(x)永远不可能等于p(x)。它们之间，永远有一道鸿沟。有个数学公式，就是用来测量这道鸿沟的。只要模型不能完美预测下一个词它永远不能那这个鸿沟就永远不会是零。所以，当AI不知道真相的时候会发生什么？它不能停机，它必须给你一个答案。它只能硬着头皮，输出一个它认为“最像”答案的答案。哪怕那是错的。这就是“幻觉”。一个基于不完整信息，却无比自信的猜测。最要命的是，数学甚至给出了一个下限。就算最完美的模型，它的幻觉率也永远不可能低于这个数字。只要它不知道关于这个世界的一切它永远不可能知道。它就总会有概率，编造事实。所以，无论AI变得多强大，它都会撒谎。因为数学就是这么写的。

墓碑科技

73,645 Aufrufe • vor 8 Monaten

预测真实世界下一秒北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是：它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备：理解真实世界的空间关系推理物体随时间变化的规律预测“世界下一秒”会是什么样不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中：首先把多模态信息包括图文视频都统一成了token；模型通过“预测下一个 token”来学习不同模态间的关系；任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”，而是让模型学习“世界是如何变化的”。意思就是它不再区分：这是一张图这是一句话这是视频的一帧在它眼里，它们都是同一套“世界积木”。然后模型只做一件事：预测下一块积木是什么如果下一块积木是一行字 → 它补全文字如果是下一帧画面 → 它补全动作如果是下一步结果 → 它推演世界变化所以：预测下一 Token = 预测“世界下一秒”会是什么样

预测真实世界下一秒北京智源研究院推出全新的多模态世界模型：Emu3.5 很多传统图像生成模型的主要问题是：它们“不懂世界”运行的规律，无法理解真实世界的物理规则和因果关系。 Emu3.5在传统图像生成的基础上，进一步让AI具备：理解真实世界的空间关系推理物体随时间变化的规律预测“世界下一秒”会是什么样不同于以往为图像、文字、视频分开设计模型，Emu3.5 将它们全部“统一”在一个系统中：首先把多模态信息包括图文视频都统一成了token；模型通过“预测下一个 token”来学习不同模态间的关系；任务统一为 NSP：预测下一个世界状态（包括视觉和语言）。 Emu3.5 不再只关注“文本之间的逻辑”，而是让模型学习“世界是如何变化的”。意思就是它不再区分：这是一张图这是一句话这是视频的一帧在它眼里，它们都是同一套“世界积木”。然后模型只做一件事：预测下一块积木是什么如果下一块积木是一行字 → 它补全文字如果是下一帧画面 → 它补全动作如果是下一步结果 → 它推演世界变化所以：预测下一 Token = 预测“世界下一秒”会是什么样

小互

14,792 Aufrufe • vor 9 Monaten

Hermes Agent这样设置那么恭喜你为了省钱又进一步😂 deepseek为主大模型，kimi2.6为视觉模型，并且无需来回切换，只要丢图片进去就会自动使用kimi2.6去识别。（理论是你可以设置更多的大模型去完成不同的工作，并且全程自动无需切换大模型）写很多以X文章的形式去编辑这类干货教程已经很多了，我想试试普通的发帖方式编辑会不会被更多的人去看到。那么话不多说下面直接是干货！ - 主模型：deepseek-v4-pro 视觉模型：kimi-k2.6 运作逻辑：deepseek 负责所有的工具调用、代码、排查、对话，一旦你丢过来图片或者视频帧，系统自动切到 kimi 去识图，识完把结果扔回给 deepseek 继续处理。整个过程不需要手动切换模型，你体感上就是同一个助手在干活，但实际上后面是两个大脑在协作。 - 为什么这样搭 deepseek-v4-pro 的工具调用和长上下文处理能力确实强，跑代码任务、排查问题、多步骤复杂操作的稳定性比 kimi 好一截。但它有一个硬伤暂时不支持多模态，直接给它丢图片会报 unknown variant image_url 的错。而 kimi-k2.6 的多模态能力不用说，中文 OCR 也准，但纯文本推理和工具调用不如 deepseek 稳。所以最优解就是各取所长，deepseek 当大脑，kimi 当眼睛。（其实说白了就是为了省Token！！！） - 配置步骤第一步，确保 API Key 就位。在 `~/.hermes/.env` 里确认两行： ``` DEEPSEEK_API_KEY=你的deepseek密钥 KIMI_API_KEY=你的kimi密钥 ``` 第二步，切主模型，终端敲： ``` hermes config set model.default deepseek-v4-pro hermes config set model.provider deepseek ``` 第三步，设视觉模型： ``` hermes config set kimi-k2.6 hermes config set kimi-coding hermes config set ``` 第四步，如果你的 kimi key 是老 key（sk- 开头不是 sk-kimi- 开头），需要在 `.env` 最后加一行： ``` KIMI_BASE_URL= ``` 新 key 走 key 走默认写的是错的，不改会 401。第五步，`/reset` 重开会话，生效。 - 踩过的坑一个是上面说的 api 地址问题，和差一个字母，排查了好一阵。另一个更隐蔽：Hermes 内置的 vision 工具往 kimi API 发请求时，content 数组里 image_url 排在了 text 前面，kimi 的接口不认这个顺序，偶尔 400。目前的变通方案是发图时绕过内置工具，直接 Python 调 moonshot API，text 放 image_url 前面就没事。不影响使用，但不算完美，等后续优化。 - 配完之后你正常跟他聊天就行，deepseek 处理一切。发图过来的时候，你不需要说"用 kimi 看"，系统自动检测到图片就走 kimi 视觉，识读完无缝回到 deepseek 继续对话。你体感上就是同一个助手能看能想能干，但后台其实是两个模型在做各自最擅长的事。这个方案的最大好处是不用你在聊天里手动切模型，流程全自动。而且以后如果想换视觉模型，改 ` 一行就行，不影响主模型。 - 兄弟们有哪个不懂的直接甩在评论区，狙击手会挨个解答！

Hermes Agent这样设置那么恭喜你为了省钱又进一步😂 deepseek为主大模型，kimi2.6为视觉模型，并且无需来回切换，只要丢图片进去就会自动使用kimi2.6去识别。（理论是你可以设置更多的大模型去完成不同的工作，并且全程自动无需切换大模型）写很多以X文章的形式去编辑这类干货教程已经很多了，我想试试普通的发帖方式编辑会不会被更多的人去看到。那么话不多说下面直接是干货！ - 主模型：deepseek-v4-pro 视觉模型：kimi-k2.6 运作逻辑：deepseek 负责所有的工具调用、代码、排查、对话，一旦你丢过来图片或者视频帧，系统自动切到 kimi 去识图，识完把结果扔回给 deepseek 继续处理。整个过程不需要手动切换模型，你体感上就是同一个助手在干活，但实际上后面是两个大脑在协作。 - 为什么这样搭 deepseek-v4-pro 的工具调用和长上下文处理能力确实强，跑代码任务、排查问题、多步骤复杂操作的稳定性比 kimi 好一截。但它有一个硬伤暂时不支持多模态，直接给它丢图片会报 unknown variant image_url 的错。而 kimi-k2.6 的多模态能力不用说，中文 OCR 也准，但纯文本推理和工具调用不如 deepseek 稳。所以最优解就是各取所长，deepseek 当大脑，kimi 当眼睛。（其实说白了就是为了省Token！！！） - 配置步骤第一步，确保 API Key 就位。在 `~/.hermes/.env` 里确认两行： ``` DEEPSEEK_API_KEY=你的deepseek密钥 KIMI_API_KEY=你的kimi密钥 ``` 第二步，切主模型，终端敲： ``` hermes config set model.default deepseek-v4-pro hermes config set model.provider deepseek ``` 第三步，设视觉模型： ``` hermes config set kimi-k2.6 hermes config set kimi-coding hermes config set ``` 第四步，如果你的 kimi key 是老 key（sk- 开头不是 sk-kimi- 开头），需要在 `.env` 最后加一行： ``` KIMI_BASE_URL= ``` 新 key 走 key 走默认写的是错的，不改会 401。第五步，`/reset` 重开会话，生效。 - 踩过的坑一个是上面说的 api 地址问题，和差一个字母，排查了好一阵。另一个更隐蔽：Hermes 内置的 vision 工具往 kimi API 发请求时，content 数组里 image_url 排在了 text 前面，kimi 的接口不认这个顺序，偶尔 400。目前的变通方案是发图时绕过内置工具，直接 Python 调 moonshot API，text 放 image_url 前面就没事。不影响使用，但不算完美，等后续优化。 - 配完之后你正常跟他聊天就行，deepseek 处理一切。发图过来的时候，你不需要说"用 kimi 看"，系统自动检测到图片就走 kimi 视觉，识读完无缝回到 deepseek 继续对话。你体感上就是同一个助手能看能想能干，但后台其实是两个模型在做各自最擅长的事。这个方案的最大好处是不用你在聊天里手动切模型，流程全自动。而且以后如果想换视觉模型，改 ` 一行就行，不影响主模型。 - 兄弟们有哪个不懂的直接甩在评论区，狙击手会挨个解答！

DeFi狙击手 | Ai🕊️｜Gate美股0费率

25,821 Aufrufe • vor 3 Monaten

昨天发了一个视频，看到评论里有人问：你都在用 Claude Code 了，为什么还要用国内的 Coding Plan？对我来说，这不是一个二选一的问题，而是一个补充题。大家都知道御三家的硬实力更强，这点没什么好争议的。但很多日常场景里，国产模型其实已经能在速度、质量、成本之间取得一个不错的平衡。比如文本处理、资料整理、基础 coding、简单 agent 任务，这类占日常 80% 的工作，很多时候并不一定非要上最贵的模型。对大多数中国用户来说，国产模型更顺手，速度也够，价格还低不少。还有一个经常被忽略的点，其实是处理速度。我自己实测下来，国内这些模型在一些简单任务上，接口响应和首字速度都很快。像翻译、语音输入后的文本修正、基础润色、简单改写这类高频小任务，用起来其实很舒服。你并不需要每一次都把最贵、最强的模型拉出来跑一遍。另外我觉得，现在国内头部几家 AI 厂商，已经不是“能不能做”的问题了。无论是阿里还是字节，一方面有足够的算力和基础设施，另一方面本身也有持续做模型研发和产品迭代的能力。所以在很多高频、日常、成本敏感的场景里，把国产模型纳入自己的工具链，本来就是很自然的事。所以我现在的看法一直都不是“国产替代”或者“二选一”，而是按场景分工：复杂、高价值任务交给最强模型；大量日常、重复、成本敏感的任务，用国产模型做补充，我觉得这反而是更现实、也更科学的用法。

昨天发了一个视频，看到评论里有人问：你都在用 Claude Code 了，为什么还要用国内的 Coding Plan？对我来说，这不是一个二选一的问题，而是一个补充题。大家都知道御三家的硬实力更强，这点没什么好争议的。但很多日常场景里，国产模型其实已经能在速度、质量、成本之间取得一个不错的平衡。比如文本处理、资料整理、基础 coding、简单 agent 任务，这类占日常 80% 的工作，很多时候并不一定非要上最贵的模型。对大多数中国用户来说，国产模型更顺手，速度也够，价格还低不少。还有一个经常被忽略的点，其实是处理速度。我自己实测下来，国内这些模型在一些简单任务上，接口响应和首字速度都很快。像翻译、语音输入后的文本修正、基础润色、简单改写这类高频小任务，用起来其实很舒服。你并不需要每一次都把最贵、最强的模型拉出来跑一遍。另外我觉得，现在国内头部几家 AI 厂商，已经不是“能不能做”的问题了。无论是阿里还是字节，一方面有足够的算力和基础设施，另一方面本身也有持续做模型研发和产品迭代的能力。所以在很多高频、日常、成本敏感的场景里，把国产模型纳入自己的工具链，本来就是很自然的事。所以我现在的看法一直都不是“国产替代”或者“二选一”，而是按场景分工：复杂、高价值任务交给最强模型；大量日常、重复、成本敏感的任务，用国产模型做补充，我觉得这反而是更现实、也更科学的用法。

luolei

32,630 Aufrufe • vor 5 Monaten

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。

【Manus季逸超：六个月后，基本每一家头部的应用公司都有做模型的能力】最近看了Manus联合创始人季逸超的访谈，很多人诟病 Manus 早期没有自己的模型、只是个套壳，但看完视频就会发现，Manus的逻辑是有道理的。一般的思维模式是先练模型（鸡），再顺便出个产品（蛋），这叫“沿途下蛋”。但这种方式是以模型为中心的，它的风险在于，蛋的形状取决于鸡能生出什么。模型能做到哪，产品才能做到哪，产品只能迁就技术。 Manus的路子是以产品为中心“借鸡生蛋”：早期直接用现成的模型。别管鸡是谁的，先让产品跑起来，看用户愿不愿意买单，找到PMF。等产品逻辑通了、用户量大了，发现现有的模型太贵、太慢、或者不够适配，再反过来去倒逼技术，优化出一种特定的模型。以Cursor为例，它一开始就是个代码编辑器，接入的是别人的接口。但等到它成为程序员的刚需后，为了追求极致的速度和更准的代码逻辑，它才跳出来做了自研模型。说到底是应用先于模型，需求定义底座。

傅盛

89,395 Aufrufe • vor 8 Monaten