Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

Cursor 宣布推出一款参数量超过 1.5 万亿的全新大模型。 Cursor 首席执行官确认，该模型基于超过 10 万张 GPU 的计算集群进行预训练，其性能与参数体量已全面对齐 Anthropic 旗下的 Opus 核心系列以及 OpenAI 的 GPT 旗舰系列。 泄露的供应链数据显示，当前被市场神话的闭源前沿模型，包括 GPT-5 至 GPT-5.5 以及 Claude Opus 4.5 至 4.8，其实际参数规模均在 2 万亿（2T）以下。 这意味着，这一代闭源旗舰的性能上限，在技术层面上完全可以被同等规模的开源或混合专家（MoE）架构，如 DeepSeek-V4-Pro 所平替。 大厂此前构建的长周期技术壁垒与高额 API 溢价，正在被高并发的开源算力密集清洗。

oragnes's profile picture

比特币橙子Trader

72,035 subscribers

17,102 Aufrufe • vor 1 Monat •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Kommentare

Keine Kommentare verfügbar

Kommentare vom Original-Post werden hier angezeigt

Ähnliche Videos

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。 其实 HuggingChat 也不错的 你可以在这里体验所有的开源大语言模型
2:38

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。 其实 HuggingChat 也不错的 你可以在这里体验所有的开源大语言模型

indigo

183,914 Aufrufe • vor 2 Jahren

卧槽，月之暗面（Moonshot AI）的 Kimi K3来了。 Kimi K3 的参数量达到了 2 万亿至 3 万亿（2-3T）级别。 相比之下，当前主流的顶级模型如 Opus 4.8，其参数量大约在 1.5 万亿（1.5T）左右。 Kimi K3 不仅在参数体量上实现了翻倍，同时继续保留了 100 万字（1m）的超长上下文窗口优势。 根据前期测试与行业预期，K3 的综合性能表现将超越当前的 Opus 4.8。 中美之间的AI模型，还有差距吗？😂
0:39

卧槽，月之暗面（Moonshot AI）的 Kimi K3来了。 Kimi K3 的参数量达到了 2 万亿至 3 万亿（2-3T）级别。 相比之下，当前主流的顶级模型如 Opus 4.8，其参数量大约在 1.5 万亿（1.5T）左右。 Kimi K3 不仅在参数体量上实现了翻倍，同时继续保留了 100 万字（1m）的超长上下文窗口优势。 根据前期测试与行业预期，K3 的综合性能表现将超越当前的 Opus 4.8。 中美之间的AI模型，还有差距吗？😂

比特币橙子Trader

143,470 Aufrufe • vor 16 Tagen

2025年全球大模型厂商下载量排行榜 终于爆肝了一个元旦假期弄完了, 给大家带来2025年全球大模型厂商开放权重模型下载量排行榜. 数据更多代表国内以外的区域的下载量, 因为还有很大一部分在阿里魔搭 (modelscope) 和其他平台, 不过这部分暂时没有开源数据可以用来统计. 画面上半部分是排行榜, 数据来源是 HuggingFace 统计的公开数据集 datasets/cfahlgren1/hub-stats 动画下半部分是当天发布的新模型展示，由于模型过多, 总计750万个模型... 所以这里只展示2025年总下载量超过10K的模型. 注意, HuggingFace 这份统计数据在 2025-02-27 之前的数据只有30天均值下载数据, 28号才增加了历史总下载数据(两天数据差可以推算出当天的精确下载量), 所以27号之前的每天下载量数据使用30天均值数据除以30得到. 因此存在一定的误差, 但理论上不影响最终排名.
3:53

2025年全球大模型厂商下载量排行榜 终于爆肝了一个元旦假期弄完了, 给大家带来2025年全球大模型厂商开放权重模型下载量排行榜. 数据更多代表国内以外的区域的下载量, 因为还有很大一部分在阿里魔搭 (modelscope) 和其他平台, 不过这部分暂时没有开源数据可以用来统计. 画面上半部分是排行榜, 数据来源是 HuggingFace 统计的公开数据集 datasets/cfahlgren1/hub-stats 动画下半部分是当天发布的新模型展示，由于模型过多, 总计750万个模型... 所以这里只展示2025年总下载量超过10K的模型. 注意, HuggingFace 这份统计数据在 2025-02-27 之前的数据只有30天均值下载数据, 28号才增加了历史总下载数据(两天数据差可以推算出当天的精确下载量), 所以27号之前的每天下载量数据使用30天均值数据除以30得到. 因此存在一定的误差, 但理论上不影响最终排名.

karminski-牙医

16,146 Aufrufe • vor 6 Monaten

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！
1:30

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,708 Aufrufe • vor 1 Jahr

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法 文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)： 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集： 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置： 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控： 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择： 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用： 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型： 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)： 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。
24:14

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法 文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)： 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集： 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置： 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控： 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择： 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用： 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型： 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)： 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,710 Aufrufe • vor 2 Jahren

GPT-4.5 重磅发布：天价算力背后的性能迷局，AI Scaling Law 到尽头了吗？ 2025 年 2 月 27 日，OpenAI 正式发布了其迄今为止规模最大的 AI 模型——GPT-4.5（代号 Orion）。尽管 OpenAI 表示 GPT-4.5 是该公司有史以来算力和数据规模最大的模型，但这次的性能提升并未像此前 GPT 系列一样带来革命性的飞跃。不仅如此，GPT-4.5 高昂的运行成本和在一些关键基准测试上的表现差强人意，甚至让外界开始怀疑——AI 长期依赖的Scaling Law（规模定律），正在走向终点了吗？ 巨型模型、巨额成本，但性能未如预期 此次 GPT-4.5 发布最引人注目的，莫过于其惊人的成本——每 100 万输入 token 收费 75 美元，输出 token 更高达 150 美元。这意味着 GPT-4.5 的成本是 OpenAI 自己广泛使用的主力模型 GPT-4o 的30 倍，更是竞争对手 Claude 3.7 Sonnet 的25 倍。 OpenAI 发言人承认，GPT-4.5 的运行成本之高，使得公司必须重新评估它未来是否适合长期开放 API。 如此巨额成本背后，GPT-4.5 的性能究竟如何呢？ 性能迷雾：优势与劣势并存 尽管 OpenAI 将 GPT-4.5 定位为非推理模型（Non-Reasoning Model），但它的表现却出现了明显的两极分化。 ✅ 明确的性能提升领域： - 事实性问答 (SimpleQA) 基准测试中，GPT-4.5 优于 GPT-4o 和 OpenAI 的推理模型 o1 和 o3-mini，幻觉（hallucination）的频率也明显降低。 - 软件开发（SWE-Lancer） 测试中，GPT-4.5 表现优于 GPT-4o 和 o3-mini，在开发完整软件功能时具有更高的可靠性。 ❌ 性能不及预期的领域： - 在高难度的学术推理类测试（如 AIME 和 GPQA）中，GPT-4.5 表现低于竞争对手 Claude 3.7 Sonnet、DeepSeek R1 和 OpenAI 自家的推理模型 o3-mini。 性能对比之谜：成本 vs 性能提升 GPT-4.5 虽然在一些特定任务上确实表现出色，但考虑到成本的激增，性能并未出现对应比例的显著提升。特别是在需要深度推理的任务上，GPT-4.5 远不如更便宜的推理型模型 Claude 3.7 Sonnet 和 OpenAI 的深度推理模型 Deep Research。 Devin 公司 CEO Scott Wu 在推特上也指出，GPT-4.5 在涉及架构设计和跨系统交互的任务上表现突出，但在纯粹的代码编写和编辑任务上却逊色于 Claude 3.7 Sonnet。这种性能的细微差别进一步证明，单纯的扩大模型规模，可能已不能带来跨领域全面的性能跃升。 从性能到情感智能：“微妙的提升” OpenAI CEO Sam Altman 提到了 GPT-4.5 独特的魅力——它带来了以往模型所缺乏的“人性化”的感觉，虽然在数学、代码等硬核推理领域并不出彩，但在理解人类意图和情感回应方面达到了新的高度。 OpenAI 展示了一个情感交流的案例，当用户表示考试失败而难过时，GPT-4.5 给出的安慰更为贴心且符合社交情境：(图 4） 正如 Andrej Karpathy 所言：“每代 GPT 都是微妙的提升，一切都变得更好一点，但无法具体指出哪一项是绝对的突破。” Scaling Law 失效了吗？ 此次 GPT-4.5 发布最令人关注的一点，在于它似乎验证了 AI 界早有预言的“规模定律的终结”。OpenAI 联合创始人 Ilya Sutskever 曾直言：“我们已经达到了数据的巅峰，传统的预训练方式即将终结。” GPT-4.5 的性能曲线证实了他的预测——随着模型规模继续扩大，其性能的提升不再显著，甚至出现了严重的成本与收益不成比例的现象。 市场也开始感受到这一趋势： > “DeepSeek R1：我们不再需要大量 GPU 进行预训练； OpenAI GPT-4.5：我们已到 GPU 预训练的尽头。” GPU 算力瓶颈已成新常态，甚至引发了 GPU 供不应求的现象，这背后反映的是产业链面对 AI 规模困境的真实反应。 GPT-4.5：AI 发展的分水岭？ OpenAI 已明确表示 GPT-4.5 不会成为 GPT-4o 的替代品。相反，它更可能是 OpenAI 向 GPT-5 和未来结合推理模型路线的转折点，象征着公司逐渐告别单纯依赖大规模预训练的时代。 总结而言： GPT-4.5 展示了 AI 在预训练模式下的规模极限。 性价比问题凸显，纯规模化扩张已无法带来突破性进步。 情感智能提升明显，可能开启 AI 交互方式新趋势。 此次 GPT-4.5 的发布，或许正是 AI 发展道路上的重要里程碑——它提醒着我们，未来的 AI 模型，也许需要的不再只是更多的 GPU 和数据，而是对智能本质的更深入理解。 GPT-4.5 的登场，最终是否宣告 AI Scaling Law 的终结，仍有待时间检验。但毋庸置疑的是，AI 产业已站在变革的路口，传统的规模化预训练模式即将迎来一次深刻的反思与变革。
13:13

GPT-4.5 重磅发布：天价算力背后的性能迷局，AI Scaling Law 到尽头了吗？ 2025 年 2 月 27 日，OpenAI 正式发布了其迄今为止规模最大的 AI 模型——GPT-4.5（代号 Orion）。尽管 OpenAI 表示 GPT-4.5 是该公司有史以来算力和数据规模最大的模型，但这次的性能提升并未像此前 GPT 系列一样带来革命性的飞跃。不仅如此，GPT-4.5 高昂的运行成本和在一些关键基准测试上的表现差强人意，甚至让外界开始怀疑——AI 长期依赖的Scaling Law（规模定律），正在走向终点了吗？ 巨型模型、巨额成本，但性能未如预期 此次 GPT-4.5 发布最引人注目的，莫过于其惊人的成本——每 100 万输入 token 收费 75 美元，输出 token 更高达 150 美元。这意味着 GPT-4.5 的成本是 OpenAI 自己广泛使用的主力模型 GPT-4o 的30 倍，更是竞争对手 Claude 3.7 Sonnet 的25 倍。 OpenAI 发言人承认，GPT-4.5 的运行成本之高，使得公司必须重新评估它未来是否适合长期开放 API。 如此巨额成本背后，GPT-4.5 的性能究竟如何呢？ 性能迷雾：优势与劣势并存 尽管 OpenAI 将 GPT-4.5 定位为非推理模型（Non-Reasoning Model），但它的表现却出现了明显的两极分化。 ✅ 明确的性能提升领域： - 事实性问答 (SimpleQA) 基准测试中，GPT-4.5 优于 GPT-4o 和 OpenAI 的推理模型 o1 和 o3-mini，幻觉（hallucination）的频率也明显降低。 - 软件开发（SWE-Lancer） 测试中，GPT-4.5 表现优于 GPT-4o 和 o3-mini，在开发完整软件功能时具有更高的可靠性。 ❌ 性能不及预期的领域： - 在高难度的学术推理类测试（如 AIME 和 GPQA）中，GPT-4.5 表现低于竞争对手 Claude 3.7 Sonnet、DeepSeek R1 和 OpenAI 自家的推理模型 o3-mini。 性能对比之谜：成本 vs 性能提升 GPT-4.5 虽然在一些特定任务上确实表现出色，但考虑到成本的激增，性能并未出现对应比例的显著提升。特别是在需要深度推理的任务上，GPT-4.5 远不如更便宜的推理型模型 Claude 3.7 Sonnet 和 OpenAI 的深度推理模型 Deep Research。 Devin 公司 CEO Scott Wu 在推特上也指出，GPT-4.5 在涉及架构设计和跨系统交互的任务上表现突出，但在纯粹的代码编写和编辑任务上却逊色于 Claude 3.7 Sonnet。这种性能的细微差别进一步证明，单纯的扩大模型规模，可能已不能带来跨领域全面的性能跃升。 从性能到情感智能：“微妙的提升” OpenAI CEO Sam Altman 提到了 GPT-4.5 独特的魅力——它带来了以往模型所缺乏的“人性化”的感觉，虽然在数学、代码等硬核推理领域并不出彩，但在理解人类意图和情感回应方面达到了新的高度。 OpenAI 展示了一个情感交流的案例，当用户表示考试失败而难过时，GPT-4.5 给出的安慰更为贴心且符合社交情境：(图 4） 正如 Andrej Karpathy 所言：“每代 GPT 都是微妙的提升，一切都变得更好一点，但无法具体指出哪一项是绝对的突破。” Scaling Law 失效了吗？ 此次 GPT-4.5 发布最令人关注的一点，在于它似乎验证了 AI 界早有预言的“规模定律的终结”。OpenAI 联合创始人 Ilya Sutskever 曾直言：“我们已经达到了数据的巅峰，传统的预训练方式即将终结。” GPT-4.5 的性能曲线证实了他的预测——随着模型规模继续扩大，其性能的提升不再显著，甚至出现了严重的成本与收益不成比例的现象。 市场也开始感受到这一趋势： > “DeepSeek R1：我们不再需要大量 GPU 进行预训练； OpenAI GPT-4.5：我们已到 GPU 预训练的尽头。” GPU 算力瓶颈已成新常态，甚至引发了 GPU 供不应求的现象，这背后反映的是产业链面对 AI 规模困境的真实反应。 GPT-4.5：AI 发展的分水岭？ OpenAI 已明确表示 GPT-4.5 不会成为 GPT-4o 的替代品。相反，它更可能是 OpenAI 向 GPT-5 和未来结合推理模型路线的转折点，象征着公司逐渐告别单纯依赖大规模预训练的时代。 总结而言： GPT-4.5 展示了 AI 在预训练模式下的规模极限。 性价比问题凸显，纯规模化扩张已无法带来突破性进步。 情感智能提升明显，可能开启 AI 交互方式新趋势。 此次 GPT-4.5 的发布，或许正是 AI 发展道路上的重要里程碑——它提醒着我们，未来的 AI 模型，也许需要的不再只是更多的 GPU 和数据，而是对智能本质的更深入理解。 GPT-4.5 的登场，最终是否宣告 AI Scaling Law 的终结，仍有待时间检验。但毋庸置疑的是，AI 产业已站在变革的路口，传统的规模化预训练模式即将迎来一次深刻的反思与变革。

宝玉

80,020 Aufrufe • vor 1 Jahr

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：
15:46

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：

宝玉

114,646 Aufrufe • vor 3 Jahren

我操！Kimi.ai 月之暗面这波是真的疯了！ 2.8T 参数的 K3 直接全权重开源就算了， 连推理内核、MoE 通信库、Agent 训练环境整套底层技术栈全给你端出来，硬生生把开源模型的天花板，直接抬到了闭源旗舰的家门口。 不是放个权重就炒开源概念的挤牙膏操作，是从模型到底层能跑起来生态的所有东西全白给，1M 长上下文、MoE 架构性能够打闭源， 之前天天喊开源追不上闭源的直接被打半残， 开发者再也不用对着闭源 API 的限流、涨价受窝囊气。 搞大模型的不用从零搭底层通信框架， 做 Agent 的不用卡闭源接口的脖子， 小团队也能基于全栈直接做二次开发， 从今天起，全球开源 AI 的游戏规则，真的改了。 今天之后，开源和闭源的代差，从两年砍到了半年。 Kimi K3 今天正式全开源，不是挤牙膏的版本更新。 2.8T 总参数 MoE, 激活 104B, 原生 100 万上下文。 靠 KDA 新注意力和 AttnRes 架构创新，单位算力智能密度直接提 2.5 倍，长上下文解码速度翻 6 倍。 最狠的是，这根本不是只放个权重的假开源。 FlashKDA 高性能内核，MoE 通信库，连用来做 Agent 强化学习的快照式训练环境 AgentENV, 全给你开源了。 从推理到训练的整个底层栈，直接搬空。 之前所有开源模型，本质都是在追闭源一年多前的尾巴。 这是第一个真正摸到闭源顶尖门槛的开放模型。 长编码、Agent、终端操作这些硬核任务， 已经能和第一梯队闭源掰手腕。 你永远可以相信开放的力量！！ 用K3搓了一个他自己开源的介绍视频，特此致敬🫡
0:48

我操！Kimi.ai 月之暗面这波是真的疯了！ 2.8T 参数的 K3 直接全权重开源就算了， 连推理内核、MoE 通信库、Agent 训练环境整套底层技术栈全给你端出来，硬生生把开源模型的天花板，直接抬到了闭源旗舰的家门口。 不是放个权重就炒开源概念的挤牙膏操作，是从模型到底层能跑起来生态的所有东西全白给，1M 长上下文、MoE 架构性能够打闭源， 之前天天喊开源追不上闭源的直接被打半残， 开发者再也不用对着闭源 API 的限流、涨价受窝囊气。 搞大模型的不用从零搭底层通信框架， 做 Agent 的不用卡闭源接口的脖子， 小团队也能基于全栈直接做二次开发， 从今天起，全球开源 AI 的游戏规则，真的改了。 今天之后，开源和闭源的代差，从两年砍到了半年。 Kimi K3 今天正式全开源，不是挤牙膏的版本更新。 2.8T 总参数 MoE, 激活 104B, 原生 100 万上下文。 靠 KDA 新注意力和 AttnRes 架构创新，单位算力智能密度直接提 2.5 倍，长上下文解码速度翻 6 倍。 最狠的是，这根本不是只放个权重的假开源。 FlashKDA 高性能内核，MoE 通信库，连用来做 Agent 强化学习的快照式训练环境 AgentENV, 全给你开源了。 从推理到训练的整个底层栈，直接搬空。 之前所有开源模型，本质都是在追闭源一年多前的尾巴。 这是第一个真正摸到闭源顶尖门槛的开放模型。 长编码、Agent、终端操作这些硬核任务， 已经能和第一梯队闭源掰手腕。 你永远可以相信开放的力量！！ 用K3搓了一个他自己开源的介绍视频，特此致敬🫡

AYi

259,719 Aufrufe • vor 5 Tagen

Dario没有理由因为Kimi蒸馏Claude而生气。Anthropic自己刚刚才同意为盗版书籍训练模型一事，向相关作者支付总计15亿美元赔偿。平均下来，每一本被侵权的书大约赔偿3000美元。更有意思的是，Dario自己也承认，在百度工作的一年让他意识到，数据隐私并没有那么重要。当时他主要从事语音识别研究，而很多训练数据都是未经授权直接拿的。这段经历进一步强化了他对Scaling Law的信念。因此，自己干Anthropic之后，他们同样尽可能收集各种数据用于训练模型。 我认为，他真正气的并不是知识产权，而是这从根本上破坏了前沿AI实验室的商业模式。历史上，每一代最先进大模型的训练成本通常都会比上一代增长约4到10倍，甚至更多。例如，GPT-2的训练计算成本约为10万美元，而GPT-3已经达到约1000万美元，GPT-4的计算成本则约为1亿美元。这些数字还仅仅是算力成本，并没有包括研究人员薪酬、数据获取以及其他研发支出。因此，即使没有开源模型竞争，仅靠API收费模式，要获得正向投资回报也变得越来越困难，因为模型性能提升正在放缓，而训练成本却持续飙升。 如今，开源模型通过蒸馏技术，大约只需要6个月就能追赶到最先进闭源模型的水平。这意味着OpenAI、Anthropic等前沿实验室，实际上只有约半年的时间，依靠最新模型尽可能创造收入。半年之后，就会出现性能达到其90%，但成本只有10%的开源替代方案。 越来越多的美国企业也已经意识到，最顶尖模型带来的那一点性能优势，并不足以支撑其高昂的价格，因此开始转向成本更低的中国开源模型。就连Sam Altman的铁哥们儿Brian Chesky，公开说在Airbnb的部分AI开发中也采用了阿里的千问，而不是ChatGPT。
2:30

Dario没有理由因为Kimi蒸馏Claude而生气。Anthropic自己刚刚才同意为盗版书籍训练模型一事，向相关作者支付总计15亿美元赔偿。平均下来，每一本被侵权的书大约赔偿3000美元。更有意思的是，Dario自己也承认，在百度工作的一年让他意识到，数据隐私并没有那么重要。当时他主要从事语音识别研究，而很多训练数据都是未经授权直接拿的。这段经历进一步强化了他对Scaling Law的信念。因此，自己干Anthropic之后，他们同样尽可能收集各种数据用于训练模型。 我认为，他真正气的并不是知识产权，而是这从根本上破坏了前沿AI实验室的商业模式。历史上，每一代最先进大模型的训练成本通常都会比上一代增长约4到10倍，甚至更多。例如，GPT-2的训练计算成本约为10万美元，而GPT-3已经达到约1000万美元，GPT-4的计算成本则约为1亿美元。这些数字还仅仅是算力成本，并没有包括研究人员薪酬、数据获取以及其他研发支出。因此，即使没有开源模型竞争，仅靠API收费模式，要获得正向投资回报也变得越来越困难，因为模型性能提升正在放缓，而训练成本却持续飙升。 如今，开源模型通过蒸馏技术，大约只需要6个月就能追赶到最先进闭源模型的水平。这意味着OpenAI、Anthropic等前沿实验室，实际上只有约半年的时间，依靠最新模型尽可能创造收入。半年之后，就会出现性能达到其90%，但成本只有10%的开源替代方案。 越来越多的美国企业也已经意识到，最顶尖模型带来的那一点性能优势，并不足以支撑其高昂的价格，因此开始转向成本更低的中国开源模型。就连Sam Altman的铁哥们儿Brian Chesky，公开说在Airbnb的部分AI开发中也采用了阿里的千问，而不是ChatGPT。

GeLun Ding

63,109 Aufrufe • vor 11 Tagen

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5） 模型 似乎是憋了个大招 根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据 是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构 激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...
1:38

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5） 模型 似乎是憋了个大招 根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据 是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构 激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...

小互

38,838 Aufrufe • vor 8 Monaten

DeepSeek AI是建立在Facebook (Meta) AI 开源模型Llama的基础上！！！ Facebook从2014年开始长期向CCP展示先进技术，以提高与共产党的合作关系，把世界上最聪明的人才，都共享给了CCP，经常性的进行非正式讨论与正式简报！！分享人脸识别，photo tagging，数据中心建设等等等等技术！ 怪不得CCP的技术在过去这些年一直不断的突飞猛进！除了偷盗各大科研机构的研究成果，Facebook给CCP做了巨量的贡献！ 前一阵子洗劫美国股市的DeepSeek就是建立在Meta的开源模型Llama基础上！ 这已经涉及到了国家安全，全世界的安全！！！ Facebook通过开源AI 模型技术，暗地里和CCP合作， DeepSeek的发展间接使Facebook受益，直接歼灭所有的竞争对手！ 赢家通吃！！！ wow 这一段爆料内容够震撼！
3:20

DeepSeek AI是建立在Facebook (Meta) AI 开源模型Llama的基础上！！！ Facebook从2014年开始长期向CCP展示先进技术，以提高与共产党的合作关系，把世界上最聪明的人才，都共享给了CCP，经常性的进行非正式讨论与正式简报！！分享人脸识别，photo tagging，数据中心建设等等等等技术！ 怪不得CCP的技术在过去这些年一直不断的突飞猛进！除了偷盗各大科研机构的研究成果，Facebook给CCP做了巨量的贡献！ 前一阵子洗劫美国股市的DeepSeek就是建立在Meta的开源模型Llama基础上！ 这已经涉及到了国家安全，全世界的安全！！！ Facebook通过开源AI 模型技术，暗地里和CCP合作， DeepSeek的发展间接使Facebook受益，直接歼灭所有的竞争对手！ 赢家通吃！！！ wow 这一段爆料内容够震撼！

微蓝

24,728 Aufrufe • vor 1 Jahr

兄弟们 这个有点强啊 而且是完全开源的 感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。
2:15

兄弟们 这个有点强啊 而且是完全开源的 感觉比OpenAI的演示的那个视觉能力还有点强 Molmo 一个开源的多模态模型，能够识别图像中的物体、场景和活动，并生成准确的描述。 Molmo还支持用户通过2D指向交互，例如用户可以通过手势或点击与图像中的对象进行互动。 Molmo使用的图像字幕数据集完全由人类注释者收集。模型能够根据输入的变化自动调整处理方式，适应不同类型的用户交互和数据格式。 Molmo在开源权重和数据模型中表现最佳，能够与一些专有系统（如GPT-4o、Claude 3.5和Gemini 1.5）相媲美。

小互

44,263 Aufrufe • vor 1 Jahr

全球知名大模型竞技榜单 lmarena 统计了 2023 年中之后所有登顶过大模型榜单的模型 从 GPT-4 开始算起，模型平均在 NO.1 的位置只能待 35 天左右。 不是半年，也不是一年，一个多月就会被新模型超过。 更夸张的是，很多模型在登顶后 5 个月左右就会掉出 Top 5，7 个月连 Top 10 都很难保住。 看看具体例子会更有冲击力： 曾经风光无限的 o1，现在排到 #56； 当年被认为“最强推理模型”的 Claude 3 Opus，已经掉到 #139 它们都曾经是： 顶级模型讨论度极高被认为“领先一代”的产品 没有谁能长期站在榜首，优势窗口正在被压缩到以“月”为单位。 当模型平均 35 天就能被下一代超越，甚至超过了某些AI产品的迭代周期...😄 这就可能意味着一件关键的事： 模型基础能力的提升速度，甚至快过绝大多数产品的迭代周期。 而产品层反而被模型能力“反向压扁”。
0:49

全球知名大模型竞技榜单 lmarena 统计了 2023 年中之后所有登顶过大模型榜单的模型 从 GPT-4 开始算起，模型平均在 NO.1 的位置只能待 35 天左右。 不是半年，也不是一年，一个多月就会被新模型超过。 更夸张的是，很多模型在登顶后 5 个月左右就会掉出 Top 5，7 个月连 Top 10 都很难保住。 看看具体例子会更有冲击力： 曾经风光无限的 o1，现在排到 #56； 当年被认为“最强推理模型”的 Claude 3 Opus，已经掉到 #139 它们都曾经是： 顶级模型讨论度极高被认为“领先一代”的产品 没有谁能长期站在榜首，优势窗口正在被压缩到以“月”为单位。 当模型平均 35 天就能被下一代超越，甚至超过了某些AI产品的迭代周期...😄 这就可能意味着一件关键的事： 模型基础能力的提升速度，甚至快过绝大多数产品的迭代周期。 而产品层反而被模型能力“反向压扁”。

小互

61,288 Aufrufe • vor 6 Monaten

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。 以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。 现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。 在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。 除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。 你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。 比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。 我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。 那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。
4:15

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。 以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。 现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。 在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。 除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。 你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。 比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。 我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。 那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,122,927 Aufrufe • vor 2 Jahren

著名机构SemiAnalysis的 研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的 直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型 最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型
0:49

著名机构SemiAnalysis的 研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的 直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型 最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型

梭哈.AI

89,982 Aufrufe • vor 14 Tagen

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。 包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程 当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。 词嵌入(Word Embedding)的概念和作用 词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。 深度学习模型的基本结构和特点 深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。 生成模型预测下一个词的过程 当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。 模型训练中的"Temperature"超参数 在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。
27:13

非常好的一个演示视频，通过可视化清晰的介绍了 LLM 的核心 Transformer 架构的原理。 包括词嵌入、自注意力机制等关键技术。对了解GPT-3等大型语言模型的内部结构很有帮助。 👇下面是文字版本： GPT的全称及其含义 GPT是Generative Pre-trained Transformer的缩写。其中,"Generative"表示这个模型是用来生成新文本的;"Pre-trained"意味着模型是在大量数据上预先训练好的;"Transformer"则指代一种特定类型的神经网络结构。因此,GPT本质上是一个基于Transformer架构、经过预训练、能够生成文本的语言模型。 Transformer的定义及其在AI领域的应用 Transformer是一种专门处理序列数据的神经网络架构。它最初是为机器翻译任务设计的,但后来被发现在其他许多NLP任务上也有出色表现,如语言建模、命名实体识别等。除了NLP,Transformer也被应用于语音识别、图像字幕生成等领域。Transformer的成功很大程度上归因于其独特的自注意力机制,使其能够高效地处理长程依赖关系。 Transformer的工作原理简介 Transformer的工作流程可以概括为三个主要步骤:首先,将输入的文本序列转化为一组向量表示;然后,通过自注意力机制和前馈神经网络对这些向量进行变换和更新;最后,根据更新后的向量生成输出分布,用于预测下一个词。整个过程中,自注意力机制起到了关键作用,使得模型能够动态地确定输入序列中每个位置与其他位置之间的相关性,从而更好地捕捉上下文信息。 Transformer处理文本信息的过程 当Transformer处理一段文本时,首先需要将其分割成一个个基本单元,如单词或子词,这些基本单元被称为"token"。接着,每个token都会被映射为一个高维向量,即"词嵌入"。这一步旨在将离散的文本符号转化为连续的向量表示,以便神经网络进行处理。然后,这些词向量会通过多个编码器层进行变换和更新,每一层都会综合考虑当前token与其他token之间的关系,从而使每个向量都融入了上下文信息。最后,解码器根据编码器的输出和之前生成的token,预测出下一个最可能的token。通过不断重复这一过程,Transformer就可以生成连贯的文本片段。 词嵌入(Word Embedding)的概念和作用 词嵌入是一种将词映射到高维向量空间的技术。通过词嵌入,每个词都被表示为一个实数向量,这个向量捕捉了该词的语义信息。词嵌入的一个重要特性是,语义相似的词往往在向量空间中距离较近。例如,"king"和"queen"这两个词的向量之间的距离会比"king"和"apple"的距离更近。此外,词嵌入还能够反映词之间的类比关系,如"king"-"man"+"woman"的结果会接近"queen"。词嵌入为神经网络提供了一种处理文本数据的有效方式,使其能够利用词语之间的语义关系进行推理和预测。 深度学习模型的基本结构和特点 深度学习模型通常由多个层组成,每一层对输入数据进行一定的变换,并将结果传递给下一层。层与层之间的连接通常是通过矩阵乘法实现的,其中矩阵的元素就是模型的参数。这些参数在训练过程中会不断更新,以使模型的输出与期望输出尽可能接近。深度学习模型的训练通常采用反向传播算法,即根据输出的误差,逐层调整参数的值。通过多次迭代,模型可以逐渐学习到数据中的规律和模式。深度学习模型的一个显著特点是,它们可以自动学习数据的表示方式,而无需人工设计特征。这使得深度学习在处理图像、语音等复杂数据时表现出色。 Softmax函数的作用和计算过程 Softmax函数常用于深度学习模型的输出层,特别是在多分类问题中。它的作用是将一组实数转化为一个概率分布,使得每个类别都有一个0到1之间的概率值,并且所有类别的概率之和为1。Softmax函数的计算过程分为两步:首先,对每个输入值取指数;然后,将每个指数值除以所有指数值的和。这样得到的结果就是一个合法的概率分布。Softmax函数有一个很好的性质,即输入值较大的类别会获得较高的概率,而输入值较小的类别的概率会趋近于0。这使得模型的输出更容易解释,并且有利于进行决策和预测。 生成模型预测下一个词的过程 当生成模型(如GPT)预测下一个词时,通常采用以下步骤:首先,根据前面已经生成的词,模型会计算出每个可能的下一个词的概率。这个概率分布反映了模型对不同词的偏好程度。然后,从这个分布中采样出一个词作为新生成的内容。接下来,模型将这个新词加入到已生成的序列中,并重复上述过程,直到达到预设的长度或遇到终止条件(如句号)为止。通过这种不断预测和采样的方式,生成模型可以创作出连贯而富有创意的文本。值得注意的是,为了提高生成文本的多样性和自然度,可以引入"temperature"等超参数来调节输出分布的形状。 GPT-3的参数量和嵌入矩阵 GPT-3是目前最大的语言模型之一,其参数量高达1750亿。这意味着,模型需要学习和存储大量的权重值,以刻画自然语言中的规律和模式。GPT-3的一个重要组成部分是嵌入矩阵(embedding matrix),它负责将每个词映射为一个高维向量。在GPT-3中,嵌入矩阵的大小为50257×12288,即词表中共有50257个不同的词(或子词),每个词被映射为一个12288维的向量。嵌入矩阵中的每个元素都是一个可学习的参数,在训练过程中会不断更新,以使得语义相似的词具有相近的向量表示。GPT-3庞大的参数量使其能够学习到比以往模型更加细致入微的语言知识,这也是其在各种NLP任务上表现出众的原因之一。 模型训练中的"Temperature"超参数 在生成模型的训练过程中,"Temperature"是一个重要的超参数,它控制着输出分布的形状。具体来说,temperature值越高,输出分布就越平缓,生成的结果也就越多样化;反之,temperature值越低,输出分布就越尖锐,生成的结果也就越保守。合适的temperature值可以在确保生成内容连贯性的同时,提高其丰富性和创造性。例如,当temperature值接近于0时,模型会倾向于选择概率最高的那个词,导致生成的文本可能流于老套;而当temperature值较高时,模型会给予概率较低的词更多机会,从而产生更加新颖和意想不到的结果。在实践中,temperature值通常需要根据具体任务和需求进行调整,以达到理想的平衡。

歸藏(guizang.ai)

51,997 Aufrufe • vor 2 Jahren

拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一内存。 算力能装进巴掌大小的空间，靠的是底层架构设计。 这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。 省去了数据在不同模块间来回搬运的损耗。 系统整体性能被大幅拉升。 硬生生把跑大型 AI 模型的算力，压缩进了一台微型桌面台式机里。 大模型的硬件门槛正在被物理击穿。 跑千亿参数模型曾经必须依赖庞大的云端机房。 现在直接变成了摆在桌面上的一台离线私有设备。
0:32

拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一内存。 算力能装进巴掌大小的空间，靠的是底层架构设计。 这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。 省去了数据在不同模块间来回搬运的损耗。 系统整体性能被大幅拉升。 硬生生把跑大型 AI 模型的算力，压缩进了一台微型桌面台式机里。 大模型的硬件门槛正在被物理击穿。 跑千亿参数模型曾经必须依赖庞大的云端机房。 现在直接变成了摆在桌面上的一台离线私有设备。

墓碑科技

32,188 Aufrufe • vor 2 Monaten

SpeechGPT2：一个端到端的语音对话语言模型 类似于 GPT-4o 能够感知和表达情感 该项目由复旦大学计算机学院开发 它能够感知和表达情感，并根据上下文和人类指令提供多种风格的语音响应，如说唱、戏剧、机器人、搞笑和低语等。 超过10万小时的学术和野外收集的语音数据， 涵盖了丰富的语音场景和风格。 SpeechGPT2 是在有限资源下的技术探索，由于计算和数据资源的限制，它在语音理解的噪声鲁棒性和语音生成的音质稳定性方面仍有一些不足。 目前仍在开发中，团队计划未来开源技术报告、代码和模型权重。 详细内容及更多演示：
2:18

SpeechGPT2：一个端到端的语音对话语言模型 类似于 GPT-4o 能够感知和表达情感 该项目由复旦大学计算机学院开发 它能够感知和表达情感，并根据上下文和人类指令提供多种风格的语音响应，如说唱、戏剧、机器人、搞笑和低语等。 超过10万小时的学术和野外收集的语音数据， 涵盖了丰富的语音场景和风格。 SpeechGPT2 是在有限资源下的技术探索，由于计算和数据资源的限制，它在语音理解的噪声鲁棒性和语音生成的音质稳定性方面仍有一些不足。 目前仍在开发中，团队计划未来开源技术报告、代码和模型权重。 详细内容及更多演示：

小互

14,221 Aufrufe • vor 2 Jahren