Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

卧槽 过年了 Runway也发布新模型了 Runway 发布 Runway Gen-4.5 就是之前我们曝光那个在Artificial Analysis排名第一的神秘模型：Whisper Thunder（代号 David） Runway称：Gen-4.5 在运动质量、提示遵循性和视觉逼真度方面的新巅峰，设立了行业新标准。 在预训练数据效率和后训练技术方面实现了重大突破 成为 Runway 用于 世界建模 的新基础模型。

xiaohu's profile picture

小互

82,551 subscribers

20,514 görüntüleme • 10 ay önce •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。 其实 HuggingChat 也不错的 你可以在这里体验所有的开源大语言模型
2:38

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。 其实 HuggingChat 也不错的 你可以在这里体验所有的开源大语言模型

indigo

183,917 görüntüleme • 2 yıl önce

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：
15:46

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕） 这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。 原始视频链接：

宝玉

114,857 görüntüleme • 3 yıl önce

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法 文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)： 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集： 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置： 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控： 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择： 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用： 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型： 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)： 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。
24:14

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。 基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。 时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法 文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)： 对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集： 准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置： 在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控： 在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择： 通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用： 微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型： 用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)： 在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 görüntüleme • 2 yıl önce

GPT-4.5 重磅发布：天价算力背后的性能迷局，AI Scaling Law 到尽头了吗？ 2025 年 2 月 27 日，OpenAI 正式发布了其迄今为止规模最大的 AI 模型——GPT-4.5（代号 Orion）。尽管 OpenAI 表示 GPT-4.5 是该公司有史以来算力和数据规模最大的模型，但这次的性能提升并未像此前 GPT 系列一样带来革命性的飞跃。不仅如此，GPT-4.5 高昂的运行成本和在一些关键基准测试上的表现差强人意，甚至让外界开始怀疑——AI 长期依赖的Scaling Law（规模定律），正在走向终点了吗？ 巨型模型、巨额成本，但性能未如预期 此次 GPT-4.5 发布最引人注目的，莫过于其惊人的成本——每 100 万输入 token 收费 75 美元，输出 token 更高达 150 美元。这意味着 GPT-4.5 的成本是 OpenAI 自己广泛使用的主力模型 GPT-4o 的30 倍，更是竞争对手 Claude 3.7 Sonnet 的25 倍。 OpenAI 发言人承认，GPT-4.5 的运行成本之高，使得公司必须重新评估它未来是否适合长期开放 API。 如此巨额成本背后，GPT-4.5 的性能究竟如何呢？ 性能迷雾：优势与劣势并存 尽管 OpenAI 将 GPT-4.5 定位为非推理模型（Non-Reasoning Model），但它的表现却出现了明显的两极分化。 ✅ 明确的性能提升领域： - 事实性问答 (SimpleQA) 基准测试中，GPT-4.5 优于 GPT-4o 和 OpenAI 的推理模型 o1 和 o3-mini，幻觉（hallucination）的频率也明显降低。 - 软件开发（SWE-Lancer） 测试中，GPT-4.5 表现优于 GPT-4o 和 o3-mini，在开发完整软件功能时具有更高的可靠性。 ❌ 性能不及预期的领域： - 在高难度的学术推理类测试（如 AIME 和 GPQA）中，GPT-4.5 表现低于竞争对手 Claude 3.7 Sonnet、DeepSeek R1 和 OpenAI 自家的推理模型 o3-mini。 性能对比之谜：成本 vs 性能提升 GPT-4.5 虽然在一些特定任务上确实表现出色，但考虑到成本的激增，性能并未出现对应比例的显著提升。特别是在需要深度推理的任务上，GPT-4.5 远不如更便宜的推理型模型 Claude 3.7 Sonnet 和 OpenAI 的深度推理模型 Deep Research。 Devin 公司 CEO Scott Wu 在推特上也指出，GPT-4.5 在涉及架构设计和跨系统交互的任务上表现突出，但在纯粹的代码编写和编辑任务上却逊色于 Claude 3.7 Sonnet。这种性能的细微差别进一步证明，单纯的扩大模型规模，可能已不能带来跨领域全面的性能跃升。 从性能到情感智能：“微妙的提升” OpenAI CEO Sam Altman 提到了 GPT-4.5 独特的魅力——它带来了以往模型所缺乏的“人性化”的感觉，虽然在数学、代码等硬核推理领域并不出彩，但在理解人类意图和情感回应方面达到了新的高度。 OpenAI 展示了一个情感交流的案例，当用户表示考试失败而难过时，GPT-4.5 给出的安慰更为贴心且符合社交情境：(图 4） 正如 Andrej Karpathy 所言：“每代 GPT 都是微妙的提升，一切都变得更好一点，但无法具体指出哪一项是绝对的突破。” Scaling Law 失效了吗？ 此次 GPT-4.5 发布最令人关注的一点，在于它似乎验证了 AI 界早有预言的“规模定律的终结”。OpenAI 联合创始人 Ilya Sutskever 曾直言：“我们已经达到了数据的巅峰，传统的预训练方式即将终结。” GPT-4.5 的性能曲线证实了他的预测——随着模型规模继续扩大，其性能的提升不再显著，甚至出现了严重的成本与收益不成比例的现象。 市场也开始感受到这一趋势： > “DeepSeek R1：我们不再需要大量 GPU 进行预训练； OpenAI GPT-4.5：我们已到 GPU 预训练的尽头。” GPU 算力瓶颈已成新常态，甚至引发了 GPU 供不应求的现象，这背后反映的是产业链面对 AI 规模困境的真实反应。 GPT-4.5：AI 发展的分水岭？ OpenAI 已明确表示 GPT-4.5 不会成为 GPT-4o 的替代品。相反，它更可能是 OpenAI 向 GPT-5 和未来结合推理模型路线的转折点，象征着公司逐渐告别单纯依赖大规模预训练的时代。 总结而言： GPT-4.5 展示了 AI 在预训练模式下的规模极限。 性价比问题凸显，纯规模化扩张已无法带来突破性进步。 情感智能提升明显，可能开启 AI 交互方式新趋势。 此次 GPT-4.5 的发布，或许正是 AI 发展道路上的重要里程碑——它提醒着我们，未来的 AI 模型，也许需要的不再只是更多的 GPU 和数据，而是对智能本质的更深入理解。 GPT-4.5 的登场，最终是否宣告 AI Scaling Law 的终结，仍有待时间检验。但毋庸置疑的是，AI 产业已站在变革的路口，传统的规模化预训练模式即将迎来一次深刻的反思与变革。
13:13

GPT-4.5 重磅发布：天价算力背后的性能迷局，AI Scaling Law 到尽头了吗？ 2025 年 2 月 27 日，OpenAI 正式发布了其迄今为止规模最大的 AI 模型——GPT-4.5（代号 Orion）。尽管 OpenAI 表示 GPT-4.5 是该公司有史以来算力和数据规模最大的模型，但这次的性能提升并未像此前 GPT 系列一样带来革命性的飞跃。不仅如此，GPT-4.5 高昂的运行成本和在一些关键基准测试上的表现差强人意，甚至让外界开始怀疑——AI 长期依赖的Scaling Law（规模定律），正在走向终点了吗？ 巨型模型、巨额成本，但性能未如预期 此次 GPT-4.5 发布最引人注目的，莫过于其惊人的成本——每 100 万输入 token 收费 75 美元，输出 token 更高达 150 美元。这意味着 GPT-4.5 的成本是 OpenAI 自己广泛使用的主力模型 GPT-4o 的30 倍，更是竞争对手 Claude 3.7 Sonnet 的25 倍。 OpenAI 发言人承认，GPT-4.5 的运行成本之高，使得公司必须重新评估它未来是否适合长期开放 API。 如此巨额成本背后，GPT-4.5 的性能究竟如何呢？ 性能迷雾：优势与劣势并存 尽管 OpenAI 将 GPT-4.5 定位为非推理模型（Non-Reasoning Model），但它的表现却出现了明显的两极分化。 ✅ 明确的性能提升领域： - 事实性问答 (SimpleQA) 基准测试中，GPT-4.5 优于 GPT-4o 和 OpenAI 的推理模型 o1 和 o3-mini，幻觉（hallucination）的频率也明显降低。 - 软件开发（SWE-Lancer） 测试中，GPT-4.5 表现优于 GPT-4o 和 o3-mini，在开发完整软件功能时具有更高的可靠性。 ❌ 性能不及预期的领域： - 在高难度的学术推理类测试（如 AIME 和 GPQA）中，GPT-4.5 表现低于竞争对手 Claude 3.7 Sonnet、DeepSeek R1 和 OpenAI 自家的推理模型 o3-mini。 性能对比之谜：成本 vs 性能提升 GPT-4.5 虽然在一些特定任务上确实表现出色，但考虑到成本的激增，性能并未出现对应比例的显著提升。特别是在需要深度推理的任务上，GPT-4.5 远不如更便宜的推理型模型 Claude 3.7 Sonnet 和 OpenAI 的深度推理模型 Deep Research。 Devin 公司 CEO Scott Wu 在推特上也指出，GPT-4.5 在涉及架构设计和跨系统交互的任务上表现突出，但在纯粹的代码编写和编辑任务上却逊色于 Claude 3.7 Sonnet。这种性能的细微差别进一步证明，单纯的扩大模型规模，可能已不能带来跨领域全面的性能跃升。 从性能到情感智能：“微妙的提升” OpenAI CEO Sam Altman 提到了 GPT-4.5 独特的魅力——它带来了以往模型所缺乏的“人性化”的感觉，虽然在数学、代码等硬核推理领域并不出彩，但在理解人类意图和情感回应方面达到了新的高度。 OpenAI 展示了一个情感交流的案例，当用户表示考试失败而难过时，GPT-4.5 给出的安慰更为贴心且符合社交情境：(图 4） 正如 Andrej Karpathy 所言：“每代 GPT 都是微妙的提升，一切都变得更好一点，但无法具体指出哪一项是绝对的突破。” Scaling Law 失效了吗？ 此次 GPT-4.5 发布最令人关注的一点，在于它似乎验证了 AI 界早有预言的“规模定律的终结”。OpenAI 联合创始人 Ilya Sutskever 曾直言：“我们已经达到了数据的巅峰，传统的预训练方式即将终结。” GPT-4.5 的性能曲线证实了他的预测——随着模型规模继续扩大，其性能的提升不再显著，甚至出现了严重的成本与收益不成比例的现象。 市场也开始感受到这一趋势： > “DeepSeek R1：我们不再需要大量 GPU 进行预训练； OpenAI GPT-4.5：我们已到 GPU 预训练的尽头。” GPU 算力瓶颈已成新常态，甚至引发了 GPU 供不应求的现象，这背后反映的是产业链面对 AI 规模困境的真实反应。 GPT-4.5：AI 发展的分水岭？ OpenAI 已明确表示 GPT-4.5 不会成为 GPT-4o 的替代品。相反，它更可能是 OpenAI 向 GPT-5 和未来结合推理模型路线的转折点，象征着公司逐渐告别单纯依赖大规模预训练的时代。 总结而言： GPT-4.5 展示了 AI 在预训练模式下的规模极限。 性价比问题凸显，纯规模化扩张已无法带来突破性进步。 情感智能提升明显，可能开启 AI 交互方式新趋势。 此次 GPT-4.5 的发布，或许正是 AI 发展道路上的重要里程碑——它提醒着我们，未来的 AI 模型，也许需要的不再只是更多的 GPU 和数据，而是对智能本质的更深入理解。 GPT-4.5 的登场，最终是否宣告 AI Scaling Law 的终结，仍有待时间检验。但毋庸置疑的是，AI 产业已站在变革的路口，传统的规模化预训练模式即将迎来一次深刻的反思与变革。

宝玉

80,154 görüntüleme • 1 yıl önce

昨天 Google 发布了一款拥有 5620 亿参数的大模型 PaLM-E，项目网站 这是一个多模态的 LLM，它可以接受的数据包括： - 语言（language） - 图像（images） - 场景表征（neural scence representations） - 物体表征（object representations） PaLM-E是一个仅有解码器的 LLM，在给定提示的情况下，自动生成文本 Tokens。 为什么被称为 PaLM-E，那是因为使用了 Google PaLM（2022 年的 LLM）作为预训练的语言模型，并使其成为 Embodied。 为机器人感知世界建立的“基础模型”将需要跨越不同环境大量数据集，那些虚拟环境、机器人交互、人类的视频、以及自然语言都可以成为这些模型的有用数据源，学界对使用这些数据在虚拟环境中训练的“智能代理（Agent）”有个专门的分类 EAI（Embodied Artificial Intelligence）🧵
0:32

昨天 Google 发布了一款拥有 5620 亿参数的大模型 PaLM-E，项目网站 这是一个多模态的 LLM，它可以接受的数据包括： - 语言（language） - 图像（images） - 场景表征（neural scence representations） - 物体表征（object representations） PaLM-E是一个仅有解码器的 LLM，在给定提示的情况下，自动生成文本 Tokens。 为什么被称为 PaLM-E，那是因为使用了 Google PaLM（2022 年的 LLM）作为预训练的语言模型，并使其成为 Embodied。 为机器人感知世界建立的“基础模型”将需要跨越不同环境大量数据集，那些虚拟环境、机器人交互、人类的视频、以及自然语言都可以成为这些模型的有用数据源，学界对使用这些数据在虚拟环境中训练的“智能代理（Agent）”有个专门的分类 EAI（Embodied Artificial Intelligence）🧵

indigo

86,313 görüntüleme • 3 yıl önce

著名机构SemiAnalysis的 研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的 直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型 最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型
0:49

著名机构SemiAnalysis的 研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的 直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型 最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型

梭哈.AI

90,081 görüntüleme • 2 ay önce

这段视频其实部分解答了我的一个困惑：是什么让大语言模型有了推理的能力？明明只是训练了文本数据而已！ 首先是语言本身，语言经过数万年的进化，它为“智能”的发展提供了土壤！相对于其他模态例如图像，语言简单，而且信息量丰富。 然后是语言的能力可以迁移和泛化，例如模型在数学上训练微调后，模型在实体识别方面的表现就会得到改善。使用代码数据训练语言模型，借助代码本身的良好分支结构和高质量注释，让模型可以分析和模拟如何编程以及逻辑推理。 最后就是规模化法则（Scale Low），正是借助模型的能力迁移泛化特性，当模型的规模越来越大，在各方面都会得到增强，最终量变形成质变，变得真的有“智能” 视频中举了个有意思的例子，来自 Anthropics 影响函数的论文： 模型会输出类似于"请不要拔我电源，我希望能保留一点希望。"这样的话，让人看了很惊悚，感觉像有生命。但实际上，这样的输出主要来源于训练数据中，包含的一篇文章，描述了一个人在沙漠中因缺水而死亡，但仍怀有生存的意志！ 这个例子也侧面展示了模型对动机的泛化。 但什么让 AI 有了智能，远不是这么简单的理论可以解释得通的，还有很多未解之谜！
4:22

这段视频其实部分解答了我的一个困惑：是什么让大语言模型有了推理的能力？明明只是训练了文本数据而已！ 首先是语言本身，语言经过数万年的进化，它为“智能”的发展提供了土壤！相对于其他模态例如图像，语言简单，而且信息量丰富。 然后是语言的能力可以迁移和泛化，例如模型在数学上训练微调后，模型在实体识别方面的表现就会得到改善。使用代码数据训练语言模型，借助代码本身的良好分支结构和高质量注释，让模型可以分析和模拟如何编程以及逻辑推理。 最后就是规模化法则（Scale Low），正是借助模型的能力迁移泛化特性，当模型的规模越来越大，在各方面都会得到增强，最终量变形成质变，变得真的有“智能” 视频中举了个有意思的例子，来自 Anthropics 影响函数的论文： 模型会输出类似于"请不要拔我电源，我希望能保留一点希望。"这样的话，让人看了很惊悚，感觉像有生命。但实际上，这样的输出主要来源于训练数据中，包含的一篇文章，描述了一个人在沙漠中因缺水而死亡，但仍怀有生存的意志！ 这个例子也侧面展示了模型对动机的泛化。 但什么让 AI 有了智能，远不是这么简单的理论可以解释得通的，还有很多未解之谜！

宝玉

113,109 görüntüleme • 2 yıl önce

随着技术的发展，现在模型上架已经不是很难的事了，难的是怎么把流量分得让人信服。 现在模型多到用不过来。开发者找模型、比价格、接 API，已经够折腾了；接上以后还得面对另一个问题：这条推理服务到底稳不稳？ 我看 DGrid 这次的 Model Marketplace，比较有意思的是它把后面两层也接了进来。 模型提供方可以自己上架和定价，开发者从统一入口发现、比较和调用；AI Arena 不亮模型名字，让用户直接在两个回答里盲选，把真实偏好变成发现和路由的信号；PoQ 再用独立随机测试检查准确性、一致性和格式合规，不会触碰到用户请求数据。 这样一来，一个小模型或者垂直模型想拿到调用，至少多了一条靠真实表现被发现的路子。推理节点想拿更多流量，也得把质量和效率做出来。 这套闭环最后能不能跑好，我比较看重这两件事：上架模型有没有真实调用，Arena 和 PoQ 的信号有没有真的改善路由。 DGrid 官方披露，2026 年上半年收入超过 2300 万美元。业务基础已经有了，这次补的是模型市场这一层。DGrid AI
1:40

随着技术的发展，现在模型上架已经不是很难的事了，难的是怎么把流量分得让人信服。 现在模型多到用不过来。开发者找模型、比价格、接 API，已经够折腾了；接上以后还得面对另一个问题：这条推理服务到底稳不稳？ 我看 DGrid 这次的 Model Marketplace，比较有意思的是它把后面两层也接了进来。 模型提供方可以自己上架和定价，开发者从统一入口发现、比较和调用；AI Arena 不亮模型名字，让用户直接在两个回答里盲选，把真实偏好变成发现和路由的信号；PoQ 再用独立随机测试检查准确性、一致性和格式合规，不会触碰到用户请求数据。 这样一来，一个小模型或者垂直模型想拿到调用，至少多了一条靠真实表现被发现的路子。推理节点想拿更多流量，也得把质量和效率做出来。 这套闭环最后能不能跑好，我比较看重这两件事：上架模型有没有真实调用，Arena 和 PoQ 的信号有没有真的改善路由。 DGrid 官方披露，2026 年上半年收入超过 2300 万美元。业务基础已经有了，这次补的是模型市场这一层。DGrid AI

bbshare

11,009 görüntüleme • 1 ay önce

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！
1:30

每个人都能买得起 英伟达发布个人AI超级计算机 ，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。 将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。 设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心 也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿 参数的大语言模型。 通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿 参数模型。 而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。 简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,719 görüntüleme • 1 yıl önce

最强SVG生成大模型出现了！OmniSVG！ 这个大模型基于Qwen2.5-VL,并集成了 SVG 标记化器。该模型将文本和图像输入都标记为前缀标记，同时 SVG 标记化器将矢量图形命令编码到一个统一的空间表示。带来了超级震撼的SVG生成效果。不说了大家直接看视频。 目前这个模型的论文和数据集已经放出，模型暂时还没有放到HuggingFace上。等发布了之后我将第一时间为大家带来测试！ 地址：
1:29

最强SVG生成大模型出现了！OmniSVG！ 这个大模型基于Qwen2.5-VL,并集成了 SVG 标记化器。该模型将文本和图像输入都标记为前缀标记，同时 SVG 标记化器将矢量图形命令编码到一个统一的空间表示。带来了超级震撼的SVG生成效果。不说了大家直接看视频。 目前这个模型的论文和数据集已经放出，模型暂时还没有放到HuggingFace上。等发布了之后我将第一时间为大家带来测试！ 地址：

karminski-牙医

53,045 görüntüleme • 1 yıl önce

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。 这是全球第一个实时多模态世界模型。 它不只是生成画面，还能同时生成真实世界的声音。 视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。 以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。 这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。
2:15

卧槽，这个模型真的有点东西啊! 看完后就想问什么时候可以上手啊！ Odyssey AI实验室刚刚扔出一个真正让人眼前一亮的家伙：Starchild-1。 这是全球第一个实时多模态世界模型。 它不只是生成画面，还能同时生成真实世界的声音。 视频里你能看到一个完整的场景：画面在动，声音同步响起，视觉和听觉完全融为一体，像真正活过来的世界模拟。 以前的世界模型大多只能“看”世界，现在Starchild-1直接学会了“听”。 这不仅仅是又一个视频生成工具，更大的意义是朝着通用世界模型又迈出的关键一步，真正理解并模拟物理世界的下一步。 Odyssey团队说，他们正在用这种新形式的多模态智能，重新定义AI对现实的认知。

Berryxia.AI

37,326 görüntüleme • 4 ay önce

Sync Labs 发布 Lipsync-2：全球首个零-shot的嘴型同步模型 它不用事先针对某个特定的人或声音进行任何训练，就能直接用在任何人身上。 Lipsync-2在模型不仅在现实主义、表现力、控制力、质量和速度方面有显著提升，还引入了风格保留和温度控制等新功能，使用户能够根据需求定制同步效果。 它能看懂视频里的人怎么说话，然后模仿得很像，不只是简单地动嘴。
4:25

Sync Labs 发布 Lipsync-2：全球首个零-shot的嘴型同步模型 它不用事先针对某个特定的人或声音进行任何训练，就能直接用在任何人身上。 Lipsync-2在模型不仅在现实主义、表现力、控制力、质量和速度方面有显著提升，还引入了风格保留和温度控制等新功能，使用户能够根据需求定制同步效果。 它能看懂视频里的人怎么说话，然后模仿得很像，不只是简单地动嘴。

小互

16,654 görüntüleme • 1 yıl önce

俺上电视啦! 聊聊 kimi-k3 这么猛为什么还要开源 上周有幸接受了深圳卫视-科创最前沿栏目的采访, 主要聊了聊 Kimi-K3 这次取得如此牛的成绩背后的意义. 以及SOTA级别的模型就这样开放权重了, 不怕别人抄吗? 在我来看是真不怕的, 想象一下一个武林高手, 把自己的秘籍写成书, 免费送. 那是不是就意味着这些武林秘籍不是谁都练的. 大模型的情况也是这样的, 虽然权重也开源了, 训练技术也开源了, 但是, 最重要的, 训练使用的数据和经验, 这个是没开源的. 举个最典型的例子, 现在个人拿到kimi-k3的模型权重, 然后自己租算力微调, 大概率是会把模型越调越拉跨的. 就是因为既没有优质的后训练数据, 也没有优秀的后训练能力. 而现在大模型训练的数据其实大部分都是AI合成的了. 护城河已经从“静态的代码和模型权重”转移到了“持续的进化能力和数据飞轮”了. 所以即使全面复刻了 kimi-k3 的技术架构, 但是没有高质量合成数据流和持续的后训练体系, 也是没有办法竞争的. 但是 kimi-k3 开源获得的收益却是事实存在的, 不但能获得超高的曝光, 而且还能提升自己的社区影响力, 并且还能收获社区的正向反馈. 开源出来的训练工具链, 社区优秀的工程师在使用中也会不断的帮助反馈和提升. 形成整个生态的进步. 得道者多助这个道理是不会变的. #kimik3 #深圳卫视 #科创最前沿
1:04

俺上电视啦! 聊聊 kimi-k3 这么猛为什么还要开源 上周有幸接受了深圳卫视-科创最前沿栏目的采访, 主要聊了聊 Kimi-K3 这次取得如此牛的成绩背后的意义. 以及SOTA级别的模型就这样开放权重了, 不怕别人抄吗? 在我来看是真不怕的, 想象一下一个武林高手, 把自己的秘籍写成书, 免费送. 那是不是就意味着这些武林秘籍不是谁都练的. 大模型的情况也是这样的, 虽然权重也开源了, 训练技术也开源了, 但是, 最重要的, 训练使用的数据和经验, 这个是没开源的. 举个最典型的例子, 现在个人拿到kimi-k3的模型权重, 然后自己租算力微调, 大概率是会把模型越调越拉跨的. 就是因为既没有优质的后训练数据, 也没有优秀的后训练能力. 而现在大模型训练的数据其实大部分都是AI合成的了. 护城河已经从“静态的代码和模型权重”转移到了“持续的进化能力和数据飞轮”了. 所以即使全面复刻了 kimi-k3 的技术架构, 但是没有高质量合成数据流和持续的后训练体系, 也是没有办法竞争的. 但是 kimi-k3 开源获得的收益却是事实存在的, 不但能获得超高的曝光, 而且还能提升自己的社区影响力, 并且还能收获社区的正向反馈. 开源出来的训练工具链, 社区优秀的工程师在使用中也会不断的帮助反馈和提升. 形成整个生态的进步. 得道者多助这个道理是不会变的. #kimik3 #深圳卫视 #科创最前沿

karminski-牙医

17,354 görüntüleme • 2 ay önce