Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

indigo

54,281 subscribers

183,917 просмотров • 2 лет назад •via X (Twitter)

Наука и технологии

Anya Rossi• Live Now

Private livecam show

Комментарии: 11

Фото профиля Ab_d_zg5

Ab_d_zg52 лет назад

模型还是没他的链子炫

Фото профиля indigo

indigo2 лет назад

金链好评🤟

Фото профиля eth.btc.ai

eth.btc.ai2 лет назад

好在放弃元宇宙了，找到了新的烧钱方向

Фото профиля solama

solama2 лет назад

赛博菩萨

Фото профиля Addy - Domain Investor

Addy - Domain Investor2 лет назад

戴上这链子更显屌丝气质

Фото профиля sun dave

sun dave2 лет назад

“OKZOO 👌”

Фото профиля OSDev

OSDev2 лет назад

@readwise save thread

Фото профиля PallasCatFin

PallasCatFin2 лет назад

基础设施公司更适合开放源代码模式，通过流量收费。应用程序公司更适合封闭循环模式，通过服务收费。

Фото профиля 随机漫步的傻瓜

随机漫步的傻瓜2 лет назад

@PublicAI_ #AI 中文能力弱的一笔

Фото профиля sun dave

sun dave2 лет назад

OKZOO 👌OKZOO 📷OKZOO 📷 👌

Фото профиля Haltia.AI

Haltia.AI2 лет назад

We crushed it in year 1! $2M raised, 42 brainiacs on board, LLMs miniaturized for your phone, KNOW unleashed, and ASIMOV launched. Buckle up, because we're just warming up.

Похожие видео

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,716 просмотров • 1 год назад

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,706 просмотров • 3 лет назад

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

karminski-牙医

12,374 просмотров • 2 месяцев назад

黄仁勋提到：优秀的AI开源模型对整个行业都是好事，无论它来自哪里... 在和 axios 的最新访谈中，Jensen已经聊到了中国的开源模型和美国闭源模型的看法，今天又特意注册X发文说明为什么开源模型很重要..... 他说：“这些中国模型非常优秀，优秀的开源模型就应该被使用” “我认为优秀的AI开源模型对整个行业都是好事，显然，只要有优秀的AI，即使是开源的，无论它来自哪里，都会带来更多的使用” “优秀的模型带来大量使用，大量使用带来巨大增长。而这只是个开始” “DeepSeek当时就是这样，Kimi也会是这样” “还有一个误解是，开源模型会对闭源模型构成对抗，这也是错的”

黄仁勋提到：优秀的AI开源模型对整个行业都是好事，无论它来自哪里... 在和 axios 的最新访谈中，Jensen已经聊到了中国的开源模型和美国闭源模型的看法，今天又特意注册X发文说明为什么开源模型很重要..... 他说：“这些中国模型非常优秀，优秀的开源模型就应该被使用” “我认为优秀的AI开源模型对整个行业都是好事，显然，只要有优秀的AI，即使是开源的，无论它来自哪里，都会带来更多的使用” “优秀的模型带来大量使用，大量使用带来巨大增长。而这只是个开始” “DeepSeek当时就是这样，Kimi也会是这样” “还有一个误解是，开源模型会对闭源模型构成对抗，这也是错的”

梭哈.AI

51,188 просмотров • 1 месяц назад

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,123,359 просмотров • 2 лет назад

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 просмотров • 2 лет назад

著名机构SemiAnalysis的研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型

著名机构SemiAnalysis的研究员给了一个很有趣的观点--关于中国的开源模型 Jordan Nanos Jordan Nanos 是 SemiAnalysi 的AI 研究员，他说：开源模型现在看起来追上了前沿闭源模型，其实完全是“人为”追平的直接原因就在美国政府身上——他们对Anthropic施加了限制，导致我们根本拿不到这些实验室真正最强的模型最明显的例子就是Mythos和Fable：我根本用不了Mythos，只能偶尔“好好求一下”才能用上Fable 至于OpenAI的5.6 Sol，我们的判断是它甚至都不是OpenAI训练过的最大模型，规模都没到4.5那个级别，他们肯定在某个地方还藏着更大的模型

梭哈.AI

90,037 просмотров • 1 месяц назад

2025年全球大模型厂商下载量排行榜终于爆肝了一个元旦假期弄完了, 给大家带来2025年全球大模型厂商开放权重模型下载量排行榜. 数据更多代表国内以外的区域的下载量, 因为还有很大一部分在阿里魔搭 (modelscope) 和其他平台, 不过这部分暂时没有开源数据可以用来统计. 画面上半部分是排行榜, 数据来源是 HuggingFace 统计的公开数据集 datasets/cfahlgren1/hub-stats 动画下半部分是当天发布的新模型展示，由于模型过多, 总计750万个模型... 所以这里只展示2025年总下载量超过10K的模型. 注意, HuggingFace 这份统计数据在 2025-02-27 之前的数据只有30天均值下载数据, 28号才增加了历史总下载数据(两天数据差可以推算出当天的精确下载量), 所以27号之前的每天下载量数据使用30天均值数据除以30得到. 因此存在一定的误差, 但理论上不影响最终排名.

2025年全球大模型厂商下载量排行榜终于爆肝了一个元旦假期弄完了, 给大家带来2025年全球大模型厂商开放权重模型下载量排行榜. 数据更多代表国内以外的区域的下载量, 因为还有很大一部分在阿里魔搭 (modelscope) 和其他平台, 不过这部分暂时没有开源数据可以用来统计. 画面上半部分是排行榜, 数据来源是 HuggingFace 统计的公开数据集 datasets/cfahlgren1/hub-stats 动画下半部分是当天发布的新模型展示，由于模型过多, 总计750万个模型... 所以这里只展示2025年总下载量超过10K的模型. 注意, HuggingFace 这份统计数据在 2025-02-27 之前的数据只有30天均值下载数据, 28号才增加了历史总下载数据(两天数据差可以推算出当天的精确下载量), 所以27号之前的每天下载量数据使用30天均值数据除以30得到. 因此存在一定的误差, 但理论上不影响最终排名.

karminski-牙医

16,146 просмотров • 7 месяцев назад

俺上电视啦! 聊聊 kimi-k3 这么猛为什么还要开源上周有幸接受了深圳卫视-科创最前沿栏目的采访, 主要聊了聊 Kimi-K3 这次取得如此牛的成绩背后的意义. 以及SOTA级别的模型就这样开放权重了, 不怕别人抄吗? 在我来看是真不怕的, 想象一下一个武林高手, 把自己的秘籍写成书, 免费送. 那是不是就意味着这些武林秘籍不是谁都练的. 大模型的情况也是这样的, 虽然权重也开源了, 训练技术也开源了, 但是, 最重要的, 训练使用的数据和经验, 这个是没开源的. 举个最典型的例子, 现在个人拿到kimi-k3的模型权重, 然后自己租算力微调, 大概率是会把模型越调越拉跨的. 就是因为既没有优质的后训练数据, 也没有优秀的后训练能力. 而现在大模型训练的数据其实大部分都是AI合成的了. 护城河已经从“静态的代码和模型权重”转移到了“持续的进化能力和数据飞轮”了. 所以即使全面复刻了 kimi-k3 的技术架构, 但是没有高质量合成数据流和持续的后训练体系, 也是没有办法竞争的. 但是 kimi-k3 开源获得的收益却是事实存在的, 不但能获得超高的曝光, 而且还能提升自己的社区影响力, 并且还能收获社区的正向反馈. 开源出来的训练工具链, 社区优秀的工程师在使用中也会不断的帮助反馈和提升. 形成整个生态的进步. 得道者多助这个道理是不会变的. #kimik3 #深圳卫视 #科创最前沿

俺上电视啦! 聊聊 kimi-k3 这么猛为什么还要开源上周有幸接受了深圳卫视-科创最前沿栏目的采访, 主要聊了聊 Kimi-K3 这次取得如此牛的成绩背后的意义. 以及SOTA级别的模型就这样开放权重了, 不怕别人抄吗? 在我来看是真不怕的, 想象一下一个武林高手, 把自己的秘籍写成书, 免费送. 那是不是就意味着这些武林秘籍不是谁都练的. 大模型的情况也是这样的, 虽然权重也开源了, 训练技术也开源了, 但是, 最重要的, 训练使用的数据和经验, 这个是没开源的. 举个最典型的例子, 现在个人拿到kimi-k3的模型权重, 然后自己租算力微调, 大概率是会把模型越调越拉跨的. 就是因为既没有优质的后训练数据, 也没有优秀的后训练能力. 而现在大模型训练的数据其实大部分都是AI合成的了. 护城河已经从“静态的代码和模型权重”转移到了“持续的进化能力和数据飞轮”了. 所以即使全面复刻了 kimi-k3 的技术架构, 但是没有高质量合成数据流和持续的后训练体系, 也是没有办法竞争的. 但是 kimi-k3 开源获得的收益却是事实存在的, 不但能获得超高的曝光, 而且还能提升自己的社区影响力, 并且还能收获社区的正向反馈. 开源出来的训练工具链, 社区优秀的工程师在使用中也会不断的帮助反馈和提升. 形成整个生态的进步. 得道者多助这个道理是不会变的. #kimik3 #深圳卫视 #科创最前沿

karminski-牙医

17,354 просмотров • 21 дней назад

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5）模型似乎是憋了个大招根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...

在今天的百度世界大会上，沉寂许久的百度发布其文心5.0（EB5）模型似乎是憋了个大招根据公布的信息,这代模型直接从训练伊始就融合文本、图像、音频、视频训练数据是一个原生的全模态模型... - 参数规模高达 2.4 万亿 - MoE架构激活参数比例< 3% 测试了下视频分析能力，感觉是有点东西... 真的能看懂视频，不只是台词，画面分析的也很可以...

小互

38,838 просмотров • 9 месяцев назад

这段蔡崇信的采访，真正有意思的不是阿里又说自己 All in AI。而是他说了一个很现实的问题：欧洲最担心的，可能不是模型够不够强，而是“开关在谁手里”。美国闭源 API 模式解决了能力问题，但也把数据、成本和控制权交了出去。 Qwen 开源这条路，打的其实是“主权牌”。以后 AI 竞争，可能不只是看谁模型更强，而是看谁能让别人放心把底座建在你上面。

这段蔡崇信的采访，真正有意思的不是阿里又说自己 All in AI。而是他说了一个很现实的问题：欧洲最担心的，可能不是模型够不够强，而是“开关在谁手里”。美国闭源 API 模式解决了能力问题，但也把数据、成本和控制权交了出去。 Qwen 开源这条路，打的其实是“主权牌”。以后 AI 竞争，可能不只是看谁模型更强，而是看谁能让别人放心把底座建在你上面。

Vincent

47,327 просмотров • 2 месяцев назад

这个 3D 模型的开源项目真有点厉害昨天测试了一个 cs 2 的爪子刀，今天测试了一版 sony 相机其还原度和精细程度都相当不错如果不是要做工业级别的 3D 模型，已经相当能打了

这个 3D 模型的开源项目真有点厉害昨天测试了一个 cs 2 的爪子刀，今天测试了一版 sony 相机其还原度和精细程度都相当不错如果不是要做工业级别的 3D 模型，已经相当能打了

Sac

113,420 просмотров • 1 месяц назад

Cursor 推出炼蛊模式！一口气能开8个代理！给大家带来 Cursor 2.0 更新内容！这个分量的确够得上一个大版本更新。首先，推出了炼蛊模式，你最多可以开8个 Agent 并行运行同一个任务，然后矬子里面拔大个，选你觉得AI生成的最好的结果。其次，cursor 早就传出内部在炼大模型，终于推出了！目前宣传点是生成速度，这个我一会儿会单独放出这个模型的评测视频！然后！可以在Cursor里面直接打开浏览器了！这叫一个真套娃了，本身就是 Electron，又套个 chromium。跑题了，这个最大的作用其实是为大模型进行视觉设计或debug铺平道路。是个非常不错的功能。就是不知道大家内存抗不扛得住。还有！现在支持语音输入了，终于可以真的当老板了用嘴命令它干活了。剩下就是一些小改进了，包括可以在一个chat里面看多个文件的修改啦，其实跟github的合并pr的模式差不多。命令可以运行在安全沙箱，再也不用担心输入了个波浪线，大模型灭门事件了。团队配置集中管理啦，可以在后代运行多个 plan mode，玩田忌赛马等等等等。总之，请确保你的订阅套餐够烧

Cursor 推出炼蛊模式！一口气能开8个代理！给大家带来 Cursor 2.0 更新内容！这个分量的确够得上一个大版本更新。首先，推出了炼蛊模式，你最多可以开8个 Agent 并行运行同一个任务，然后矬子里面拔大个，选你觉得AI生成的最好的结果。其次，cursor 早就传出内部在炼大模型，终于推出了！目前宣传点是生成速度，这个我一会儿会单独放出这个模型的评测视频！然后！可以在Cursor里面直接打开浏览器了！这叫一个真套娃了，本身就是 Electron，又套个 chromium。跑题了，这个最大的作用其实是为大模型进行视觉设计或debug铺平道路。是个非常不错的功能。就是不知道大家内存抗不扛得住。还有！现在支持语音输入了，终于可以真的当老板了用嘴命令它干活了。剩下就是一些小改进了，包括可以在一个chat里面看多个文件的修改啦，其实跟github的合并pr的模式差不多。命令可以运行在安全沙箱，再也不用担心输入了个波浪线，大模型灭门事件了。团队配置集中管理啦，可以在后代运行多个 plan mode，玩田忌赛马等等等等。总之，请确保你的订阅套餐够烧

karminski-牙医

21,725 просмотров • 9 месяцев назад

限时免费体验Claude Fable 5 ！在Cluade发生了大规模的封号风波之后，Claude Fable 5 正式回归了！说心里话，即使是回归了，我都不敢用，太贵了。但是，谁不想体验一下这个称为神级的大模型，到底什么样？不慌，ZenMux 开启了限时免费使用。每次最新大模型发布，我的免费体验几乎都是在ZenMux上的，真心点赞了。 “最近想做一个心情小岛的网页，就是每天登录小岛，记录一下自己的心情，AI可以给你回信。根据登陆小岛的天数，小岛会变得越来越丰富。大致这样的一个情绪陪伴类的概念产品，直接交给了Claude Fable 5 ！” 很快就得到一个demo，我是很满意的，哈哈。 7月7日前限时免费体验，真的给了很多人体验到大模型的机会。地址在这：

限时免费体验Claude Fable 5 ！在Cluade发生了大规模的封号风波之后，Claude Fable 5 正式回归了！说心里话，即使是回归了，我都不敢用，太贵了。但是，谁不想体验一下这个称为神级的大模型，到底什么样？不慌，ZenMux 开启了限时免费使用。每次最新大模型发布，我的免费体验几乎都是在ZenMux上的，真心点赞了。 “最近想做一个心情小岛的网页，就是每天登录小岛，记录一下自己的心情，AI可以给你回信。根据登陆小岛的天数，小岛会变得越来越丰富。大致这样的一个情绪陪伴类的概念产品，直接交给了Claude Fable 5 ！” 很快就得到一个demo，我是很满意的，哈哈。 7月7日前限时免费体验，真的给了很多人体验到大模型的机会。地址在这：

苏打白.Dev

17,311 просмотров • 1 месяц назад

我操！Kimi.ai 月之暗面这波是真的疯了！ 2.8T 参数的 K3 直接全权重开源就算了，连推理内核、MoE 通信库、Agent 训练环境整套底层技术栈全给你端出来，硬生生把开源模型的天花板，直接抬到了闭源旗舰的家门口。不是放个权重就炒开源概念的挤牙膏操作，是从模型到底层能跑起来生态的所有东西全白给，1M 长上下文、MoE 架构性能够打闭源，之前天天喊开源追不上闭源的直接被打半残，开发者再也不用对着闭源 API 的限流、涨价受窝囊气。搞大模型的不用从零搭底层通信框架，做 Agent 的不用卡闭源接口的脖子，小团队也能基于全栈直接做二次开发，从今天起，全球开源 AI 的游戏规则，真的改了。今天之后，开源和闭源的代差，从两年砍到了半年。 Kimi K3 今天正式全开源，不是挤牙膏的版本更新。 2.8T 总参数 MoE, 激活 104B, 原生 100 万上下文。靠 KDA 新注意力和 AttnRes 架构创新，单位算力智能密度直接提 2.5 倍，长上下文解码速度翻 6 倍。最狠的是，这根本不是只放个权重的假开源。 FlashKDA 高性能内核，MoE 通信库，连用来做 Agent 强化学习的快照式训练环境 AgentENV, 全给你开源了。从推理到训练的整个底层栈，直接搬空。之前所有开源模型，本质都是在追闭源一年多前的尾巴。这是第一个真正摸到闭源顶尖门槛的开放模型。长编码、Agent、终端操作这些硬核任务，已经能和第一梯队闭源掰手腕。你永远可以相信开放的力量！！用K3搓了一个他自己开源的介绍视频，特此致敬🫡

我操！Kimi.ai 月之暗面这波是真的疯了！ 2.8T 参数的 K3 直接全权重开源就算了，连推理内核、MoE 通信库、Agent 训练环境整套底层技术栈全给你端出来，硬生生把开源模型的天花板，直接抬到了闭源旗舰的家门口。不是放个权重就炒开源概念的挤牙膏操作，是从模型到底层能跑起来生态的所有东西全白给，1M 长上下文、MoE 架构性能够打闭源，之前天天喊开源追不上闭源的直接被打半残，开发者再也不用对着闭源 API 的限流、涨价受窝囊气。搞大模型的不用从零搭底层通信框架，做 Agent 的不用卡闭源接口的脖子，小团队也能基于全栈直接做二次开发，从今天起，全球开源 AI 的游戏规则，真的改了。今天之后，开源和闭源的代差，从两年砍到了半年。 Kimi K3 今天正式全开源，不是挤牙膏的版本更新。 2.8T 总参数 MoE, 激活 104B, 原生 100 万上下文。靠 KDA 新注意力和 AttnRes 架构创新，单位算力智能密度直接提 2.5 倍，长上下文解码速度翻 6 倍。最狠的是，这根本不是只放个权重的假开源。 FlashKDA 高性能内核，MoE 通信库，连用来做 Agent 强化学习的快照式训练环境 AgentENV, 全给你开源了。从推理到训练的整个底层栈，直接搬空。之前所有开源模型，本质都是在追闭源一年多前的尾巴。这是第一个真正摸到闭源顶尖门槛的开放模型。长编码、Agent、终端操作这些硬核任务，已经能和第一梯队闭源掰手腕。你永远可以相信开放的力量！！用K3搓了一个他自己开源的介绍视频，特此致敬🫡

AYi

264,831 просмотров • 28 дней назад

100块的AI，如何帮我接单月赚12万？这次做这个项目给我的感受是国产模型真的能用了！其实我一直都是用最好的模型，Claude 4.5 + Claude Code也一直是我的AI编程主力，但真的被封麻了。每天重新搞Claude的时间都有一两个小时，这次用GLM4.6来平替效果还真可以。虽然它下午高峰期时不时会卡，而且偶尔指令遵循确实比GPT-5差不少，可90%的开发任务都还不错，返工率也可以接受。我现在的最好的实践就是，保留20美金的Cursor用顶级模型，再来个GLM4.6干活，很香！

100块的AI，如何帮我接单月赚12万？这次做这个项目给我的感受是国产模型真的能用了！其实我一直都是用最好的模型，Claude 4.5 + Claude Code也一直是我的AI编程主力，但真的被封麻了。每天重新搞Claude的时间都有一两个小时，这次用GLM4.6来平替效果还真可以。虽然它下午高峰期时不时会卡，而且偶尔指令遵循确实比GPT-5差不少，可90%的开发任务都还不错，返工率也可以接受。我现在的最好的实践就是，保留20美金的Cursor用顶级模型，再来个GLM4.6干活，很香！

Yihui

74,963 просмотров • 9 месяцев назад