Загрузка видео...

Не удалось загрузить видео

Возникла проблема при загрузке этого видео. Это может быть связано с временными проблемами сети или видео может быть недоступно.

На главную

今天推荐 PocketPal —— 一款能在 iPhone / Android 设备运行大模型的 App。首次使用 App 时，需从内置库中下载模型 (推荐阿里 Qwen2.5-3B)，之后便能离线运行。在我 iPhone 14 Pro Max 上可调用苹果 Metal API，生成速度约为 11 token/s。可惜 Qwen2.5 还不知道“数码荔枝”是谁...是我们的问题。

数码荔枝

23,325 subscribers

71,616 просмотров • 1 год назад •via X (Twitter)

Образование Наука и технологии

Anya Rossi• Live Now

Private livecam show

Комментарии: 12

Фото профиля 数码荔枝

数码荔枝1 год назад

PocketPal 开源免费 • Github: • App Store: • Google Play:

Фото профиля Reown

Reown1 год назад

AppKit is the full-stack toolkit to build onchain app UX 🪄 ✅ Social, Email, and Wallet Login ✅ Embedded Wallets ✅ Crypto Swaps ✅ On-ramp Integrate with just 20 lines of code across 10+ languages for all EVM chains and Solana. Onboard millions of users for free today.

Фото профиля emperinter

emperinter1 год назад

🤡 要不试一下“荔枝数码”？

Фото профиля 数码荔枝

数码荔枝1 год назад

啊，你别逼我~~~

Фото профиля Jerlin

Jerlin1 год назад

救命哈哈哈哈哈哈

Фото профиля 数码荔枝

数码荔枝1 год назад

上市了，我赖某也出息了一把。

Фото профиля 三秋十李 Sergio

三秋十李 Sergio1 год назад

最近这种移动端可加载大模型的App如雨后春笋冒了出来昨天刚装了一个fullmoon，今天就有更好的了

Фото профиля 数码荔枝

数码荔枝1 год назад

主要还是大模型资源占用优化的好，太牛了

Фото профиля 洋务运动总司令

洋务运动总司令1 год назад

啥意义呢，云服务免费速度又快

Фото профиля BryceWG

BryceWG1 год назад

算力调用感觉有问题,安卓8g3速度只有8tps左右,感觉只用了cpu

Фото профиля 吕靖

吕靖1 год назад

曾经使用过，体验并不好

Фото профиля 数码荔枝

数码荔枝1 год назад

你是指这个 App 还是 Qwen2.5？如果你说的是这个 App 的话，确实他缺失了很多类似工具的基础功能，比如，没办法预设提示词... 所以每次开启新的对话时，都需要手动输入一次。

Похожие видео

用 iPhone 17 Pro MAX 试了一下本地 Qwen 3 1.7B 的推理速度，相当快啊，几乎感知不到延迟 A 19 Pro 芯片性能相当顶这个叫 Locally AI 的 APP 还能调用苹果放在本地的端侧模型进行测试，不过国行手机不行

用 iPhone 17 Pro MAX 试了一下本地 Qwen 3 1.7B 的推理速度，相当快啊，几乎感知不到延迟 A 19 Pro 芯片性能相当顶这个叫 Locally AI 的 APP 还能调用苹果放在本地的端侧模型进行测试，不过国行手机不行

歸藏(guizang.ai)

261,755 просмотров • 10 месяцев назад

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,716 просмотров • 1 год назад

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 просмотров • 2 лет назад

大语言模型微调之道4——指令微调 #大语言模型微调之道在本期视频中，我们深入探讨了什么是指令微调以及它如何帮助AI模型更好地与用户互动。你知道GPT-3是如何变成具有聊天能力的ChatGPT的吗? 这背后的秘密就是指令微调。这种特殊的技术不仅可以应用于聊天，还可以帮助AI完成推理、编码等多种任务。但是，为了完成微调，我们需要什么数据呢？我们可以使用各种资源，包括互联网上的数据或公司内部的数据，如FAQs、客服聊天记录或Slack消息历史。如果没有适当的数据，也可以使用提示词模板来转换数据为更有目的的格式。Alpaca技术，来自斯坦福，甚至利用ChatGPT来完成这种转换！最后，我们通过实验对比了经过指令微调的模型和未经指令微调的模型的性能。结果显示，经过指令微调的模型能够提供更准确、更符合预期的答案。你还等什么？来了解更多关于如何为模型准备数据并进行微调的信息吧！课程地址： YouTube： B站：

大语言模型微调之道4——指令微调 #大语言模型微调之道在本期视频中，我们深入探讨了什么是指令微调以及它如何帮助AI模型更好地与用户互动。你知道GPT-3是如何变成具有聊天能力的ChatGPT的吗? 这背后的秘密就是指令微调。这种特殊的技术不仅可以应用于聊天，还可以帮助AI完成推理、编码等多种任务。但是，为了完成微调，我们需要什么数据呢？我们可以使用各种资源，包括互联网上的数据或公司内部的数据，如FAQs、客服聊天记录或Slack消息历史。如果没有适当的数据，也可以使用提示词模板来转换数据为更有目的的格式。Alpaca技术，来自斯坦福，甚至利用ChatGPT来完成这种转换！最后，我们通过实验对比了经过指令微调的模型和未经指令微调的模型的性能。结果显示，经过指令微调的模型能够提供更准确、更符合预期的答案。你还等什么？来了解更多关于如何为模型准备数据并进行微调的信息吧！课程地址： YouTube： B站：

宝玉

22,461 просмотров • 3 лет назад

CAD大模型来啦！还记得 cursor 创业的时候说自己其实是搞 CAD 大模型的嘛？但是他们遇到的问题是全网 CAD 数据太少了，炼不出来好的模型。今天这个模型作者遇到了同样的问题，他使用了 OpenSCAD 数据集，但是质量太差，于是花了150刀使用AI辅助生成/修复数据，然后觉得太贵了，又用 Gemma3-12b 洗了2天，最后使用 Gemma3-1B 进行微调，得到了这个 CAD 大模型——k-1b 这个模型你只需输入想要什么，它就能生成 stl 格式的 3D模型，然后作者还写了个工具能转换为 OBJ 模型以及在 terminal 预览模型生成的怎么样模型地址：引擎地址：/github.com/ThomasVuNguyen/MakeMe

CAD大模型来啦！还记得 cursor 创业的时候说自己其实是搞 CAD 大模型的嘛？但是他们遇到的问题是全网 CAD 数据太少了，炼不出来好的模型。今天这个模型作者遇到了同样的问题，他使用了 OpenSCAD 数据集，但是质量太差，于是花了150刀使用AI辅助生成/修复数据，然后觉得太贵了，又用 Gemma3-12b 洗了2天，最后使用 Gemma3-1B 进行微调，得到了这个 CAD 大模型——k-1b 这个模型你只需输入想要什么，它就能生成 stl 格式的 3D模型，然后作者还写了个工具能转换为 OBJ 模型以及在 terminal 预览模型生成的怎么样模型地址：引擎地址：/github.com/ThomasVuNguyen/MakeMe

karminski-牙医

28,604 просмотров • 10 месяцев назад

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,123,359 просмотров • 2 лет назад

Cursor 推出炼蛊模式！一口气能开8个代理！给大家带来 Cursor 2.0 更新内容！这个分量的确够得上一个大版本更新。首先，推出了炼蛊模式，你最多可以开8个 Agent 并行运行同一个任务，然后矬子里面拔大个，选你觉得AI生成的最好的结果。其次，cursor 早就传出内部在炼大模型，终于推出了！目前宣传点是生成速度，这个我一会儿会单独放出这个模型的评测视频！然后！可以在Cursor里面直接打开浏览器了！这叫一个真套娃了，本身就是 Electron，又套个 chromium。跑题了，这个最大的作用其实是为大模型进行视觉设计或debug铺平道路。是个非常不错的功能。就是不知道大家内存抗不扛得住。还有！现在支持语音输入了，终于可以真的当老板了用嘴命令它干活了。剩下就是一些小改进了，包括可以在一个chat里面看多个文件的修改啦，其实跟github的合并pr的模式差不多。命令可以运行在安全沙箱，再也不用担心输入了个波浪线，大模型灭门事件了。团队配置集中管理啦，可以在后代运行多个 plan mode，玩田忌赛马等等等等。总之，请确保你的订阅套餐够烧

Cursor 推出炼蛊模式！一口气能开8个代理！给大家带来 Cursor 2.0 更新内容！这个分量的确够得上一个大版本更新。首先，推出了炼蛊模式，你最多可以开8个 Agent 并行运行同一个任务，然后矬子里面拔大个，选你觉得AI生成的最好的结果。其次，cursor 早就传出内部在炼大模型，终于推出了！目前宣传点是生成速度，这个我一会儿会单独放出这个模型的评测视频！然后！可以在Cursor里面直接打开浏览器了！这叫一个真套娃了，本身就是 Electron，又套个 chromium。跑题了，这个最大的作用其实是为大模型进行视觉设计或debug铺平道路。是个非常不错的功能。就是不知道大家内存抗不扛得住。还有！现在支持语音输入了，终于可以真的当老板了用嘴命令它干活了。剩下就是一些小改进了，包括可以在一个chat里面看多个文件的修改啦，其实跟github的合并pr的模式差不多。命令可以运行在安全沙箱，再也不用担心输入了个波浪线，大模型灭门事件了。团队配置集中管理啦，可以在后代运行多个 plan mode，玩田忌赛马等等等等。总之，请确保你的订阅套餐够烧

karminski-牙医

21,725 просмотров • 9 месяцев назад

有人在之前推文里问像这样的数字人是怎么做的，推荐 HeyGen 这款数字人产品。它可以选择不同的数字人，套用不同的模板，生成各种演说类的视频口型准确，效果还是很逼真的，如果你不会的话，也可以找我。 🔗 #AIgirl #aitools

有人在之前推文里问像这样的数字人是怎么做的，推荐 HeyGen 这款数字人产品。它可以选择不同的数字人，套用不同的模板，生成各种演说类的视频口型准确，效果还是很逼真的，如果你不会的话，也可以找我。 🔗 #AIgirl #aitools

Cellier

132,160 просмотров • 3 лет назад

一个开源超实用的终端小工具：llmfit，狂揽了 14000+ GitHub Star！只需运行一条命令，就能帮我们找到哪些大模型适合在自己的电脑上本地部署跑起来。并且还会对每个模型的质量、速度、适配性和上下文维度上进行评分，帮助我们从中筛选。 GitHub：想在自己电脑上本地部署大模型的朋友，可通过这工具先知道能跑什么大模型再选择部署。

一个开源超实用的终端小工具：llmfit，狂揽了 14000+ GitHub Star！只需运行一条命令，就能帮我们找到哪些大模型适合在自己的电脑上本地部署跑起来。并且还会对每个模型的质量、速度、适配性和上下文维度上进行评分，帮助我们从中筛选。 GitHub：想在自己电脑上本地部署大模型的朋友，可通过这工具先知道能跑什么大模型再选择部署。

高军

35,323 просмотров • 5 месяцев назад

大家好，OpenCat macOS 版也支持「键盘扩展」啦，可以在任意 App 中调用 GPT 了。在任意 App 中输入 /cat 提示词，就可以快速调用模型。输入 /对话名称提示词，就可以调用您已经创建的对话。输入 /en /ja /zh 等 + 待翻译的句子，就可以自动翻译。输入 /模型名称提示词，可以直接调用某个模型。因为权限问题，App Store 下载的版本不支持这个功能，需要从我们的官网下载。然后输入您的 App Store 订单号来激活。官网下载的版本还不支持内购，如果要购买 Pro 或者 Cloud，请从 App Store 下载，然后使用订单号激活。 PS：这个功能其实发布很久了，但一直没有宣传 🤣

大家好，OpenCat macOS 版也支持「键盘扩展」啦，可以在任意 App 中调用 GPT 了。在任意 App 中输入 /cat 提示词，就可以快速调用模型。输入 /对话名称提示词，就可以调用您已经创建的对话。输入 /en /ja /zh 等 + 待翻译的句子，就可以自动翻译。输入 /模型名称提示词，可以直接调用某个模型。因为权限问题，App Store 下载的版本不支持这个功能，需要从我们的官网下载。然后输入您的 App Store 订单号来激活。官网下载的版本还不支持内购，如果要购买 Pro 或者 Cloud，请从 App Store 下载，然后使用订单号激活。 PS：这个功能其实发布很久了，但一直没有宣传 🤣

Baye

125,252 просмотров • 2 лет назад

今天好郁闷，发生了一点不愉快的事情！人生第一次为了自己的愚蠢进了叔所！期待明天的好结果！！！ ⸻ AI 的下一关，不在能力，而在可被证明在模型规模不断被刷新纪录的阶段，有一个问题始终被刻意回避： AI 的结论，是否真的来自它声称的计算过程？ Inference Labs 选择从这个问题切入。他们关注的不是模型性能，而是推理行为本身是否可信、是否可复现、是否可审计。 Proof of Inference 的意义，在于把“我相信模型没问题”变成“模型必须给出证明”。通过零知识证明，系统可以在不暴露模型结构和参数的前提下，确认一次推理： •确实由指定模型完成 •计算过程未被替换或篡改 •输出结果与真实推理一致这不是提高透明度，而是引入约束。在工程层面，DSperse 做的事情同样关键。它把原本高度定制化、专家依赖的 zkML 开发流程，拆解为可复用组件，使“可验证 AI”从研究范畴，进入实际应用范畴。否则，再正确的理念也只能停留在白皮书。目前，可验证推理在性能上的代价仍然明显，但这更像早期加密系统的计算成本问题，而不是路线错误。融资的用途，也正是针对这一层进行系统级优化。如果说过去的 AI 竞争是“谁能算得更快”，接下来的竞争，很可能是：谁的推理能被证明、被追溯、被承担责任。 Inference Labs 所搭建的，不是价值观，而是一层让 AI 输出进入现实系统所必需的验证基础设施。 #KaitoYap Kaito AI 🌊 #Yap Inference Labs

今天好郁闷，发生了一点不愉快的事情！人生第一次为了自己的愚蠢进了叔所！期待明天的好结果！！！ ⸻ AI 的下一关，不在能力，而在可被证明在模型规模不断被刷新纪录的阶段，有一个问题始终被刻意回避： AI 的结论，是否真的来自它声称的计算过程？ Inference Labs 选择从这个问题切入。他们关注的不是模型性能，而是推理行为本身是否可信、是否可复现、是否可审计。 Proof of Inference 的意义，在于把“我相信模型没问题”变成“模型必须给出证明”。通过零知识证明，系统可以在不暴露模型结构和参数的前提下，确认一次推理： •确实由指定模型完成 •计算过程未被替换或篡改 •输出结果与真实推理一致这不是提高透明度，而是引入约束。在工程层面，DSperse 做的事情同样关键。它把原本高度定制化、专家依赖的 zkML 开发流程，拆解为可复用组件，使“可验证 AI”从研究范畴，进入实际应用范畴。否则，再正确的理念也只能停留在白皮书。目前，可验证推理在性能上的代价仍然明显，但这更像早期加密系统的计算成本问题，而不是路线错误。融资的用途，也正是针对这一层进行系统级优化。如果说过去的 AI 竞争是“谁能算得更快”，接下来的竞争，很可能是：谁的推理能被证明、被追溯、被承担责任。 Inference Labs 所搭建的，不是价值观，而是一层让 AI 输出进入现实系统所必需的验证基础设施。 #KaitoYap Kaito AI 🌊 #Yap Inference Labs

董小姐 |上Gate玩事件合约

303,919 просмотров • 7 месяцев назад

OpenAI没选NVIDIA。 Sam Altman亲手选了AMD，用来做AI推理。他和苏姿丰一起，从头参与了MI450芯片的设计。这不是合作，这是共建。 MI450最大优势是啥？推理效率，特别是大模型低功耗推理。你以为GPU只卷训练？2024之后，比的是谁能推得更省、更快、更稳。 OpenAI已经开始在MI300X运行模型了，MI450只是更激进的延续。接下来的大模型，不一定长在N卡上。

OpenAI没选NVIDIA。 Sam Altman亲手选了AMD，用来做AI推理。他和苏姿丰一起，从头参与了MI450芯片的设计。这不是合作，这是共建。 MI450最大优势是啥？推理效率，特别是大模型低功耗推理。你以为GPU只卷训练？2024之后，比的是谁能推得更省、更快、更稳。 OpenAI已经开始在MI300X运行模型了，MI450只是更激进的延续。接下来的大模型，不一定长在N卡上。

墓碑科技

107,298 просмотров • 10 месяцев назад

Google最新开源了一款用于设备端AI的嵌入模型：EmbeddingGemma，体积小、速度快、可离线跑 3.08亿参数，2K上下文基于Gemma 3架构，支持100+种语言，量化后可在不到 200MB的RAM上运行 256 token的句子在EdgeTPU上<15ms出结果已集成sentence-transformers、llama.cpp、Ollama、LangChain、Weaviate 等常用工具，一条命令嵌入RAG或搜索应用可以用于比如本地文件搜索、离线聊天机器人、离线RAG 问答、函数调用分类等支持针对特定领域、任务或语言进行微调 #EmbeddingGemma #小模型

Google最新开源了一款用于设备端AI的嵌入模型：EmbeddingGemma，体积小、速度快、可离线跑 3.08亿参数，2K上下文基于Gemma 3架构，支持100+种语言，量化后可在不到 200MB的RAM上运行 256 token的句子在EdgeTPU上<15ms出结果已集成sentence-transformers、llama.cpp、Ollama、LangChain、Weaviate 等常用工具，一条命令嵌入RAG或搜索应用可以用于比如本地文件搜索、离线聊天机器人、离线RAG 问答、函数调用分类等支持针对特定领域、任务或语言进行微调 #EmbeddingGemma #小模型

AIGCLINK

17,597 просмотров • 11 месяцев назад

给大家推荐一下，Cindy 里面我做的语音输入的功能。在输入完成以后，她可以接入大模型进行润色。对于经常输错的部分，能够自动加入词典，并且词典可以在多设备间端到端地同步。语音输入还可以绑定键盘快捷键，在其他的 App 里面使用快捷键也可以调用 Cindy 的语音输入，相当于是一个方便的语音输入法。欢迎大家来体验。

给大家推荐一下，Cindy 里面我做的语音输入的功能。在输入完成以后，她可以接入大模型进行润色。对于经常输错的部分，能够自动加入词典，并且词典可以在多设备间端到端地同步。语音输入还可以绑定键盘快捷键，在其他的 App 里面使用快捷键也可以调用 Cindy 的语音输入，相当于是一个方便的语音输入法。欢迎大家来体验。

Dash

34,240 просмотров • 25 дней назад

你的手机刚刚变成了一台声音克隆机。无需云端，无需联网，无需任何权限。只需输入几秒钟的音频——它就能以惊人的准确度重现你的声音……且完全离线运行。这不是演示，这是在设备端实际运行。Neuphonic 推出的 NeuTTS 正在将语音 AI 推向一个新时代： • 仅需几秒音频即可实现即时声音克隆 • 极其逼真的输出，听起来完全像真人 • 在中端手机、笔记本电脑甚至树莓派上都能实时运行 • 原生支持西班牙语 • 轻量化 GGUF 模型 • 100% 本地化 = 数据绝不离开你的设备这打破了目前 AI 面临的最大瓶颈：对云端的依赖。没有 API，没有订阅，没有监控。我们正在经历从：云端 AI → 个人 AI 租赁模型 → 自有模型这种转变发生的速度比人们想象的要快。语音 AI 不再是你“访问”的对象，而是你“运行”的工具。仓库地址：REPO

你的手机刚刚变成了一台声音克隆机。无需云端，无需联网，无需任何权限。只需输入几秒钟的音频——它就能以惊人的准确度重现你的声音……且完全离线运行。这不是演示，这是在设备端实际运行。Neuphonic 推出的 NeuTTS 正在将语音 AI 推向一个新时代： • 仅需几秒音频即可实现即时声音克隆 • 极其逼真的输出，听起来完全像真人 • 在中端手机、笔记本电脑甚至树莓派上都能实时运行 • 原生支持西班牙语 • 轻量化 GGUF 模型 • 100% 本地化 = 数据绝不离开你的设备这打破了目前 AI 面临的最大瓶颈：对云端的依赖。没有 API，没有订阅，没有监控。我们正在经历从：云端 AI → 个人 AI 租赁模型 → 自有模型这种转变发生的速度比人们想象的要快。语音 AI 不再是你“访问”的对象，而是你“运行”的工具。仓库地址：REPO

Bill The Investor

10,600 просмотров • 3 месяцев назад

我用一台24GB Mac，实现了“Token自由” 最近，我在一台24GB内存的M4 Mac mini上，本地部署了Qwen3.8-27B。不是缩水版，也不是调用云端API，而是： 😎Qwen3.8-27B完整模型 ☑️MLX 4-bit量化 ☑️MTP推测解码加速 ☑️支持文字、图片和思考模式 ☑️提供OpenAI兼容接口 ☑️所有对话完全在本机完成这套模型的主体大约15GB，MTP草稿模型约256MB，实际运行峰值内存约18.17GB。也就是说，一台24GB的Apple Silicon Mac，确实可以把27B级别的多模态模型装进口袋里。 / 我把上下文设置为8K、并发设置为1，并启用了MTP block size 3。在这台M4 Mac mini上的实测结果是：普通短回答约4.12 token/s MTP接受率较高时接近9.94 token/s 1:文字对话正常 2:图片识别正常 3:思考模式正常模型启动大约需要6～8秒它当然没有小模型那么快，也比不上云端服务器集群。但它有一个非常重要的优势：不再按Token付费。模型下载完成以后，即使断开网络也能继续运行。聊天记录、图片、文件和提示词都不需要离开自己的电脑。可以用它做翻译、总结、写作、代码分析、资料整理，也可以通过OpenAI兼容接口接入自己的工作流。浏览器只是一个聊天界面，并不是必需的。终端、桌面客户端或者自己编写的程序，都可以直接调用这个本地模型。我给它分配了独立目录、独立Python环境和独立端口，我主要为了千问和电脑里原有的百灵模型共存。只是24GB内存不适合同时加载两套大模型，使用时切换即可，不会影响原有模型文件。 #Token自由 #Qwen #MLX #MTP #AppleSilicon #MacMini #本地大模型 #AI部署

我用一台24GB Mac，实现了“Token自由” 最近，我在一台24GB内存的M4 Mac mini上，本地部署了Qwen3.8-27B。不是缩水版，也不是调用云端API，而是： 😎Qwen3.8-27B完整模型 ☑️MLX 4-bit量化 ☑️MTP推测解码加速 ☑️支持文字、图片和思考模式 ☑️提供OpenAI兼容接口 ☑️所有对话完全在本机完成这套模型的主体大约15GB，MTP草稿模型约256MB，实际运行峰值内存约18.17GB。也就是说，一台24GB的Apple Silicon Mac，确实可以把27B级别的多模态模型装进口袋里。 / 我把上下文设置为8K、并发设置为1，并启用了MTP block size 3。在这台M4 Mac mini上的实测结果是：普通短回答约4.12 token/s MTP接受率较高时接近9.94 token/s 1:文字对话正常 2:图片识别正常 3:思考模式正常模型启动大约需要6～8秒它当然没有小模型那么快，也比不上云端服务器集群。但它有一个非常重要的优势：不再按Token付费。模型下载完成以后，即使断开网络也能继续运行。聊天记录、图片、文件和提示词都不需要离开自己的电脑。可以用它做翻译、总结、写作、代码分析、资料整理，也可以通过OpenAI兼容接口接入自己的工作流。浏览器只是一个聊天界面，并不是必需的。终端、桌面客户端或者自己编写的程序，都可以直接调用这个本地模型。我给它分配了独立目录、独立Python环境和独立端口，我主要为了千问和电脑里原有的百灵模型共存。只是24GB内存不适合同时加载两套大模型，使用时切换即可，不会影响原有模型文件。 #Token自由 #Qwen #MLX #MTP #AppleSilicon #MacMini #本地大模型 #AI部署

DeFi狙击手 | Ai🕊️

30,119 просмотров • 2 дней назад

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 просмотров • 3 месяцев назад

炸裂！Google Gemma-4大模型直接跑在iPhone上了！步骤超简单： 1. App Store下载「Google AI Edge Gallery」（据说Android也可下载） 2. 打开点「Agent Skills」 3. 下载Gemma-4模型（约3G） 4. 直接本地跑，支持中文重点：据说数据离线可使用不足：知识库时间到2025年1月这意味着什么？ • 完全离线，数据不出去 • 没有API费用 • 真正的端侧AI Google这步棋下得狠，直接把天花板捅破了。 #Gemma #AI #iPhone #端侧AI #Google

炸裂！Google Gemma-4大模型直接跑在iPhone上了！步骤超简单： 1. App Store下载「Google AI Edge Gallery」（据说Android也可下载） 2. 打开点「Agent Skills」 3. 下载Gemma-4模型（约3G） 4. 直接本地跑，支持中文重点：据说数据离线可使用不足：知识库时间到2025年1月这意味着什么？ • 完全离线，数据不出去 • 没有API费用 • 真正的端侧AI Google这步棋下得狠，直接把天花板捅破了。 #Gemma #AI #iPhone #端侧AI #Google

行者AI视频

328,896 просмотров • 4 месяцев назад

前端设计这一块谷歌是真没问题！我用Gemini 3.5 Flash做了个3D飞机模型展览，太帅了呀！制作方法： 1.GPT2-image生生成正视图、背视图、左视图和右视图 2.3D模型生成，注意需要用纹理 3.UI预览图生成，调用Codex内置GPT2-image即可 4.用Gemini 3.5 Flash生成网站生成网站这一步在Google AI Studio上传不了3D模型的glb文件，所以就必须要调API在本地做个网站了。我是在Zenmux调用的，大家应该对Zenmux也不陌生，就是那个一有新模型就免费给大家玩的网站。它提供一个KEY调用所有顶级大模型的功能，不仅可以用Gemini 3.5 Flash绘制前端，如果有小BUG，还可以再切换到GPT5.5或Oplu4.7进行修复，使用非常丝滑！想先免费试一试下 Gemini 3.5 Flash的能力？壕气冲天的Zenmux现在直接免费送一周TOKEN（有限额）！传送门直达：

前端设计这一块谷歌是真没问题！我用Gemini 3.5 Flash做了个3D飞机模型展览，太帅了呀！制作方法： 1.GPT2-image生生成正视图、背视图、左视图和右视图 2.3D模型生成，注意需要用纹理 3.UI预览图生成，调用Codex内置GPT2-image即可 4.用Gemini 3.5 Flash生成网站生成网站这一步在Google AI Studio上传不了3D模型的glb文件，所以就必须要调API在本地做个网站了。我是在Zenmux调用的，大家应该对Zenmux也不陌生，就是那个一有新模型就免费给大家玩的网站。它提供一个KEY调用所有顶级大模型的功能，不仅可以用Gemini 3.5 Flash绘制前端，如果有小BUG，还可以再切换到GPT5.5或Oplu4.7进行修复，使用非常丝滑！想先免费试一试下 Gemini 3.5 Flash的能力？壕气冲天的Zenmux现在直接免费送一周TOKEN（有限额）！传送门直达：

逸尘

42,390 просмотров • 3 месяцев назад