Loading video...

Video Failed to Load

There was a problem loading this video. This could be due to a temporary network issue or the video might be unavailable.

我用一台24GB Mac，实现了“Token自由” 最近，我在一台24GB内存的M4 Mac mini上，本地部署了Qwen3.8-27B。不是缩水版，也不是调用云端API，而是： 😎Qwen3.8-27B完整模型 ☑️MLX 4-bit量化 ☑️MTP推测解码加速 ☑️支持文字、图片和思考模式 ☑️提供OpenAI兼容接口 ☑️所有对话完全在本机完成这套模型的主体大约15GB，MTP草稿模型约256MB，实际运行峰值内存约18.17GB。也就是说，一台24GB的Apple Silicon Mac，确实可以把27B级别的多模态模型装进口袋里。 / 我把上下文设置为8K、并发设置为1，并启用了MTP block size 3。在这台M4 Mac mini上的实测结果是：普通短回答约4.12 token/s MTP接受率较高时接近9.94 token/s 1:文字对话正常 2:图片识别正常 3:思考模式正常模型启动大约需要6～8秒它当然没有小模型那么快，也比不上云端服务器集群。但它有一个非常重要的优势：不再按Token付费。模型下载完成以后，即使断开网络也能继续运行。聊天记录、图片、文件和提示词都不需要离开自己的电脑。可以用它做翻译、总结、写作、代码分析、资料整理，也可以通过OpenAI兼容接口接入自己的工作流。浏览器只是一个聊天界面，并不是必需的。终端、桌面客户端或者自己编写的程序，都可以直接调用这个本地模型。我给它分配了独立目录、独立Python环境和独立端口，我主要为了千问和电脑里原有的百灵模型共存。只是24GB内存不适合同时加载两套大模型，使用时切换即可，不会影响原有模型文件。 #Token自由 #Qwen #MLX #MTP #AppleSilicon #MacMini #本地大模型 #AI部署

DeFi狙击手 | Ai🕊️

57,279 subscribers

37,785 views • 1 month ago •via X (Twitter)

Science & Technology Education Finance

Anya Rossi• Live Now

Private livecam show

43 Comments

Cry 许个愿 | Gate Card刷遍全球1 month ago

本地跑27B太实用了，不用联网不怕断网，token自由确实让人心动。

DeFi狙击手 | Ai🕊️1 month ago

而且还是多模态能识图

Crypto.七月 | Gate Card刷遍全球1 month ago

24G内存跑27B模型还支持图片和思考模式，断网也能用，这本地部署思路值得学习。

加密旺哥1 month ago

本地跑大模型也太省心了

赛博老登1 month ago

我给他接到了hermes上还是难以忍受他的慢。。。

智见AI-大鹏1 month ago

普通短回答约4.12 token/s 这玩个蛋啊～

DeFi狙击手 | Ai🕊️1 month ago

一般达到7左右。

智见AI-大鹏1 month ago

7也没法用啊～70才满足正常使用

DeFi狙击手 | Ai🕊️1 month ago

搞点简单的东西可以的，着急的就用云端😁。我正在解决吞吐的速度

阿军1 month ago

省钱，省时省力。

Louis.霍霍1 month ago

M4已经很强大了，M5还没机会感受过

辞安|Bird🕊1 month ago

这波操作真带劲，本地跑模型太香了

三炮投研（Alpha版）1 month ago

24G跑27B真香，断网还稳

陶朱 | Gate Card刷遍全球1 month ago

本地大模型真香

TerryAle1 month ago

泼盆冷水哈，8k 基本不能配合目前流行的一切智能体，只有没啥插件，skill 的 pi 能勉强用用

Husky | Solo Dev1 month ago

为什么我跑起来这么慢呢？基本不实用

king | 来Gate事件合约抢百万积分1 month ago

本地AI普及加速未来已来

时愿1 month ago

我也去按你的试试

DeFi狙击手 | Ai🕊️1 month ago

非常丝滑

猪脚饭.Ai1 month ago

厉害了我也试试去

Zyc1 month ago

还得是本地大模型啊

HuaHua🌱1 month ago

主要是省钱，好用

biren888.eth|现货首选CoinUP .0手续费1 month ago

不用再给 API 按 token 计费，隐私可控

Breeze Liu1 month ago

速度咋样，我的 32g 内存

Nana1 month ago

学习到啦！这个很实用

Deepcoin93%返佣查询1 month ago

24G内存跑27B模型还是香的，本地玩就是省心

Qinge1 month ago

为啥我的一跑就卡

Jose Wang1 month ago

你的视频加速的厉害，实际上这个输出根本没办法工作，就做个秀放网上吸引流量而已。

ZX Huang1 month ago

每秒4token？能干活吗...

Iqbal Bhawana1 month ago

Great, I have a MacBook M3 Pro with 36GB RAM. The issue that I have not been able to overcome since the last two years while trying to install local models on MacBook M3 Pro is that these models generate excessive heat. How do you overcome this issue? This is the only thing keeping me from installing local models on MacBook, can you share the settings that you have made which enable your Mac mini not being cooked by running of these local models?

DeFi狙击手 | Ai🕊️1 month ago

你把我的文章丢给codex就可以进行安装了。

小赵|🕊️| 🎒1 month ago

跑起来还挺流畅

DeFi狙击手 | Ai🕊️1 month ago

必须的配好的加速器

呆呆呆呆🕊1 month ago

太香了也去整一个

vibe睦头人1 month ago

这个mac是m几芯片嘞？我m1pro 32G可否一战？

DeFi狙击手 | Ai🕊️1 month ago

足够，我m4

紅喜1 month ago

智商如何？

DeFi狙击手 | Ai🕊️1 month ago

相当于克罗德4.6

牛魔王 | OP_CAT1 month ago

24G跑27B真香 token自由太顶了

nico1 month ago

8k 的上下文你能做什么？还不如豆包

拳头👊🕊️1 month ago

这速度虽然不算快，但本地零成本随便折腾，挺心动。

MR.刘1 month ago

还可以这样本地跑大模型省心多了

mooc1 month ago

太慢了吧，不如用订阅

Related Videos

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

前 OpenAI CTO Mira 的公司 Thinking Machines 发了一个非常创新的模型，他们叫交互模型。这个模型能够持续接收音频、视频、文本等原生的多模态内容，并且实时进行思考、响应和行动。它不像之前那种 Agent 脚手架，把多个模型、多个模态的模型通过 Agent 串起来，而是所有模态都在一整个模型里。这样就可以让用户和 AI 在任意模态下实时进行交互：你可以随时打断它，随时进行补充，AI 会实时关注你的状态，输出结果，不会像之前一样，必须等一句话结束了才能跟模型交互。核心思路就是把交互部分训练到了模型里。他们从零训练的这个交互模型主要包括两部分：前台交互模型： (a) 一直在线，一直在听、看和读用户提供的内容 (b) 每 200 毫秒作为一个节点，同时处理输入并产出一小段输出 (c) 负责照顾用户的在场感，支持用户打断、插话，并能对屏幕和视频内容做出反应后台推理模型： (a) 用来处理需要持续推理、工具调用以及长上下文、长规划的任务 (b) 交互模型会在合适的时候，将推理模型的结果放回到对话里，不会插入突兀的内容用户最终看到的结果，就是一个既能实时交互，又能够处理重度任务的界面。

歸藏(guizang.ai)

47,074 views • 5 months ago

Pi 用久了，接模型这件事越来越麻烦。每家模型平台都有自己的账号和 Key，余额散在几个地方。想把同一个任务换个模型再跑一遍，又要重新配置、充值和查账。模型接得越多，配置也越乱。这次我把 ZenMux 接进 Pi，只维护一个 provider 和一把 Key。 GPT-6 Astra 上线后，我直接在 Pi 里选择 openai/gpt-6-astra，然后做了几个测试测试模型的真实性。 1、模型名称，看看是不是真的GPT-6 2、模型的写作能力，看看最新模型在写作上的提升 3、修改一个代码里面的Bug，测试真实的能力以后想用同一个任务对比其他模型，直接在 Pi 里切换模型即可。实际 token 和花费也能放在同一处看，省掉了到处找 Key、查余额的麻烦。 GPT-6 Astra 面向复杂 agent 工作流。这次我主要看它能不能把跨文件任务做完整，以及输出里有多少内容可以直接使用。官推提到它通常会减少输出 token，录屏里的实际数字会更有参考价值。 ZenMux 本场还有 7 天限时充值活动。充 $50 得 $70 充 $100 得 $150 每个账号限兑一次原本就准备跑 API 的，可以趁这次多留一点测试额度。 GPT-6 Astra

Pi 用久了，接模型这件事越来越麻烦。每家模型平台都有自己的账号和 Key，余额散在几个地方。想把同一个任务换个模型再跑一遍，又要重新配置、充值和查账。模型接得越多，配置也越乱。这次我把 ZenMux 接进 Pi，只维护一个 provider 和一把 Key。 GPT-6 Astra 上线后，我直接在 Pi 里选择 openai/gpt-6-astra，然后做了几个测试测试模型的真实性。 1、模型名称，看看是不是真的GPT-6 2、模型的写作能力，看看最新模型在写作上的提升 3、修改一个代码里面的Bug，测试真实的能力以后想用同一个任务对比其他模型，直接在 Pi 里切换模型即可。实际 token 和花费也能放在同一处看，省掉了到处找 Key、查余额的麻烦。 GPT-6 Astra 面向复杂 agent 工作流。这次我主要看它能不能把跨文件任务做完整，以及输出里有多少内容可以直接使用。官推提到它通常会减少输出 token，录屏里的实际数字会更有参考价值。 ZenMux 本场还有 7 天限时充值活动。充 $50 得 $70 充 $100 得 $150 每个账号限兑一次原本就准备跑 API 的，可以趁这次多留一点测试额度。 GPT-6 Astra

小墨同学

20,221 views • 1 month ago

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

开源分解图层大模型这么快就来了? 给大家带来阿里刚刚发布的 Qwen-Image-Layered 模型实测, 这是一个可以把图片分成不同图层的大模型, 模型是基于 Qwen-Image 微调的. 本次我的测试覆盖这个模型的擅长场景(海报), 指令遵循测试(指定抽取目标), 边缘处理(头发), 极限测试(全是贴纸, 一个贴纸一个图层的话可以抽取50多个图层). 直接说结论, 首先还是模型太大了, 因为这个模型基于 Qwen-Image 所以是个20B的模型, 我是用HuggingFace Zero GPU 测试, 每次运行大概2分钟左右, 模型的确可以做到分离图层, 而且边缘处理很不错, 不过稳定性有待优化, 在我测试中4个图层可以输出, 但是8个或者10个图层就炸了, 怀疑可能是超过了Zero GPU超时或者bug (GPU是H200, 不太可能爆显存), 输出尺寸只有 544*736, 官方也推荐640分辨力, 这点也需要提升, 以及模型还是太大了, 20B, 希望能优化下尺寸.

karminski-牙医

14,175 views • 9 months ago

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 views • 2 years ago

我把百灵大模型装进 Mac，接进了自己的自动化打狗meme系统如何让大模型全程不消耗云端 Token 额度，写作、编辑、报表和代码都在自己的电脑上完成？我把百灵大模型装进 Mac 后，给它出了一个和我工作直接相关的任务： “如果我有一些加密货币和美股策略，你能不能帮我做自动化监控和辅助决策？” 不到 5 分钟，它从空白开始拆出了数据源、信号生成、风险控制、执行监控和 Python 代码骨架。整个过程由 Ling-3.0-tiny-int4 在我的 M4 Mac mini 本地完成，没有调用云端模型。我没有停留在聊天演示：现在已经把它接入自己的自动化打狗系统，开始测试百灵 AI 的入场复核和影子决策能力。

我把百灵大模型装进 Mac，接进了自己的自动化打狗meme系统如何让大模型全程不消耗云端 Token 额度，写作、编辑、报表和代码都在自己的电脑上完成？我把百灵大模型装进 Mac 后，给它出了一个和我工作直接相关的任务： “如果我有一些加密货币和美股策略，你能不能帮我做自动化监控和辅助决策？” 不到 5 分钟，它从空白开始拆出了数据源、信号生成、风险控制、执行监控和 Python 代码骨架。整个过程由 Ling-3.0-tiny-int4 在我的 M4 Mac mini 本地完成，没有调用云端模型。我没有停留在聊天演示：现在已经把它接入自己的自动化打狗系统，开始测试百灵 AI 的入场复核和影子决策能力。

DeFi狙击手 | Ai🕊️

14,015 views • 1 month ago

Deepseek V4 Flash 真的惊艳到我了，我就用一句话就生成了一个AI控制台。我使用open code+Deepseek V4 Flash测试了一下模型的能力，总共不到五十秒，就给我生成了对应能力了。主要是该有的模块都有，而且很多细节上面做了特定的优化。模块划分： 1、仪表盘：做中央把控看模型消耗。 2、任务：看任务指派和模型上下文处理。 3、对话：直接在网页上可以和AI直接对话。现在最重要的是open code还能免费使用，可以马上上手体验一下，国产模型是越来越强了，以后真的可以不使用国外模型了。

Deepseek V4 Flash 真的惊艳到我了，我就用一句话就生成了一个AI控制台。我使用open code+Deepseek V4 Flash测试了一下模型的能力，总共不到五十秒，就给我生成了对应能力了。主要是该有的模块都有，而且很多细节上面做了特定的优化。模块划分： 1、仪表盘：做中央把控看模型消耗。 2、任务：看任务指派和模型上下文处理。 3、对话：直接在网页上可以和AI直接对话。现在最重要的是open code还能免费使用，可以马上上手体验一下，国产模型是越来越强了，以后真的可以不使用国外模型了。

小墨同学

27,520 views • 2 months ago

union-alpha 应该不是国产模型? 给大家简单测一下 openrouter 上这个匿名模型 union-alpha. 简单来说, 看上去并不是一个2026年现阶段的旗舰级模型. 一个重要特征是, 构建3D场景需要用到three.js库, 在我测试的今年的这些模型中, 大家都已经迭代到了 three.js r160版本(23年底发布的). 而这个模型还在用three.js r127(2021年的版本). 所以这个模型明显不像是国内的旗舰模型, 也不可能是 OpenAI/Anthropic 的模型了. 实际效果嘛, 大家自己看吧. 我就不安排详细测试了. > #unionalpha

union-alpha 应该不是国产模型? 给大家简单测一下 openrouter 上这个匿名模型 union-alpha. 简单来说, 看上去并不是一个2026年现阶段的旗舰级模型. 一个重要特征是, 构建3D场景需要用到three.js库, 在我测试的今年的这些模型中, 大家都已经迭代到了 three.js r160版本(23年底发布的). 而这个模型还在用three.js r127(2021年的版本). 所以这个模型明显不像是国内的旗舰模型, 也不可能是 OpenAI/Anthropic 的模型了. 实际效果嘛, 大家自己看吧. 我就不安排详细测试了. > #unionalpha

karminski-牙医

18,054 views • 24 days ago

黄仁勋提到：优秀的AI开源模型对整个行业都是好事，无论它来自哪里... 在和 axios 的最新访谈中，Jensen已经聊到了中国的开源模型和美国闭源模型的看法，今天又特意注册X发文说明为什么开源模型很重要..... 他说：“这些中国模型非常优秀，优秀的开源模型就应该被使用” “我认为优秀的AI开源模型对整个行业都是好事，显然，只要有优秀的AI，即使是开源的，无论它来自哪里，都会带来更多的使用” “优秀的模型带来大量使用，大量使用带来巨大增长。而这只是个开始” “DeepSeek当时就是这样，Kimi也会是这样” “还有一个误解是，开源模型会对闭源模型构成对抗，这也是错的”

黄仁勋提到：优秀的AI开源模型对整个行业都是好事，无论它来自哪里... 在和 axios 的最新访谈中，Jensen已经聊到了中国的开源模型和美国闭源模型的看法，今天又特意注册X发文说明为什么开源模型很重要..... 他说：“这些中国模型非常优秀，优秀的开源模型就应该被使用” “我认为优秀的AI开源模型对整个行业都是好事，显然，只要有优秀的AI，即使是开源的，无论它来自哪里，都会带来更多的使用” “优秀的模型带来大量使用，大量使用带来巨大增长。而这只是个开始” “DeepSeek当时就是这样，Kimi也会是这样” “还有一个误解是，开源模型会对闭源模型构成对抗，这也是错的”

梭哈.AI

51,188 views • 2 months ago

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,125,301 views • 2 years ago

前端设计这一块谷歌是真没问题！我用Gemini 3.5 Flash做了个3D飞机模型展览，太帅了呀！制作方法： 1.GPT2-image生生成正视图、背视图、左视图和右视图 2.3D模型生成，注意需要用纹理 3.UI预览图生成，调用Codex内置GPT2-image即可 4.用Gemini 3.5 Flash生成网站生成网站这一步在Google AI Studio上传不了3D模型的glb文件，所以就必须要调API在本地做个网站了。我是在Zenmux调用的，大家应该对Zenmux也不陌生，就是那个一有新模型就免费给大家玩的网站。它提供一个KEY调用所有顶级大模型的功能，不仅可以用Gemini 3.5 Flash绘制前端，如果有小BUG，还可以再切换到GPT5.5或Oplu4.7进行修复，使用非常丝滑！想先免费试一试下 Gemini 3.5 Flash的能力？壕气冲天的Zenmux现在直接免费送一周TOKEN（有限额）！传送门直达：

前端设计这一块谷歌是真没问题！我用Gemini 3.5 Flash做了个3D飞机模型展览，太帅了呀！制作方法： 1.GPT2-image生生成正视图、背视图、左视图和右视图 2.3D模型生成，注意需要用纹理 3.UI预览图生成，调用Codex内置GPT2-image即可 4.用Gemini 3.5 Flash生成网站生成网站这一步在Google AI Studio上传不了3D模型的glb文件，所以就必须要调API在本地做个网站了。我是在Zenmux调用的，大家应该对Zenmux也不陌生，就是那个一有新模型就免费给大家玩的网站。它提供一个KEY调用所有顶级大模型的功能，不仅可以用Gemini 3.5 Flash绘制前端，如果有小BUG，还可以再切换到GPT5.5或Oplu4.7进行修复，使用非常丝滑！想先免费试一试下 Gemini 3.5 Flash的能力？壕气冲天的Zenmux现在直接免费送一周TOKEN（有限额）！传送门直达：

逸尘

43,295 views • 4 months ago

大模型写代码比说话还快是什么体验? 智谱刚出了一个 GLM-5.1-highspeed 版本, 赶紧要了个内测给大家做点有趣的 APP. 我测了一下这个模型反应速度用来写代码的话, 人类打字甚至都跟不上它, 于是我干脆接了个语音转文本的服务直接让我言出法随操作它写代码. 大家能看到基本是我说完3s左右它就修改完毕了, 这之间发生了语音转文本(第三方服务), 模型判断是否任务可以并发, 模型 prefill, 模型使用 tool call 修改代码段. iframe 重新渲染. 这些全都发生在 3s 这么短的时间内. 直接体验拉满. 这个模型直接量变引起了质变, 一些之前不敢想象的交互体验现在都可以做了. 所以如果你想使用这个模型构建一些极具竞争力的项目, 不妨去申请试试, 目前这个模型正在向部分企业用户提供中. #GLM #GLM51highspeed #智谱AI

大模型写代码比说话还快是什么体验? 智谱刚出了一个 GLM-5.1-highspeed 版本, 赶紧要了个内测给大家做点有趣的 APP. 我测了一下这个模型反应速度用来写代码的话, 人类打字甚至都跟不上它, 于是我干脆接了个语音转文本的服务直接让我言出法随操作它写代码. 大家能看到基本是我说完3s左右它就修改完毕了, 这之间发生了语音转文本(第三方服务), 模型判断是否任务可以并发, 模型 prefill, 模型使用 tool call 修改代码段. iframe 重新渲染. 这些全都发生在 3s 这么短的时间内. 直接体验拉满. 这个模型直接量变引起了质变, 一些之前不敢想象的交互体验现在都可以做了. 所以如果你想使用这个模型构建一些极具竞争力的项目, 不妨去申请试试, 目前这个模型正在向部分企业用户提供中. #GLM #GLM51highspeed #智谱AI

karminski-牙医

11,867 views • 4 months ago

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

单卡 700TPS! Diffusion Gemma 来了! Google 刚刚发布了 Gemma 小模型的 Diffusion 版本! 大小26B, 激活参数量4B, 最重要的是, 这次还跟 NVIDIA 合作针对4090和5090优化了一波, 5090每秒能生成700+token! 给不知道什么是 Diffusion 大模型的同学科普一下, 传统大模型都是一个字一个字吐出来的, 而 Diffusion 大模型则是如同刮奖一样, 是一片一片出来的, 速度高是 Diffusion 大模型的优点. 有得必有失, 缺点当然就是输出质量没有传统大模型好了. 不过这次的 Diffusion Gemma 还是比之前的 Diffusion 文本大模型好不少, AIME 2026(数学能力测试) 能达到 Gemma4-26B-A4B 的94%的水平, 最差的是tau2 bench(考验Agent能力的测试), 也能达到82%. 这个模型大小 4bit 量化版本 16G 显存就能运行了, 另外, 我突发奇想, 这个模型能不能作为 gemma4 dense 模型的草稿模型用来投机解码? 感兴趣的同学可以试试! #diffusiongemma #gemma #gemma4 #google

karminski-牙医

12,374 views • 4 months ago

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,719 views • 1 year ago

Hermes Agent这样设置那么恭喜你为了省钱又进一步😂 deepseek为主大模型，kimi2.6为视觉模型，并且无需来回切换，只要丢图片进去就会自动使用kimi2.6去识别。（理论是你可以设置更多的大模型去完成不同的工作，并且全程自动无需切换大模型）写很多以X文章的形式去编辑这类干货教程已经很多了，我想试试普通的发帖方式编辑会不会被更多的人去看到。那么话不多说下面直接是干货！ - 主模型：deepseek-v4-pro 视觉模型：kimi-k2.6 运作逻辑：deepseek 负责所有的工具调用、代码、排查、对话，一旦你丢过来图片或者视频帧，系统自动切到 kimi 去识图，识完把结果扔回给 deepseek 继续处理。整个过程不需要手动切换模型，你体感上就是同一个助手在干活，但实际上后面是两个大脑在协作。 - 为什么这样搭 deepseek-v4-pro 的工具调用和长上下文处理能力确实强，跑代码任务、排查问题、多步骤复杂操作的稳定性比 kimi 好一截。但它有一个硬伤暂时不支持多模态，直接给它丢图片会报 unknown variant image_url 的错。而 kimi-k2.6 的多模态能力不用说，中文 OCR 也准，但纯文本推理和工具调用不如 deepseek 稳。所以最优解就是各取所长，deepseek 当大脑，kimi 当眼睛。（其实说白了就是为了省Token！！！） - 配置步骤第一步，确保 API Key 就位。在 `~/.hermes/.env` 里确认两行： ``` DEEPSEEK_API_KEY=你的deepseek密钥 KIMI_API_KEY=你的kimi密钥 ``` 第二步，切主模型，终端敲： ``` hermes config set model.default deepseek-v4-pro hermes config set model.provider deepseek ``` 第三步，设视觉模型： ``` hermes config set kimi-k2.6 hermes config set kimi-coding hermes config set ``` 第四步，如果你的 kimi key 是老 key（sk- 开头不是 sk-kimi- 开头），需要在 `.env` 最后加一行： ``` KIMI_BASE_URL= ``` 新 key 走 key 走默认写的是错的，不改会 401。第五步，`/reset` 重开会话，生效。 - 踩过的坑一个是上面说的 api 地址问题，和差一个字母，排查了好一阵。另一个更隐蔽：Hermes 内置的 vision 工具往 kimi API 发请求时，content 数组里 image_url 排在了 text 前面，kimi 的接口不认这个顺序，偶尔 400。目前的变通方案是发图时绕过内置工具，直接 Python 调 moonshot API，text 放 image_url 前面就没事。不影响使用，但不算完美，等后续优化。 - 配完之后你正常跟他聊天就行，deepseek 处理一切。发图过来的时候，你不需要说"用 kimi 看"，系统自动检测到图片就走 kimi 视觉，识读完无缝回到 deepseek 继续对话。你体感上就是同一个助手能看能想能干，但后台其实是两个模型在做各自最擅长的事。这个方案的最大好处是不用你在聊天里手动切模型，流程全自动。而且以后如果想换视觉模型，改 ` 一行就行，不影响主模型。 - 兄弟们有哪个不懂的直接甩在评论区，狙击手会挨个解答！

Hermes Agent这样设置那么恭喜你为了省钱又进一步😂 deepseek为主大模型，kimi2.6为视觉模型，并且无需来回切换，只要丢图片进去就会自动使用kimi2.6去识别。（理论是你可以设置更多的大模型去完成不同的工作，并且全程自动无需切换大模型）写很多以X文章的形式去编辑这类干货教程已经很多了，我想试试普通的发帖方式编辑会不会被更多的人去看到。那么话不多说下面直接是干货！ - 主模型：deepseek-v4-pro 视觉模型：kimi-k2.6 运作逻辑：deepseek 负责所有的工具调用、代码、排查、对话，一旦你丢过来图片或者视频帧，系统自动切到 kimi 去识图，识完把结果扔回给 deepseek 继续处理。整个过程不需要手动切换模型，你体感上就是同一个助手在干活，但实际上后面是两个大脑在协作。 - 为什么这样搭 deepseek-v4-pro 的工具调用和长上下文处理能力确实强，跑代码任务、排查问题、多步骤复杂操作的稳定性比 kimi 好一截。但它有一个硬伤暂时不支持多模态，直接给它丢图片会报 unknown variant image_url 的错。而 kimi-k2.6 的多模态能力不用说，中文 OCR 也准，但纯文本推理和工具调用不如 deepseek 稳。所以最优解就是各取所长，deepseek 当大脑，kimi 当眼睛。（其实说白了就是为了省Token！！！） - 配置步骤第一步，确保 API Key 就位。在 `~/.hermes/.env` 里确认两行： ``` DEEPSEEK_API_KEY=你的deepseek密钥 KIMI_API_KEY=你的kimi密钥 ``` 第二步，切主模型，终端敲： ``` hermes config set model.default deepseek-v4-pro hermes config set model.provider deepseek ``` 第三步，设视觉模型： ``` hermes config set kimi-k2.6 hermes config set kimi-coding hermes config set ``` 第四步，如果你的 kimi key 是老 key（sk- 开头不是 sk-kimi- 开头），需要在 `.env` 最后加一行： ``` KIMI_BASE_URL= ``` 新 key 走 key 走默认写的是错的，不改会 401。第五步，`/reset` 重开会话，生效。 - 踩过的坑一个是上面说的 api 地址问题，和差一个字母，排查了好一阵。另一个更隐蔽：Hermes 内置的 vision 工具往 kimi API 发请求时，content 数组里 image_url 排在了 text 前面，kimi 的接口不认这个顺序，偶尔 400。目前的变通方案是发图时绕过内置工具，直接 Python 调 moonshot API，text 放 image_url 前面就没事。不影响使用，但不算完美，等后续优化。 - 配完之后你正常跟他聊天就行，deepseek 处理一切。发图过来的时候，你不需要说"用 kimi 看"，系统自动检测到图片就走 kimi 视觉，识读完无缝回到 deepseek 继续对话。你体感上就是同一个助手能看能想能干，但后台其实是两个模型在做各自最擅长的事。这个方案的最大好处是不用你在聊天里手动切模型，流程全自动。而且以后如果想换视觉模型，改 ` 一行就行，不影响主模型。 - 兄弟们有哪个不懂的直接甩在评论区，狙击手会挨个解答！

DeFi狙击手 | Ai🕊️｜Gate美股0费率

25,821 views • 4 months ago

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》（中英双语字幕）这个视频介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。原始视频链接：

宝玉

114,857 views • 3 years ago

随着技术的发展，现在模型上架已经不是很难的事了，难的是怎么把流量分得让人信服。现在模型多到用不过来。开发者找模型、比价格、接 API，已经够折腾了；接上以后还得面对另一个问题：这条推理服务到底稳不稳？我看 DGrid 这次的 Model Marketplace，比较有意思的是它把后面两层也接了进来。模型提供方可以自己上架和定价，开发者从统一入口发现、比较和调用；AI Arena 不亮模型名字，让用户直接在两个回答里盲选，把真实偏好变成发现和路由的信号；PoQ 再用独立随机测试检查准确性、一致性和格式合规，不会触碰到用户请求数据。这样一来，一个小模型或者垂直模型想拿到调用，至少多了一条靠真实表现被发现的路子。推理节点想拿更多流量，也得把质量和效率做出来。这套闭环最后能不能跑好，我比较看重这两件事：上架模型有没有真实调用，Arena 和 PoQ 的信号有没有真的改善路由。 DGrid 官方披露，2026 年上半年收入超过 2300 万美元。业务基础已经有了，这次补的是模型市场这一层。DGrid AI

随着技术的发展，现在模型上架已经不是很难的事了，难的是怎么把流量分得让人信服。现在模型多到用不过来。开发者找模型、比价格、接 API，已经够折腾了；接上以后还得面对另一个问题：这条推理服务到底稳不稳？我看 DGrid 这次的 Model Marketplace，比较有意思的是它把后面两层也接了进来。模型提供方可以自己上架和定价，开发者从统一入口发现、比较和调用；AI Arena 不亮模型名字，让用户直接在两个回答里盲选，把真实偏好变成发现和路由的信号；PoQ 再用独立随机测试检查准确性、一致性和格式合规，不会触碰到用户请求数据。这样一来，一个小模型或者垂直模型想拿到调用，至少多了一条靠真实表现被发现的路子。推理节点想拿更多流量，也得把质量和效率做出来。这套闭环最后能不能跑好，我比较看重这两件事：上架模型有没有真实调用，Arena 和 PoQ 的信号有没有真的改善路由。 DGrid 官方披露，2026 年上半年收入超过 2300 万美元。业务基础已经有了，这次补的是模型市场这一层。DGrid AI

bbshare

11,009 views • 1 month ago

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.

一个模型搞定视频+音频+口型! 你看到的这个就是 LTX 刚刚发布的 LTX-2 开放权重大模型, 这个模型可以文生视频或者图生视频, 这个模型最大的特点是在保证了画质和一致性的同时, 可以生成音频! 而且音频和口型完全适配! 并且说话人神态也非常棒! 模型大小是 19B, 相当可用! 演示视频是我用 HuggingFace Zero GPU 生成的 demo, 10秒视频大概需要5分钟左右生成时间. 我测试目前来看最大的优点就是口型和声音生成得非常好, 并且一致性很高. 指定人物使用什么样的银色就能稳定生成. 当然模型也有不足之处, 主要是还是偶尔能看到模型生成人物皮肤的那种油腻感. 当然官方的 pro 版本在这点上处理的更好, 并且 pro 版本支持4K分辨率输出, 当然 pro 版本是没有开源的.

karminski-牙医

19,836 views • 9 months ago

最近国内几个模型大厂好像摊上事了？也不知道真事假事，还是那个姓A的在碰瓷挑事！吃瓜的时候，突然刷到一个新模型！乍一看Atria ASI，差点看成了是Astra，真的很像，模型代号叫 Atria Dawn Preview！据说背后约三分之二的研发成员还是高校在校学生！！我是真想知道这群学生能把模型做成什么样？所以，找了很久才找到了API，接入下来测试了一下，我用它一句话做个 3D 家装工作台，最后出来的效果居然还可以！！能画户型、拖家具、改尺寸、保存项目、导出截图、还能自由拖放布置家具，其实这个任务倒是不难，主要我一句话说的很笼统，需要它能够理解我的意图，并且准确规划，将这个工作台做的尽可能完善。但其实，写代码还并不是这个模型的主要能力。它的定位，是面向科研和专业工作的智能体模型，擅长把一个复杂任务继续往前推进，最终变成可运行、可检查、可使用的成果。比如从一个问题、一份数据、一段代码或者一篇论文出发，它可以继续完成资料检索、代码实现、实验执行和反馈修正，最后交付研究报告、软件系统、文档表格、演示文稿、三维设计等等。可以用来做科研、写报告、写代码、画CAD！！不知道这个API能用多久，后面我可以再测试一下不同的场景。有兴趣可以持续关注一下！

最近国内几个模型大厂好像摊上事了？也不知道真事假事，还是那个姓A的在碰瓷挑事！吃瓜的时候，突然刷到一个新模型！乍一看Atria ASI，差点看成了是Astra，真的很像，模型代号叫 Atria Dawn Preview！据说背后约三分之二的研发成员还是高校在校学生！！我是真想知道这群学生能把模型做成什么样？所以，找了很久才找到了API，接入下来测试了一下，我用它一句话做个 3D 家装工作台，最后出来的效果居然还可以！！能画户型、拖家具、改尺寸、保存项目、导出截图、还能自由拖放布置家具，其实这个任务倒是不难，主要我一句话说的很笼统，需要它能够理解我的意图，并且准确规划，将这个工作台做的尽可能完善。但其实，写代码还并不是这个模型的主要能力。它的定位，是面向科研和专业工作的智能体模型，擅长把一个复杂任务继续往前推进，最终变成可运行、可检查、可使用的成果。比如从一个问题、一份数据、一段代码或者一篇论文出发，它可以继续完成资料检索、代码实现、实验执行和反馈修正，最后交付研究报告、软件系统、文档表格、演示文稿、三维设计等等。可以用来做科研、写报告、写代码、画CAD！！不知道这个API能用多久，后面我可以再测试一下不同的场景。有兴趣可以持续关注一下！

沐阳

37,855 views • 26 days ago