Video yükleniyor...

Video Yüklenemedi

Bu video yüklenirken bir sorun oluştu. Bu geçici bir ağ sorunundan kaynaklanıyor olabilir veya video kullanılamıyor olabilir.

Ana Sayfaya Dön

Google刚发布了 Gemma 4，260 亿参数，开源免费，能在本地设备上离线运行。讲真，这才是 2026 年最合理的 AI 技术栈: 本地模型兜底，顶级模型按需调用。但我认为参数和免费都不是重点，真正值得注意的是它原生支持函数调用，意味着这个模型能自主使用工具，浏览网页，执行代码，调用 API，直接充当一个完整的本地智能体，全程不联网，全程不花钱。 260 亿参数，实测性能对标 6850 亿参数级别的行业顶级模型，跑在普通笔记本上就行。部署只要三行命令： - 安装 Ollama： - curl -fsSL | sh - 拉取模型： ollama pull gemma4 两分钟，顶级本地 AI 就绑在你自己的硬件上了。我计划的用法是这样的，欢迎交流：日常的研究分析、代码审查、文稿起草、数据处理，全扔给本地 Gemma 4，用 MCP 服务器接上工具调用能力，网页浏览、数据库对接、API 接入都能覆盖，只有遇到真正需要顶级推理的硬核任务时，才请 Claude Code 出场。以前每个月在 AI... show more

AYi

63,061 subscribers

202,945 görüntüleme • 5 ay önce •via X (Twitter)

Eğitim Sağlık & İyilik Bilim & Teknoloji

Anya Rossi• Live Now

Private livecam show

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

每个人都能买得起英伟达发布个人AI超级计算机，能运行2000亿参数的大模型。 NVIDIA 今天在CES 2025大会上发布了 NVIDIA Project DIGITS，这是一款能放在你桌面上的个人AI超级计算机。将传统上需要大型数据中心才能完成的 AI 计算，带到每个人的桌面。‘ Project DIGITS 采用全新的 NVIDIA GB10 Grace Blackwell Superchip，能够提供 1 PFLOP（每秒一千万亿次浮点运算）的AI计算性能。设计目的用于原型开发、微调以及运行大型AI模型，使用户能够在本地桌面系统上开发和运行推理模型，然后无缝部署到云或数据中心也就是它能在你的本地就能运行超大的AI模型，能够运行高达 2000亿参数的大语言模型。通过 NVIDIA ConnectX 网络，两台 Project DIGITS 超级计算机连接起来，可以运行 4050亿参数模型。而且支持在本地电脑上开发和测试AI模型，然后快速部署到云端或数据中心。简单来说，它就像是给每个开发者配了一台袖珍的AI超级计算机！

小互

85,719 görüntüleme • 1 yıl önce

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。时间轴： 0:00 概念概览 3:02 自定义数据的准备 8:17 微调操作演示（T4 版本） 16:52 微调操作演示（A100 版本） 19:13 在 Hugging Face 上的保存与使用方法文字版整理： ✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。 ✲ 使用Hugging Face模型库和Unslaw工具进行模型微调： Hugging Face提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。 ✲ 在Google Colab上使用免费/付费GPU资源进行微调： Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。 ✲ 准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。 ✲ 修改Colab笔记本中的参数设置：在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。 ✲ 训练过程中的资源使用监控：在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。 ✲ 模型训练的loss变化和最佳checkpoint的选择：通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。 ✲ 模型微调完成后的保存与使用：微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。 ✲ 在Hugging Face上公开或私有发布微调后的模型：用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。 ✲ 使用微调后的模型进行推理(inference)：在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以确保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

歸藏(guizang.ai)

61,931 görüntüleme • 2 yıl önce

🚀 vibe coding 正在颠覆内部工具开发！我只花 1 小时，就用搭好了 LLM 训练 + 监控平台： - 模型训练过程管理 - 数据集管理 - 计算资源 & 一键微调 + 部署过去这样的内部平台可能需要花费数周的时间来开发，现在仅需要几个小时的时间。 PS. 我们的工作流是在 Devv 上开发完基本的功能后，会同步代码到本地，接入到真实的线上数据中。未来我们会上线 Devv VSCode/Cursor/Windsurf 代码双向同步的工具。

🚀 vibe coding 正在颠覆内部工具开发！我只花 1 小时，就用搭好了 LLM 训练 + 监控平台： - 模型训练过程管理 - 数据集管理 - 计算资源 & 一键微调 + 部署过去这样的内部平台可能需要花费数周的时间来开发，现在仅需要几个小时的时间。 PS. 我们的工作流是在 Devv 上开发完基本的功能后，会同步代码到本地，接入到真实的线上数据中。未来我们会上线 Devv VSCode/Cursor/Windsurf 代码双向同步的工具。

Jiayuan (JY) Zhang

21,412 görüntüleme • 1 yıl önce

🚨 别再为 AI 编程工具付费了！这个开源神器让你“白嫖”顶级模型！ Claude Code 太贵？OpenCode 只是壳子还得自己买 API？最近发现一个名为 FreeBuff 的编程代理，号称能免费使用 GLM 5.1、DeepSeek V4 等顶级模型。🤯 但这真的是“免费午餐”吗？我深挖了一下它的源码和机制，发现事情并不简单... 👇 1️⃣ FreeBuff vs. 其他工具 Claude Code: 强，但要订阅费。 OpenCode: 开源，但只是个“壳”（Agent Harness）。你还是要自己接 API，自己付钱。 FreeBuff: 真正的开箱即用。无需订阅，无需配置 API Key，安装就能跑。 2️⃣ 它是怎么免费的？天下没有免费的午餐。FreeBuff 的商业模式是广告支持。当你使用它时，终端（Terminal）底部会静默显示文本广告。 👉 逻辑很简单：广告商替你支付了昂贵的算力账单。 3️⃣ 能不能“破解”去广告？很多兄弟可能会想：“既然是开源的，我把显示广告的那几行代码删了不就行了？” ❌ 行不通。虽然客户端（CLI）是开源的，但大脑（AI 模型）是在云端运行的。官方在 API 调用中设置了“广告验证逻辑”。如果你强行修改本地源码切断广告，客户端就无法与后台完成握手校验，云端服务器会直接拒绝为你解析代码。 4️⃣ 总结这就形成了一个完美的商业闭环： ✅ 用户获得了免费的顶级 AI 编程能力。 ✅ 开发者通过广告覆盖了算力成本。 ✅ 试图“白嫖中的白嫖”（去广告）会被服务器拦截。尊重商业闭环，才是 0 成本使用顶级 AI 的唯一姿势。感兴趣的可以去 GitHub 搜 codebuff-ai/codebuff 试试！

🚨 别再为 AI 编程工具付费了！这个开源神器让你“白嫖”顶级模型！ Claude Code 太贵？OpenCode 只是壳子还得自己买 API？最近发现一个名为 FreeBuff 的编程代理，号称能免费使用 GLM 5.1、DeepSeek V4 等顶级模型。🤯 但这真的是“免费午餐”吗？我深挖了一下它的源码和机制，发现事情并不简单... 👇 1️⃣ FreeBuff vs. 其他工具 Claude Code: 强，但要订阅费。 OpenCode: 开源，但只是个“壳”（Agent Harness）。你还是要自己接 API，自己付钱。 FreeBuff: 真正的开箱即用。无需订阅，无需配置 API Key，安装就能跑。 2️⃣ 它是怎么免费的？天下没有免费的午餐。FreeBuff 的商业模式是广告支持。当你使用它时，终端（Terminal）底部会静默显示文本广告。 👉 逻辑很简单：广告商替你支付了昂贵的算力账单。 3️⃣ 能不能“破解”去广告？很多兄弟可能会想：“既然是开源的，我把显示广告的那几行代码删了不就行了？” ❌ 行不通。虽然客户端（CLI）是开源的，但大脑（AI 模型）是在云端运行的。官方在 API 调用中设置了“广告验证逻辑”。如果你强行修改本地源码切断广告，客户端就无法与后台完成握手校验，云端服务器会直接拒绝为你解析代码。 4️⃣ 总结这就形成了一个完美的商业闭环： ✅ 用户获得了免费的顶级 AI 编程能力。 ✅ 开发者通过广告覆盖了算力成本。 ✅ 试图“白嫖中的白嫖”（去广告）会被服务器拦截。尊重商业闭环，才是 0 成本使用顶级 AI 的唯一姿势。感兴趣的可以去 GitHub 搜 codebuff-ai/codebuff 试试！

Vincent Logic | 信号＞噪音

11,901 görüntüleme • 4 ay önce

太硬核了！英伟达黄仁勋撕穿了传统计算机科学的底层逻辑：云计算的“按需触发”时代已经彻底终结，未来的AI智能体是永远在线的“永动机”！别再把大模型当成简单的文字接龙了。老黄一针见血：大模型生成内部 token 进行逻辑推演，叫思考；生成外部 token 去调用各种接口，就叫使用工具。这就是为什么像 Claude Code 或 DeepSeek V4 这种新生代智能体，能切入硬核的开发工作流，甚至能全自动帮你排查 Python 异步网关里 aiohttp 的并发报错！最恐怖的颠覆在于运行模式。以前我们写代码，不管是跑在 MacBook Pro 上的本地脚本，还是云端微服务，全都是按需调用——你不戳它，它就不动。但现在的 Agent 系统是连续不断运行的。它们在后台全天候感知、推演、自我迭代和执行任务。这根本不是工具的升级，而是整个计算范式的跨代重构！搞懂这种从被动按需到全自动连续运行的跃迁，你才会真正明白，为什么未来所有的云服务和软件架构都面临着被彻底推倒重来的命运。

太硬核了！英伟达黄仁勋撕穿了传统计算机科学的底层逻辑：云计算的“按需触发”时代已经彻底终结，未来的AI智能体是永远在线的“永动机”！别再把大模型当成简单的文字接龙了。老黄一针见血：大模型生成内部 token 进行逻辑推演，叫思考；生成外部 token 去调用各种接口，就叫使用工具。这就是为什么像 Claude Code 或 DeepSeek V4 这种新生代智能体，能切入硬核的开发工作流，甚至能全自动帮你排查 Python 异步网关里 aiohttp 的并发报错！最恐怖的颠覆在于运行模式。以前我们写代码，不管是跑在 MacBook Pro 上的本地脚本，还是云端微服务，全都是按需调用——你不戳它，它就不动。但现在的 Agent 系统是连续不断运行的。它们在后台全天候感知、推演、自我迭代和执行任务。这根本不是工具的升级，而是整个计算范式的跨代重构！搞懂这种从被动按需到全自动连续运行的跃迁，你才会真正明白，为什么未来所有的云服务和软件架构都面临着被彻底推倒重来的命运。

比特币橙子Trader

69,195 görüntüleme • 4 ay önce

说个暴论，2026 年 AI 行业的转折点，不是 GPT-5.5，也不是 o3，是蚂蚁Ant Ling 刚刚发布的 Ling-2.6-1T。我用 Ling-2.6-1T 跑了一个查理芒格的 100 个思维模型的硬核任务，结果真的太炸了，具体大家看视频演示。当大家都在卷参数、卷推理分、卷更长上下文，只有它反其道而行之，把 token 效率当成了第一公民。最震撼的是这组数据：在 Artificial Analysis 全评测中，它展现出极高的智能-输出比（生成 16M tokens），整体 token 成本可降至可比模型的约四分之一，综合智能却接近 GPT-5.4 的非推理水平，直接落在所有模型都梦寐以求的“高智能 + 极低生产成本”象限。这才是真正的生产级 AI，而不是实验室刷榜玩具。 Agent 时代最大的痛点从来不是模型不够聪明，而是用不起。一个复杂任务调用十几次模型、几十次工具、拉几百 K 上下文， token 成本指数级爆炸，很多 Agent 方案一到规模化就死掉， Ling 把这个天花板直接抬高了数倍。它走的是和 o1 类模型完全相反的路线：别人靠慢思考堆 token 刷榜，靠 MoE 优化的 Fast-Thinking 机制实现又快又准。写代码、搭 UI、编排 Agent、多步工作流——我们每天 90% 的事，根本不需要深度多跳推理，需要的是精确、稳定、快、便宜。而这些，Ling 全部做到了：SWE-bench Verified SOTA 级表现（72.2+）、AIME26 高分、指令遵循和工具调用榜单全面领先。蚂蚁的底气很简单：背靠支付宝 13 亿用户 + 全世界最复杂的金融支付场景，天然拥有海量真实 Agentic 数据。 Ling 系列从一开始就不是为了刷榜，而是为了每天处理上亿次生产请求而生。更狠的是它的打法：OpenRouter 已上线一周免费 API（262K 上下文），官方确认即将开放权重——这明显在抢生态，和当年 DeepSeek 路数一样，但这次握着的是生产级效率这个最大杀器。这意味着2026 年的游戏规则彻底变了：不再是谁参数多谁牛，而是谁能在真实生产成本下跑赢。过去的刷榜竞赛已进入尾声，真正的生产落地竞赛才刚刚开始。

说个暴论，2026 年 AI 行业的转折点，不是 GPT-5.5，也不是 o3，是蚂蚁Ant Ling 刚刚发布的 Ling-2.6-1T。我用 Ling-2.6-1T 跑了一个查理芒格的 100 个思维模型的硬核任务，结果真的太炸了，具体大家看视频演示。当大家都在卷参数、卷推理分、卷更长上下文，只有它反其道而行之，把 token 效率当成了第一公民。最震撼的是这组数据：在 Artificial Analysis 全评测中，它展现出极高的智能-输出比（生成 16M tokens），整体 token 成本可降至可比模型的约四分之一，综合智能却接近 GPT-5.4 的非推理水平，直接落在所有模型都梦寐以求的“高智能 + 极低生产成本”象限。这才是真正的生产级 AI，而不是实验室刷榜玩具。 Agent 时代最大的痛点从来不是模型不够聪明，而是用不起。一个复杂任务调用十几次模型、几十次工具、拉几百 K 上下文， token 成本指数级爆炸，很多 Agent 方案一到规模化就死掉， Ling 把这个天花板直接抬高了数倍。它走的是和 o1 类模型完全相反的路线：别人靠慢思考堆 token 刷榜，靠 MoE 优化的 Fast-Thinking 机制实现又快又准。写代码、搭 UI、编排 Agent、多步工作流——我们每天 90% 的事，根本不需要深度多跳推理，需要的是精确、稳定、快、便宜。而这些，Ling 全部做到了：SWE-bench Verified SOTA 级表现（72.2+）、AIME26 高分、指令遵循和工具调用榜单全面领先。蚂蚁的底气很简单：背靠支付宝 13 亿用户 + 全世界最复杂的金融支付场景，天然拥有海量真实 Agentic 数据。 Ling 系列从一开始就不是为了刷榜，而是为了每天处理上亿次生产请求而生。更狠的是它的打法：OpenRouter 已上线一周免费 API（262K 上下文），官方确认即将开放权重——这明显在抢生态，和当年 DeepSeek 路数一样，但这次握着的是生产级效率这个最大杀器。这意味着2026 年的游戏规则彻底变了：不再是谁参数多谁牛，而是谁能在真实生产成本下跑赢。过去的刷榜竞赛已进入尾声，真正的生产落地竞赛才刚刚开始。

AYi

84,038 görüntüleme • 4 ay önce

英伟达把 130 多个 AI 模型和 200 多个 Agent 技能打包到了一个平台上，免费用 2 分钟就能开始包含的东西： 130+ 免费模型，可以直接下载 200+ Agent 技能，包括 Codex 和 Claude Code 的技能全部通过一个 API 调用获取方式： → 注册 → 右上角点个人资料 → 打开 API Keys，生成一个密钥 → 终端里跑一行命令：npx skills add NVIDIA/skills → 200个技能全部装好说实话现在免费的 AI 资源多到用不完。前沿模型、编码代理、开发工具，很多最好的东西根本不需要花钱一边是豆包开始收费 ¥500/月，一边是英伟达把几百个模型和技能免费放出来如果你一直在等"完美时机"开始学 AI 或者用 AI 做东西，现在真的没有借口了

英伟达把 130 多个 AI 模型和 200 多个 Agent 技能打包到了一个平台上，免费用 2 分钟就能开始包含的东西： 130+ 免费模型，可以直接下载 200+ Agent 技能，包括 Codex 和 Claude Code 的技能全部通过一个 API 调用获取方式： → 注册 → 右上角点个人资料 → 打开 API Keys，生成一个密钥 → 终端里跑一行命令：npx skills add NVIDIA/skills → 200个技能全部装好说实话现在免费的 AI 资源多到用不完。前沿模型、编码代理、开发工具，很多最好的东西根本不需要花钱一边是豆包开始收费 ¥500/月，一边是英伟达把几百个模型和技能免费放出来如果你一直在等"完美时机"开始学 AI 或者用 AI 做东西，现在真的没有借口了

Vincent

24,889 görüntüleme • 3 ay önce

蚂蚁百灵刚刚发布了 Ling-3.0-flash：一个AI 执行层的关键拼图刚刚看到 Ling-3.0-flash 正式发布，我觉得这款模型值得认真关注。原因很简单：在 AI 工程越来越深入到实际业务的今天，大家早就不满足于模型“会不会想”了，更关键的是它“能不能持续做”。尤其是在 Agent 工作流中，需要高频调用工具、迭代代码、处理长程任务时，一个响应快、执行稳的执行引擎成了刚需。Ling-3.0-flash 的出现，正好瞄准了这个缺口。 1. Agent 的执行层从我的角度看，它最聪明的一点是没有去硬拼超大模型的深度推理能力，而是把自己定位成一个高速执行引擎——负责把已经规划好的任务快速落地。这在实际应用中特别实用，比如当大模型把方案设计好之后，剩下的代码生成、工具调用、批量处理就需要一个既快又稳的模型来接手。 2. 为什么它能兼顾速度和成本技术细节上，它采用 124B 参数的 MoE 架构，但实际激活参数约 5.1B，在推理速度和运行成本之间找平衡。它还支持混合推理模式：简单任务可以关闭 Reasoning，降低延迟，适合大批量处理；复杂任务则可以开启思考模式，保持逻辑连贯。原生支持 256K 上下文，对需要持续读取历史指令和项目状态的 Agent 工作流也很重要。 3.如何使用我觉得 Ling-3.0-flash 最适合做 Agent 工作流里的执行节点。反复调用 API 或 MCP 工具时，它能根据结构化错误信息自我诊断和修复，不容易在循环调试中卡死，因此适合放进 Loop 或 Graph 架构。 4.结对编程和批量任务结对编程是一个典型场景：人负责架构规划、边界定义和测试，Ling-3.0-flash 负责快速生成代码、调用工具、读取报错，并根据反馈持续修改。批量处理长文档、日志、简历和结构化数据时，它看重的也是速度、格式稳定性和成本控制。直播数字人或高频办公协作，则需要它的低延迟响应来减少体验断层。 5.边界当然，它不是万能模型。复杂系统不能只靠一句指令搞定；缺乏架构和测试环境时，结果可能跑偏；需要深度冷门知识的研究任务，还是更适合交给更大规模的推理模型。更合理的用法是：大模型负责搜索、规划和架构设计，把方案写成规范文档；Ling-3.0-flash 负责高频工具调用、代码执行和批量处理。总结：Ling-3.0-flash 不是来替代所有模型的，而是把 Agent 工作流里“执行层”这件事做得更快、更稳。大模型负责想清楚，它负责做出来。

蚂蚁百灵刚刚发布了 Ling-3.0-flash：一个AI 执行层的关键拼图刚刚看到 Ling-3.0-flash 正式发布，我觉得这款模型值得认真关注。原因很简单：在 AI 工程越来越深入到实际业务的今天，大家早就不满足于模型“会不会想”了，更关键的是它“能不能持续做”。尤其是在 Agent 工作流中，需要高频调用工具、迭代代码、处理长程任务时，一个响应快、执行稳的执行引擎成了刚需。Ling-3.0-flash 的出现，正好瞄准了这个缺口。 1. Agent 的执行层从我的角度看，它最聪明的一点是没有去硬拼超大模型的深度推理能力，而是把自己定位成一个高速执行引擎——负责把已经规划好的任务快速落地。这在实际应用中特别实用，比如当大模型把方案设计好之后，剩下的代码生成、工具调用、批量处理就需要一个既快又稳的模型来接手。 2. 为什么它能兼顾速度和成本技术细节上，它采用 124B 参数的 MoE 架构，但实际激活参数约 5.1B，在推理速度和运行成本之间找平衡。它还支持混合推理模式：简单任务可以关闭 Reasoning，降低延迟，适合大批量处理；复杂任务则可以开启思考模式，保持逻辑连贯。原生支持 256K 上下文，对需要持续读取历史指令和项目状态的 Agent 工作流也很重要。 3.如何使用我觉得 Ling-3.0-flash 最适合做 Agent 工作流里的执行节点。反复调用 API 或 MCP 工具时，它能根据结构化错误信息自我诊断和修复，不容易在循环调试中卡死，因此适合放进 Loop 或 Graph 架构。 4.结对编程和批量任务结对编程是一个典型场景：人负责架构规划、边界定义和测试，Ling-3.0-flash 负责快速生成代码、调用工具、读取报错，并根据反馈持续修改。批量处理长文档、日志、简历和结构化数据时，它看重的也是速度、格式稳定性和成本控制。直播数字人或高频办公协作，则需要它的低延迟响应来减少体验断层。 5.边界当然，它不是万能模型。复杂系统不能只靠一句指令搞定；缺乏架构和测试环境时，结果可能跑偏；需要深度冷门知识的研究任务，还是更适合交给更大规模的推理模型。更合理的用法是：大模型负责搜索、规划和架构设计，把方案写成规范文档；Ling-3.0-flash 负责高频工具调用、代码执行和批量处理。总结：Ling-3.0-flash 不是来替代所有模型的，而是把 Agent 工作流里“执行层”这件事做得更快、更稳。大模型负责想清楚，它负责做出来。

奶牛叔

66,157 görüntüleme • 1 ay önce

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下： Intro: Large Language Model (LLM) talk 大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。 LLM Inference 首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

宝玉

1,124,245 görüntüleme • 2 yıl önce

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

在做浏览器自动化脚本时，我们常常需要编写大量代码来处理复杂的网页交互，不仅耗时耗力，还难以调试和优化，要是出错更是难以精准定位问题所在。最近在 GitHub 上我发现了一款强大的开源自动化浏览器智能体：Index。它能够在浏览器上自动执行复杂的网页任务，无需编写代码脚本，简单描述任务需求即可完成各种网页操作。 GitHub：主要功能 - 基于 Claude 3.7 Sonnet 提供强大的 AI 能力，后续将支持更多模型 - 提供 API 和可视化操作 UI 界面，也支持完全自托管部署使用 - 能执行复杂的网页任务，如数据收集、表单填写和内容分析 - 支持自定义浏览器窗口大小和远程 CDP 连接安装部署简单，几行代码即可开始使用，也可直接使用托管 API 服务。

GitHubDaily

35,779 görüntüleme • 1 yıl önce

刚刚，Meta开源了一个30B本地端侧Agent模型：Muse Glimmer，能看屏幕、调工具、失败了会自己重试从Muse Spark专门针对Agent能力蒸馏出来的，在单张消费级GPU（Mac/ PC）上能跑，无需联网与同尺寸级的Gemma4-31B、Qwen3.6-27B对比，在智能体、编程、多模态、安全和推理等多个基准上表现强劲多模态输入（文本+图像），能理解屏幕截图、图表、文档，支持OpenClaw等、100+语言支持本地代理、函数调用、本地编程、LLM评判等场景搭载DFlash推测解码，在RTX 5090上速度快了3.1倍 #MuseGlimmer #meta最新开源模型

刚刚，Meta开源了一个30B本地端侧Agent模型：Muse Glimmer，能看屏幕、调工具、失败了会自己重试从Muse Spark专门针对Agent能力蒸馏出来的，在单张消费级GPU（Mac/ PC）上能跑，无需联网与同尺寸级的Gemma4-31B、Qwen3.6-27B对比，在智能体、编程、多模态、安全和推理等多个基准上表现强劲多模态输入（文本+图像），能理解屏幕截图、图表、文档，支持OpenClaw等、100+语言支持本地代理、函数调用、本地编程、LLM评判等场景搭载DFlash推测解码，在RTX 5090上速度快了3.1倍 #MuseGlimmer #meta最新开源模型

AIGCLINK

22,181 görüntüleme • 1 ay önce

马斯克，要用100万颗GPU造智能？去年他刚连上20万颗GPU，已经是全球第一。今年目标：100万颗，成本高达400亿到600亿美元。这是全世界第一次，有人用这种方式堆出AI的极限。他不是在建AI模型，而是在造一台超级AI工厂。用最硬核的方式，把智能硬拼出来。这不仅是资本的竞赛，更是算力的军备竞赛。每一块GPU，都是通向通用AI的一块砖。当别人还在调参数、调算法，马斯克已经直接开造，砸出来一个AI地基。这不是模型迭代，而是智能的工业化。全球AI竞赛，可能从此进入下一个阶段。

马斯克，要用100万颗GPU造智能？去年他刚连上20万颗GPU，已经是全球第一。今年目标：100万颗，成本高达400亿到600亿美元。这是全世界第一次，有人用这种方式堆出AI的极限。他不是在建AI模型，而是在造一台超级AI工厂。用最硬核的方式，把智能硬拼出来。这不仅是资本的竞赛，更是算力的军备竞赛。每一块GPU，都是通向通用AI的一块砖。当别人还在调参数、调算法，马斯克已经直接开造，砸出来一个AI地基。这不是模型迭代，而是智能的工业化。全球AI竞赛，可能从此进入下一个阶段。

墓碑科技

112,561 görüntüleme • 10 ay önce

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

今天 Meta 发布了最新的开源模型的 Llama 3 首发和之前一样，包括了 8B 和 70B 两个版本，小扎说还有个 400B 参数的大号版预计在夏天发布，这可能是第一个 GPT-4 级别的开源模型！Meta 这次在 15T 的数据集上训练了一个 8B 的小模型，在参数规模、易用性和推理能力上做了最佳平衡，看来有算力真香😄 同时 Meta 也推出了自己的 ChatGPT 产品 Chat AI 了。。其实 HuggingChat 也不错的你可以在这里体验所有的开源大语言模型

indigo

183,917 görüntüleme • 2 yıl önce

卧槽，分享一个Google 官方神器：Google AI Edge Gallery ，可以直接在手机上运行Gemma4等本地模型‼️ 在你的手机上，纯本地、断网跑大语言模型。 📱 这是什么？能做什么？ 1. 官方出品：由 Google 团队发布，底层基于 LiteRT 框架。 2. 移动端跑大模型：直接在手机里下载并运行 Gemma、Llama、Qwen 等开源模型。 3. 榨干本地硬件：不调用任何云端 API，纯吃你手机的 CPU/GPU/NPU 算力进行推理。 4. 极客体验：完全断网可用，真正的零网络延迟，数据绝对隐私。 💡 为什么这个信号很重要？端侧算力（Edge AI）的叙事正在肉眼可见地落地。如果能把高频、轻量的 AI 任务下放到用户的设备端，不仅能砍掉海量的云端算力成本，还会催生出全新的 AI 应用形态。无论是关注“AI 手机”概念的投研玩家，还是做 AI 工具的开发者，都建议去 Google Play 下来当沙盒玩玩，亲自测一下现在的移动端硬件到底能把模型跑到什么水平。 #AI #EdgeAI #Google #大模型 #端侧算力 #Tech 教程👇👇👇👇

卧槽，分享一个Google 官方神器：Google AI Edge Gallery ，可以直接在手机上运行Gemma4等本地模型‼️ 在你的手机上，纯本地、断网跑大语言模型。 📱 这是什么？能做什么？ 1. 官方出品：由 Google 团队发布，底层基于 LiteRT 框架。 2. 移动端跑大模型：直接在手机里下载并运行 Gemma、Llama、Qwen 等开源模型。 3. 榨干本地硬件：不调用任何云端 API，纯吃你手机的 CPU/GPU/NPU 算力进行推理。 4. 极客体验：完全断网可用，真正的零网络延迟，数据绝对隐私。 💡 为什么这个信号很重要？端侧算力（Edge AI）的叙事正在肉眼可见地落地。如果能把高频、轻量的 AI 任务下放到用户的设备端，不仅能砍掉海量的云端算力成本，还会催生出全新的 AI 应用形态。无论是关注“AI 手机”概念的投研玩家，还是做 AI 工具的开发者，都建议去 Google Play 下来当沙盒玩玩，亲自测一下现在的移动端硬件到底能把模型跑到什么水平。 #AI #EdgeAI #Google #大模型 #端侧算力 #Tech 教程👇👇👇👇

比特币橙子Trader

24,419 görüntüleme • 5 ay önce

更新 Intel B580 显卡最新驱动之后，我其他啥都没改，Win11 下本地跑 AI 正常了， 7b 能到 50+tokens/s, 14b 模型则能到 30t/s。看到「本地跑模型无用」的论调，实际上我自己就已经在本地使用了，对于强隐私性需求(比如邮件摘要)，应该不会有人想交给第三方，如果能用不高的成本，self-host 一个「智商还行」且安全的的本地大模型，不需要很聪明，恰好能满足我这种用户需求。

更新 Intel B580 显卡最新驱动之后，我其他啥都没改，Win11 下本地跑 AI 正常了， 7b 能到 50+tokens/s, 14b 模型则能到 30t/s。看到「本地跑模型无用」的论调，实际上我自己就已经在本地使用了，对于强隐私性需求(比如邮件摘要)，应该不会有人想交给第三方，如果能用不高的成本，self-host 一个「智商还行」且安全的的本地大模型，不需要很聪明，恰好能满足我这种用户需求。

luolei

35,340 görüntüleme • 1 yıl önce

很多人说养龙虾费Token烧钱，我从一天200美金降到了10美金，靠的就是这3招，大家可以试试： 1.善用命令行：/new /restart /stop /compress，斜杠命令不过大模型。 2.能用脚本的别用大模型：重复任务先让它写成代码，代码跑起来只烧CPU，不用Token。 3.不同任务用不同模型：顶级模型干顶级活，简单任务让国产模型上，混用下来省一大截。

很多人说养龙虾费Token烧钱，我从一天200美金降到了10美金，靠的就是这3招，大家可以试试： 1.善用命令行：/new /restart /stop /compress，斜杠命令不过大模型。 2.能用脚本的别用大模型：重复任务先让它写成代码，代码跑起来只烧CPU，不用Token。 3.不同任务用不同模型：顶级模型干顶级活，简单任务让国产模型上，混用下来省一大截。

傅盛

94,798 görüntüleme • 5 ay önce

Deepseek V4 Flash 真的惊艳到我了，我就用一句话就生成了一个AI控制台。我使用open code+Deepseek V4 Flash测试了一下模型的能力，总共不到五十秒，就给我生成了对应能力了。主要是该有的模块都有，而且很多细节上面做了特定的优化。模块划分： 1、仪表盘：做中央把控看模型消耗。 2、任务：看任务指派和模型上下文处理。 3、对话：直接在网页上可以和AI直接对话。现在最重要的是open code还能免费使用，可以马上上手体验一下，国产模型是越来越强了，以后真的可以不使用国外模型了。

Deepseek V4 Flash 真的惊艳到我了，我就用一句话就生成了一个AI控制台。我使用open code+Deepseek V4 Flash测试了一下模型的能力，总共不到五十秒，就给我生成了对应能力了。主要是该有的模块都有，而且很多细节上面做了特定的优化。模块划分： 1、仪表盘：做中央把控看模型消耗。 2、任务：看任务指派和模型上下文处理。 3、对话：直接在网页上可以和AI直接对话。现在最重要的是open code还能免费使用，可以马上上手体验一下，国产模型是越来越强了，以后真的可以不使用国外模型了。

小墨同学

27,520 görüntüleme • 1 ay önce

两周前，我和老朋友田鸿飞录制了一期关于边缘 AI 的播客。田鸿飞是 Olares 的联合创始人，Olares 是一款面向 AI 的操作系统，类似于个人 VPS，方便安装服务和 AI 模型，Olares One 就是这个系统的专用硬件，配备了 NVIDIA 5090 以及 96G 的内存。其实这两周爆火的 OpenClaw 给了大家一个很好的启示，一款边缘 AI OS 只需提供 Unix 内核和一个文件系统，一套在本地运行 AI Agent 的框架，能够调用本地模型或者远端能力更强大的模型，你的个人数据还有执行权限才是这个 AI 助理的关键所在！ OpenClaw 的作者 Peter Steinberger 说 MCP 是垃圾，它没法扩展。人们在它周围搞各种奇怪的搜索功能，但你知道什么真正能扩展？命令行工具。" 因为： - AI 模型已经懂 Unix； - 你的电脑上可以有上千个小程序； - 模型只需要知道程序名，调用 -help 查看帮助，就知道怎么使用； - 如果你聪明一点，把工具设计成模型期望的样子，一切都运作得更好；把所有的功能都封装成 Unix 的命令行，然后让 AI Agent 来直接使用这个操作系统，这才是边缘 AI OS 最有趣的地方😃

两周前，我和老朋友田鸿飞录制了一期关于边缘 AI 的播客。田鸿飞是 Olares 的联合创始人，Olares 是一款面向 AI 的操作系统，类似于个人 VPS，方便安装服务和 AI 模型，Olares One 就是这个系统的专用硬件，配备了 NVIDIA 5090 以及 96G 的内存。其实这两周爆火的 OpenClaw 给了大家一个很好的启示，一款边缘 AI OS 只需提供 Unix 内核和一个文件系统，一套在本地运行 AI Agent 的框架，能够调用本地模型或者远端能力更强大的模型，你的个人数据还有执行权限才是这个 AI 助理的关键所在！ OpenClaw 的作者 Peter Steinberger 说 MCP 是垃圾，它没法扩展。人们在它周围搞各种奇怪的搜索功能，但你知道什么真正能扩展？命令行工具。" 因为： - AI 模型已经懂 Unix； - 你的电脑上可以有上千个小程序； - 模型只需要知道程序名，调用 -help 查看帮助，就知道怎么使用； - 如果你聪明一点，把工具设计成模型期望的样子，一切都运作得更好；把所有的功能都封装成 Unix 的命令行，然后让 AI Agent 来直接使用这个操作系统，这才是边缘 AI OS 最有趣的地方😃

indigo

17,512 görüntüleme • 7 ay önce

对不起，我不是在用 AI，我是在开公司！看到 Kimi 2.5 的集群模式，我直接看呆了…… 以前是“一个模型干所有活”，现在是“模型现场帮我招员工” 只要跟它说你的需求，它会自动分身：有的负责调研，有的负责写代码，有的负责整合最高100个 Agent 并发处理！这种串行+平行的调度能力，以前想都不敢想 “一人公司”的时代真的来了吗唯一的缺点？贵现在的我只想大喊：友商们快跟进！早日实现“数字员工自由”！

对不起，我不是在用 AI，我是在开公司！看到 Kimi 2.5 的集群模式，我直接看呆了…… 以前是“一个模型干所有活”，现在是“模型现场帮我招员工” 只要跟它说你的需求，它会自动分身：有的负责调研，有的负责写代码，有的负责整合最高100个 Agent 并发处理！这种串行+平行的调度能力，以前想都不敢想 “一人公司”的时代真的来了吗唯一的缺点？贵现在的我只想大喊：友商们快跟进！早日实现“数字员工自由”！

XDmnnn不淡

50,270 görüntüleme • 5 ay önce