Guitar Cat + LLM 「Will @ SGLang Summit in SF」
@GenAI_is_real • 16,379 subscribers
🎸🐱🤖 Interactive Super Intelligence System @radixark | SGLang @lmsysorg | Prev: Tsinghua BS, CMU, UCLA PhD (Quit), Amazon AGI SF Lab, ByteDance Seed
Videos
很荣幸给大家介绍并演示 Voxt，一款开源的 Mac 语音输入工具。 Voxt 已经持续迭代了半年多，也经历了上千位用户的实际使用和反馈。这次，我们把 SGLang Omni 的能力带入 Voxt 的推理 stack，进一步提升本地推理性能。之后，我们也会持续优化 Voxt 的使用体验。 现在，语音输入工具已经很多了。Typeless、豆包输入法、智谱输入法、微信输入法，都提供了相关功能。Voxt 的优势在于，整套软件 stack 开放、可控，我们可以从应用到推理过程持续优化，兼顾性能和稳定性。如果选择完全本地的推理配置，语音识别和文字润色都在自己的电脑上完成，语音和转写内容不需要上传到远程推理服务。 今天，我们会重点展示 Voxt 在专业术语输入上的表现，特别是 AI 工程里的模型名称、框架名称和英文缩写。这类表达，仅靠基础 ASR 转写，很容易出现识别偏差。 Voxt 把热词识别、带有个人系统提示词的 LLM 润色，以及推理性能优化结合起来，让输入既高效，也能更准确地处理专业词汇，贴合个人的表达习惯。 这次演示用的是我的 M5 Pro Mac。 语音识别使用 SGLang Omni 的 MLX 分支，文字润色则由 Ollama Serve 在本地运行 Qwen3.8 27B。两步都在这台电脑上完成。 当然，Voxt 也为 ASR 和 LLM 提供了接口。你可以根据自己的需要，选择远程识别服务和远程大模型，不必局限于这次演示的本地配置。 我和雪松用了 Voxt 半年多，也从日常用户变成了贡献者。这次接入 SGLang Omni，是我们进一步合作的一个里程碑。 感谢关伟老师和所有参与者。欢迎大家下载试用，也欢迎一起把 Voxt 做得更好。 鸣谢：关伟 · 叶雪松 · 刘崇寒 · 周屿涵 · 邓家昕 项目： 下载：
Guitar Cat + LLM 「Will @ SGLang Summit in SF」52,037 Aufrufe • vor 20 Tagen
The interface matters. Give your agent a computer. It stops block me when doing compute use 😂 Connected Codex to Simular’s Sai MCP, sent a plain-English task, and watched Sai operate Windows Calculator on a hosted desktop. It entered the calculations through the app and left both results visible in History. For developers, having the computer and desktop control available behind MCP is pretty useful. I can hand my agent a desktop task without building and maintaining the VM, screenshot pipeline, and action loop myself. Simular’s Agent S4 research also caught my attention: keep the model and agent harness fixed, then improve the interfaces the agent works through. Alongside clicks and typing, better tools can turn repetitive actions into a single operation. I think that direction has a lot of potential for vertical agents too. This video is a small, real Sai product demo; it doesn’t reproduce the S4 experiments. Waiting was cut from the recording. Separately, Simular reports the highest partial score on OSWorld 2.1—79.38%—for Sai with Claude Opus 5, at $14.34 per benchmark task. Those are vendor benchmark figures, separate from this demo.
Guitar Cat + LLM 「Will @ SGLang Summit in SF」17,121 Aufrufe • vor 7 Tagen
Keine weiteren Inhalte verfügbar