karminski-牙医
@karminski3 • 39,864 subscribers
A coder, road bike rider, server fortune teller, electronic waste collector, co-founder of KCORES, ex-director at IllaSoft, KingsoftOffice, Juejin.
Shorts
Videos
就这??? 马斯克你认真的吗? 来看 Grok4 实测! 我原本打算用新试题, 突然转念一想, 万一Grok4 延续了 Grok3 的辉煌传统怎么办? 于是直接用了经典到都出包浆的我的那个20小球在七边形里面弹跳的实体快速来了一遍. 结果, 3次生成代码中, 2次 Grok4生成的代码甚至有语法错误. 唯一一次成功的是这个样子. 为了给不了解这个测试的朋友做对比, 我放了 DeepSeek-R1 作为参考, 注意哦，这个甚至不是 DeepSeek-R1-0528, 而是今年年初的那个老版本 R1.... 从目测来看, 大概是今年第一季度所有大模型中, 写代码能力的中间水平, 接近GPT-4o 或 kimi-1.5-long-thinking 之间. 根本不是第一梯队的水平, 更别提跟现在的 Claude-4 或者 Gemini-2.5-pro 比了..... 建议 AIME25 那个数学能力也谨慎看待, 说不定又是一个过拟合的结果. 更多测试我随后放出, 希望 Grok4 能打我的脸. 但这编程水平....呵呵. #Grok4
karminski-牙医613,262 次观看 • 1 年前
给大家带来claude opus 5.5 的前端测试结果. 直接说结论, 我怀疑现在opus 5.5就是 fable 5.1 的量化版或者自家蒸馏版, 可以直接看我的视频, 几乎看不出两个模型实现细节上的差别. 而且模型继承了Anthropic一贯的优良特点, 一个字, 稳, 6次抽卡6次全都是这个质量. 除此之外我测试时很明显 opus 5.5 的思考token消耗更多. 这意味着opus5.5模型会更小一些(用reasoning长度换性能). 这同样意味着会有雷霆大思考的情况, 比如最后一个火山喷发测试, 我terminal和网页都测试了好几次, 结果都无法输出代码. 思考卡住了. 当然瑕不掩瑜. 毕竟比fable便宜又能获得差不多的性能, 只要不降智, 就是好模型(但无奈Anthropic降智是祖传艺能...). > #opus55 #claudeopus55 #anthropic
karminski-牙医38,294 次观看 • 28 天前
终于搞完了! 给大家带来小模型竞技场, 这次测试了8款模型, 包括: Qwen3.8-27B Qwen3.6-27B Qwen3.6-35B-A3B Ornith-1.5-35B-A3B Gemma-4-31B Gemma-4-26B-A4B Gemma-4-12B GPT-OSS-20B 每个模型4个量化版本, 还测试了 MTP 开启和关闭, 以及 low, medium, xhigh 三档思考强度, 做了个全面横评. 测试主要集中在前端, python, Agent 能力上, 每个测试运行3次取最佳结果(pass@3). 测试使用H100显卡(注意用H100是为了生成快, 就这还跑了48小时, 显卡不影响生成效果, 只影响生成速度), 总成本148刀. 那么这些模型中究竟谁是开源之神? 请看视频! #qwen38 #qwen3827b #qwen26 #gemma4 #ornith #阿里千问
karminski-牙医60,189 次观看 • 1 个月前
完了! 我的整活被官方相中了! 搞了个AI电竞教练的 Harness Agent 框架, 拖进去 CS2 录屏视频后就能分析走位, 身法, 对枪, 预瞄, 投掷物, 经济, 等各种数据, 然后还能给出建议和训练方向. 结果被字节跳动相中了, 于是结合 Doubao-Seed-2.0-Lite 整了个大活, 连续运行25小时不间断分析对局视频总结玩家的帝王干拉是否到位(x 这次 Doubao-Seed-2.0-Lite 的宣发 Demo 视频那个AI电竞教练的就是这个 Demo 哈. 以及, 具体的整活视频还在制作中~ 大家稍安勿躁, 稍后给大家带来全部整活细节~ #seed20lite #doubao #doubaoseed #字节跳动
karminski-牙医159,355 次观看 • 5 个月前
union-alpha 应该不是国产模型? 给大家简单测一下 openrouter 上这个匿名模型 union-alpha. 简单来说, 看上去并不是一个2026年现阶段的旗舰级模型. 一个重要特征是, 构建3D场景需要用到three.js库, 在我测试的今年的这些模型中, 大家都已经迭代到了 three.js r160版本(23年底发布的). 而这个模型还在用three.js r127(2021年的版本). 所以这个模型明显不像是国内的旗舰模型, 也不可能是 OpenAI/Anthropic 的模型了. 实际效果嘛, 大家自己看吧. 我就不安排详细测试了. > #unionalpha
karminski-牙医18,748 次观看 • 1 个月前
再给 Grok 4 一次机会哈 上个20小球测试有朋友说一个case不能代表什么, 我就问一句, 如果你写代码, 上来的第一个 case 就拉跨, 你还会再用这个模型吗? 两个 case 也拉跨呢? 汰欧蜜！撸可英买埃斯！ 这个是上个月我做出来的拆烟囱测试, 主要是使用 Three.js 来模拟一个三维场景, 尤其是这个烟囱完全需要大模型生成代码自己搭起来. 然后在烟囱底部设置爆炸点, 炸掉一部分砖块后, 影响烟囱的平衡导致烟囱倒塌。 这个测试相对于20小球七边形测试来说, 考察物理效果其实没有 20 小球复杂, 它只有碰撞和重力, 并且都能依靠 Three.js 库的插件来实现. 所以考察项目更多聚焦于 prompt 的指令遵循和前端代码的能力以及创造性. 直接来看 Grok4 表现好的和不好的地方。 好的: 倒塌的模拟不错, 模型的放置, 重力方向起码没有搞错 不好的： 默认的烟囱就是个已经爆炸到一半的烟囱是绷不住了，这个连上个月测试的 kimi 和 minimax 的开源模型都不至于这么抽象 爆炸的粒子模拟很怪，勉强能理解那个白色的是一团烟雾 光影效果特别差，对比左边的 DeepSeek 一眼就能看出来了 web 交互写得也很差, 看 DeepSeek 的按钮, 这个的按钮就是个灰色的按钮 (在画面外) 以及最重要的, 它生成其实是失败的！我反复测试3次都有代码错误。它引用库的方法有问题 (Uncaught TypeError: Failed to resolve module specifier "three". Relative references must start with either "/", "./", or "../".)，并且它自己修不好这个报错。我只能用 Claude-4-Sonnet 修了一下才能正确运行........ 结论：别用这玩意写代码, 爱咋咋地吧, 累了 #Grok4
karminski-牙医162,929 次观看 • 1 年前
游戏代打也要失业了? 来看 NVIDIA NitroGen NVIDIA 刚刚又发了个新模型 NitroGen，这是个只有 1B 大小却可以玩游戏的大模型，它接受视频帧输入，然后输出手柄操作。所以非常适合用来玩手柄可以操作的动作类游戏。 这个模型最大的特点是，它是基于游戏视频本身学习的，以往互联网上虽然有很多游戏视频，但是游戏操作并没有记录下来，而 NitroGen 它利用了合成动作标签技术。研究团队通过大规模的逆动力学模型，从公开的互联网游戏视频中“反推”出当时玩家可能按下的键，从而人工合成了海量的训练数据，通过上万小时的纯视频数据进行预训练，打破了数据瓶颈。 而且最重要的是，这个模型支持后训练。这意味着面对一款它从未见过的全新游戏不需要从头训练，只需少量的微调或适配即可上手游玩。
karminski-牙医103,548 次观看 • 10 个月前
![如何用DeepSeek-R1蒸馏出属于你自己的大模型！ 发现了一个新的fune-tune框架，可以在1小时内让DeepSeek-R1蒸馏出属于你自己的小模型，整个过程是全自动的，不需要编写代码或者手动调节，仅需定义你的数据集即可。 [1/2]](https://image.24vids.com/tw-1887995051701379171/ext_tw_video_thumb/1887994680849350656/pu/img/3c78kfH-srBo61TB.jpg)
给大家带来刚刚发布的 DeepSeek-V4-Flash-Vision-Exp 和 openrouter 上的匿名模型 OX-Alpha 多模态实测! 这次是刚要测V4-Flash-Vision的时候评论区有老铁说 OX-Alpha 特别猛, 于是就一起带上了. 使用的是我写的AI电竞教练框架, 由于ds的多模态不支持视频输入, 所以公平起见两个模型都用视频抽帧的方式进行测试, 主要看他们使用Agent, 能否精准识别CS2的游戏录像, 分析玩家的优势和不足, 并提出改进意见. 除此之外, 我还进行了详细测试, 给到大家这两个模型的最佳输入图片配比, 请看视频! #oxalpha #deepseekv4flashvision #多模态大模型 #deepseek #deepseek多模态
karminski-牙医23,445 次观看 • 1 个月前
给大家带来小米 MiMo-v2.6-pro 的测试速报! 简单来讲, 这次不愧是直播RL带来的效果, AgenticCoding 能力提升明显, 之前的 MiMo-v2.5-Pro 在我的向量数据库测试中得分只有2505, 而这次直接翻了3倍, 得分来到了7810. 与 Claude Fable-5 分数接近了. 而且算法也进化为了单图HNSW分层近邻图(M=16/M0=28) + AVX-512精确距离 + 每线程visited stamp. 可以说只要再优化一下算法细节就是SOTA水平了. 而前端测试则是MiMo需要提升的重点了, 这次演示效果虽然有提升, 但是无奈横评的其他模型都太强大了, 而小米的加分项也是本身的算法Coding能力, 比如它是可以 one-shot 写出一个光追引擎的. 但是由于空间理解/物理模拟能力不到位, 小球没办法完成把墙壁撞破的演示. 另外本次还给大家测试了输出速度, MiMo-v2.6-pro-ultraspeed 版本可以达到464tps的速度, 着实恐怖. 而根据MiMo的技术报告, 峰值可以达到900tps, 常态化请求也可以稳定在500tps左右, 考虑到模型 1.02T 的总参数量, 以及高达 42B 的激活参数量, 再加上同等规模模型一般都在60-80tps的水平, 这个成绩相当亮眼. 当然也有值得注意的点, 比如这次测试我发现它还是有早停的问题的, 上面的向量数据库测试, 每轮最大迭代50次, 但是三次测试中, 有两次它迭代到30轮左右就没办法提升分数, 于是选择了直接交卷, 浪费了测试机会. 以及, 模型思考偏长, 而且暂时不支持调整思考强度, 加上普速接口现在异常火爆, 所以最好给大一些超时, 避免无法输出结果. 总结: MiMo-v2.6-Pro 适合搞后端AgenticCoding开发! 要算法有算法要质量有质量. 但是前端空间理解和美学还需要加强. 考虑到直播后训练的时候看到的67%的训练语料都是Coding, 这个结果丝毫不惊讶了. 希望下个版本前端能力也有提升! #mimo #mimov26 #mimov26pro #x小米mimo
karminski-牙医12,931 次观看 • 29 天前
