Загрузка видео...

Не удалось загрузить видео

На главную

Advanced Frontier LLM Coding Benchmark 13.08.2026 Modeller: - Grok 4.6 Extra High - Cursor - Opus 5 Max - Claude Code (App) - Qwen 3.8 Max - Qwen-Code (CLI) - Kimi K3 Max - Kimi-Code (App) - GLM 5.2 Max - Zcode (App) - GPT 5.6 Sol Very High...

AlicanKiraz0's profile picture

Alican Kiraz

37,734 subscribers

12,564 просмотров • 15 дней назад •via X (Twitter)

LIVE

Anya Rossi• Live Now

Private livecam show

Комментарии: 0

Нет доступных комментариев

Здесь появятся комментарии из оригинального поста

Похожие видео

Dostlar yeni LLM Coding Benchmark çıktılarımız hazır. 🎉 Bu kez yine zorlu alanları bir araya getiren Trail ile Çift sarkaç: Euler vs RK4 entegrasyonu task'ını test ettim.Bu task ile modellerin hibrit; algoritma, matematik, coding ve Frontend yeteneklerini ölçümledim. Tüm modelleri opencode kullanarak kodlama yaptırdım. Aynı zamanda hepsinde en üst thinking eforu kullandım. Bu kez skorlamada Fiyat/Performans ve Kalite/Performans skalasında yaptım. Değerlendirmeyi modellerin isimlerini görmeden GPT 5.6 Pro yaptı. Testte yer alan Modeller; - DeepSeek V4 Flash 0731 - Gemini 3.6 Flash - Grok 4.5 - Sonnet 5 - GPT5.6-Luna - GPT5.6-Sol - Opus 5 - Kimi K3 - Qwen 3.8 Kalite/Performans - Genel sıralama - Opus 5 — 96.32/100 - $1.4660 - GPT5.6-Sol — 93.85/100 - $0.3627 - GPT5.6-Luna — 92.15/100 - $0.2373 - Kimi K3 — 91.70/100 - $0.3312 - Qwen3.8 — 89.95/100 - $0.2807 - Sonnet 5 — 88.16/100 - $0.4429 - DeepSeek V4 Flash 0731 — 85.12/100 - $0.0994 - Gemini 3.6 Flash — 83.24/100 - $0.0637 - Grok 4.5 — 79.82/100 - $0.4768 Fiyat/performans - Genel sıralama - DeepSeek V4 Flash - 88.00 - GPT5.6-Luna - 87.04 - Qwen 3.8 - 85.75 - Kimi K3 - 84.91 - Gemini 3.6 Flash - 83.57 - GPT5.6-Sol - 82.91 - Grok 4.5 - 81.87 - Sonnet 5 - 80.66 - Opus 5 - 80.22 Genel Değerlendirme: - Prod fiyat/performans kazananı: Qwen3.8. - Maksimum kalite, maliyet önemsiz: Opus 5. - En düşük bütçede yeterli ve tam özellikli çıktı: DeepSeek V4 Flash - En dengeli orta nokta: GPT5.6-Luna ve Kimi K3 Teknik Alan Spesifik Başarı: - En iyi saf numerical integrator: Opus 5 = GPT5.6-Sol - En doğru built-in validator: GPT5.6-Luna - En iyi standart runtime performansı: DeepSeek V4 Flash ve Kimi K3 - En iyi görsel kalite: Opus 5 - En iyi UI/ürün: GPT5.6-Sol - En iyi mimari: Opus 5 - En iyi ekonomik F/P: DeepSeek V4 Flash - En iyi production F/P: GPT5.6-Sol - En pahalı marjinal kalite artışı: Opus 5 - En ciddi validator hatası: Grok 4.5 - En yüksek hot-path/GC riski: Gemini 3.6 Flash
0:58

Dostlar yeni LLM Coding Benchmark çıktılarımız hazır. 🎉 Bu kez yine zorlu alanları bir araya getiren Trail ile Çift sarkaç: Euler vs RK4 entegrasyonu task'ını test ettim.Bu task ile modellerin hibrit; algoritma, matematik, coding ve Frontend yeteneklerini ölçümledim. Tüm modelleri opencode kullanarak kodlama yaptırdım. Aynı zamanda hepsinde en üst thinking eforu kullandım. Bu kez skorlamada Fiyat/Performans ve Kalite/Performans skalasında yaptım. Değerlendirmeyi modellerin isimlerini görmeden GPT 5.6 Pro yaptı. Testte yer alan Modeller; - DeepSeek V4 Flash 0731 - Gemini 3.6 Flash - Grok 4.5 - Sonnet 5 - GPT5.6-Luna - GPT5.6-Sol - Opus 5 - Kimi K3 - Qwen 3.8 Kalite/Performans - Genel sıralama - Opus 5 — 96.32/100 - $1.4660 - GPT5.6-Sol — 93.85/100 - $0.3627 - GPT5.6-Luna — 92.15/100 - $0.2373 - Kimi K3 — 91.70/100 - $0.3312 - Qwen3.8 — 89.95/100 - $0.2807 - Sonnet 5 — 88.16/100 - $0.4429 - DeepSeek V4 Flash 0731 — 85.12/100 - $0.0994 - Gemini 3.6 Flash — 83.24/100 - $0.0637 - Grok 4.5 — 79.82/100 - $0.4768 Fiyat/performans - Genel sıralama - DeepSeek V4 Flash - 88.00 - GPT5.6-Luna - 87.04 - Qwen 3.8 - 85.75 - Kimi K3 - 84.91 - Gemini 3.6 Flash - 83.57 - GPT5.6-Sol - 82.91 - Grok 4.5 - 81.87 - Sonnet 5 - 80.66 - Opus 5 - 80.22 Genel Değerlendirme: - Prod fiyat/performans kazananı: Qwen3.8. - Maksimum kalite, maliyet önemsiz: Opus 5. - En düşük bütçede yeterli ve tam özellikli çıktı: DeepSeek V4 Flash - En dengeli orta nokta: GPT5.6-Luna ve Kimi K3 Teknik Alan Spesifik Başarı: - En iyi saf numerical integrator: Opus 5 = GPT5.6-Sol - En doğru built-in validator: GPT5.6-Luna - En iyi standart runtime performansı: DeepSeek V4 Flash ve Kimi K3 - En iyi görsel kalite: Opus 5 - En iyi UI/ürün: GPT5.6-Sol - En iyi mimari: Opus 5 - En iyi ekonomik F/P: DeepSeek V4 Flash - En iyi production F/P: GPT5.6-Sol - En pahalı marjinal kalite artışı: Opus 5 - En ciddi validator hatası: Grok 4.5 - En yüksek hot-path/GC riski: Gemini 3.6 Flash

Alican Kiraz

14,814 просмотров • 26 дней назад

Grand challenge (chain reaction) - Hermes Agent i wszystko co ma dostępne pod maską. Ten sam prompt. Wszystkie modele wykonują to samo zadanie w tym samym środowisku agentowym - wyniki jeszcze dzisiaj. Modele: - gpt-5.6-sol - deepseek-v4-pro - claude fable 5 - claude opus 4.8 - kimi-k3 - muse-spark-1.1 - glm-5.2 - fugu ultra - grok 4.5
0:29

Grand challenge (chain reaction) - Hermes Agent i wszystko co ma dostępne pod maską. Ten sam prompt. Wszystkie modele wykonują to samo zadanie w tym samym środowisku agentowym - wyniki jeszcze dzisiaj. Modele: - gpt-5.6-sol - deepseek-v4-pro - claude fable 5 - claude opus 4.8 - kimi-k3 - muse-spark-1.1 - glm-5.2 - fugu ultra - grok 4.5

Remek Kinas

11,138 просмотров • 1 месяц назад

Kolejna grupa modeli po testach ... Open Source na łopatkach totalnie .... - gpt-5.6 sol - jako baseline - 4.42$ - nemotron 3.5 lightning - 0.04$ - deepseek-v4-pro-0813 - 12.20$ - Qwen3.8 Max - 11.72$ - Qwen3.8 2.4T A95B - 14.81$
1:04

Kolejna grupa modeli po testach ... Open Source na łopatkach totalnie .... - gpt-5.6 sol - jako baseline - 4.42$ - nemotron 3.5 lightning - 0.04$ - deepseek-v4-pro-0813 - 12.20$ - Qwen3.8 Max - 11.72$ - Qwen3.8 2.4T A95B - 14.81$

Remek Kinas

29,840 просмотров • 14 дней назад

CLAUDE OPUS 5, GPT-5.6 SOL AND KIMI K3 ARE ALL SITTING IN A FREE TIER WITH 7 MILLION TOKENS A DAY • NaraRouter, the gateway > 7M tokens every 24 hours, no card, no subscription: > Claude Opus 5, Sonnet 5 and Fable 5, GPT-5.6 Sol, Terra and Luna, Kimi K3, Qwen3.8 Max, GLM 5.2, DeepSeek V4 Pro and MiniMax M3. > Anthropic-compatible /v1/messages alongside the OpenAI route, so it drops into Claude Code without a proxy. • the multiplier is the real price list > Each model drains the allowance at its own rate -- Sol at 4x, DeepSeek V4 Pro at 3x, Kimi K3 at 1.5x. > Opus 5, Sonnet 5, Fable 5 and Luna carry no multiplier at all. So 7M on Luna is 7M, and 7M on Sol is closer to 1.75M -> pick by the badge, not by the name. Sign up with Google, copy the key once, point your base url at and you are running ↓
0:28

CLAUDE OPUS 5, GPT-5.6 SOL AND KIMI K3 ARE ALL SITTING IN A FREE TIER WITH 7 MILLION TOKENS A DAY • NaraRouter, the gateway > 7M tokens every 24 hours, no card, no subscription: > Claude Opus 5, Sonnet 5 and Fable 5, GPT-5.6 Sol, Terra and Luna, Kimi K3, Qwen3.8 Max, GLM 5.2, DeepSeek V4 Pro and MiniMax M3. > Anthropic-compatible /v1/messages alongside the OpenAI route, so it drops into Claude Code without a proxy. • the multiplier is the real price list > Each model drains the allowance at its own rate -- Sol at 4x, DeepSeek V4 Pro at 3x, Kimi K3 at 1.5x. > Opus 5, Sonnet 5, Fable 5 and Luna carry no multiplier at all. So 7M on Luna is 7M, and 7M on Sol is closer to 1.75M -> pick by the badge, not by the name. Sign up with Google, copy the key once, point your base url at and you are running ↓

slash1s

43,053 просмотров • 20 дней назад

Dünyanın en güçlü 12 yapay zeka modeline aynı görevi verdim: "Okyanus dalgalarını simüle eden tek sayfalık bir kod yaz" Gemini, ChatGPT, Claude, Grok, Deepseek, Mistral, Qwen, Minimax, GLM, DeepSeek, Kimi ve Llama Hepsinin kodunu tek tek test ettim. 🌊 Kim ne yapabildi? 👇
2:59

Dünyanın en güçlü 12 yapay zeka modeline aynı görevi verdim: "Okyanus dalgalarını simüle eden tek sayfalık bir kod yaz" Gemini, ChatGPT, Claude, Grok, Deepseek, Mistral, Qwen, Minimax, GLM, DeepSeek, Kimi ve Llama Hepsinin kodunu tek tek test ettim. 🌊 Kim ne yapabildi? 👇

Erhan Meydan

135,099 просмотров • 7 месяцев назад

DeepSeek Harness 能拯救这次 V4-Pro 的发布吗? 给大家带来 DeepSeek-V4-Pro-0813 实测! 本期视频我们只验证4件事: deepseek-v4-pro-0813 拉了吗? v4-pro 推理强度 max 甚至不如 high 吗? 甚至打不过 v4-flash 吗? 以及 v4-pro + deepseek harness 效果会更好吗? 视频告诉你答案! #deepseek #deepseekv4pro #deepseekv4pro0813
6:45

DeepSeek Harness 能拯救这次 V4-Pro 的发布吗? 给大家带来 DeepSeek-V4-Pro-0813 实测! 本期视频我们只验证4件事: deepseek-v4-pro-0813 拉了吗? v4-pro 推理强度 max 甚至不如 high 吗? 甚至打不过 v4-flash 吗? 以及 v4-pro + deepseek harness 效果会更好吗? 视频告诉你答案! #deepseek #deepseekv4pro #deepseekv4pro0813

karminski-牙医

78,531 просмотров • 13 дней назад

DeepSeek V4 Flash 0731 vs Opus 5. Only 7 days separated their releases. While Opus 5 accomplished in 1 shot what took DS 3, DeepSeek V4 Flash did it in ~900 lines vs ~3000 lines for Opus. Cost delta is stark. DeepSeek cost 1 cent. DS V4 Flash 0731 is new baseline for value-perf
0:20

DeepSeek V4 Flash 0731 vs Opus 5. Only 7 days separated their releases. While Opus 5 accomplished in 1 shot what took DS 3, DeepSeek V4 Flash did it in ~900 lines vs ~3000 lines for Opus. Cost delta is stark. DeepSeek cost 1 cent. DS V4 Flash 0731 is new baseline for value-perf

David Hendrickson

41,980 просмотров • 27 дней назад

Coding Benchmark 🔥 GPT 5.6 Sol Max vs Fable 5 Max vs GLM 5.2 Max vs Opus 4.8 Max - Part 1 Task: Stable Fluids (Jos Stam) - Modelden tek bir bağımsız HTML dosyasında, Jos Stam'ın Stable Fluids yöntemine dayalı gerçek zamanlı, etkileşimli bir akışkan simülasyonu üretmesi isteniyor — kütüphane yok, zero-shot, tek deneme. Çıktı; semi-Lagrangian advection, iteratif difüzyon ve basınç projeksiyonu adımlarını doğru sırada içermeli, ImageData ile 256×256 gridde akıcı çalışmalı, fareyle boya ve hız enjekte edilebilmeli, ekranda divergence ile kütle korunumunu canlı raporlamalıdır. Final Puantaj ve Özet •GPT 5.6 Sol Max — 91/100 •GLM 5.2 Max — 88/100 •Opus 4.8 Max — 86/100 •Fable 5 Max — 81/100 Maliyetler: - GPT‑5.6 Sol : $54,05–$97,02 - Claude Fable 5 : $78,75 - Claude Opus 4.8 : $15,52 - GLM‑5.2 : $1,17 Neden önemli: Bu benchmark, "çalışıyor gibi görünen ama sessizce yanlış" kodu yakalayan nadir testlerden. Basınç projeksiyonunu atlayan bir model yine hatasız çalışan, boyayı yayan bir animasyon üretir — ama girdap oluşmaz; yani hata derleme değil, fizik seviyesindedir ve ancak çıktıya bakınca anlaşılır. Aynı şekilde, Stam'ın yönteminin tanımlayıcı özelliği koşulsuz kararlılıktır: timestep'i sonuna kadar açtığında doğru implementasyon ayakta kalır, naive ileri fark şeması anında NaN'a düşer. Modelde neyi test eder: Ezberlenmiş kod parçacığı yerine algoritmanın nedenini kavradığını (projeksiyon adımının niye zorunlu olduğunu), sayısal yöntem seçimini (implicit çözücü, geri-izleme, yeterli Poisson iterasyonu), gerçek zamanlı grafik farkındalığını (tek blit vs hücre başına fillRect), ve uzun kodda tutarlılığı — sınır koşulları, alan yönetimi, UI durum yönetimi tek dosyada bozulmadan bir arada duruyor mu. Üstelik değerlendirme sübjektif değil: divergence sıfıra iniyor mu, silindirin arkasında Kármán girdap sokağı beliriyor mu, büyük dt'de hayatta kalıyor mu — üçü de ikili (evet/hayır) sonuç verir, yani "vibecoding" testine nadir bulunan nesnel bir skorlama tabanı sağlar.
3:02

Coding Benchmark 🔥 GPT 5.6 Sol Max vs Fable 5 Max vs GLM 5.2 Max vs Opus 4.8 Max - Part 1 Task: Stable Fluids (Jos Stam) - Modelden tek bir bağımsız HTML dosyasında, Jos Stam'ın Stable Fluids yöntemine dayalı gerçek zamanlı, etkileşimli bir akışkan simülasyonu üretmesi isteniyor — kütüphane yok, zero-shot, tek deneme. Çıktı; semi-Lagrangian advection, iteratif difüzyon ve basınç projeksiyonu adımlarını doğru sırada içermeli, ImageData ile 256×256 gridde akıcı çalışmalı, fareyle boya ve hız enjekte edilebilmeli, ekranda divergence ile kütle korunumunu canlı raporlamalıdır. Final Puantaj ve Özet •GPT 5.6 Sol Max — 91/100 •GLM 5.2 Max — 88/100 •Opus 4.8 Max — 86/100 •Fable 5 Max — 81/100 Maliyetler: - GPT‑5.6 Sol : $54,05–$97,02 - Claude Fable 5 : $78,75 - Claude Opus 4.8 : $15,52 - GLM‑5.2 : $1,17 Neden önemli: Bu benchmark, "çalışıyor gibi görünen ama sessizce yanlış" kodu yakalayan nadir testlerden. Basınç projeksiyonunu atlayan bir model yine hatasız çalışan, boyayı yayan bir animasyon üretir — ama girdap oluşmaz; yani hata derleme değil, fizik seviyesindedir ve ancak çıktıya bakınca anlaşılır. Aynı şekilde, Stam'ın yönteminin tanımlayıcı özelliği koşulsuz kararlılıktır: timestep'i sonuna kadar açtığında doğru implementasyon ayakta kalır, naive ileri fark şeması anında NaN'a düşer. Modelde neyi test eder: Ezberlenmiş kod parçacığı yerine algoritmanın nedenini kavradığını (projeksiyon adımının niye zorunlu olduğunu), sayısal yöntem seçimini (implicit çözücü, geri-izleme, yeterli Poisson iterasyonu), gerçek zamanlı grafik farkındalığını (tek blit vs hücre başına fillRect), ve uzun kodda tutarlılığı — sınır koşulları, alan yönetimi, UI durum yönetimi tek dosyada bozulmadan bir arada duruyor mu. Üstelik değerlendirme sübjektif değil: divergence sıfıra iniyor mu, silindirin arkasında Kármán girdap sokağı beliriyor mu, büyük dt'de hayatta kalıyor mu — üçü de ikili (evet/hayır) sonuç verir, yani "vibecoding" testine nadir bulunan nesnel bir skorlama tabanı sağlar.

Alican Kiraz

40,899 просмотров • 1 месяц назад

Dostlar sizleri çok şaşırtacak bir benchmark hazırladım. Bu benchmark'da Qwen3.6-35B ile Kimi-K3 2.8T modelini kıyasladım. Biliyorum çok ütopik bir karşılaşma olarak gelebilir size. Ama inanın doğru loop döngüleri ve iterasyonlarla bu iki modelin birbirine nasıl yaklaştığını görünce çok şaşıracaksınız. Bu test sonuçları aslında bize şunu da gösteriyor; alan spesifik doğru model finetuning'leri ve agent yapıları ile bir oyuncu GPU'sunda çalıştırdığınız bir LLM modelinin, Datacenter seviyesindeki bir altyapıda inference edilen bir model ile nasıl yarışabileceğini bize anlatıyor. Kısaca teki bir RTX 5090 32GB'de çalışırken diğeri 3x (8x Nvidia B200 192GB)'de inference edilebiliyor. Bu nedenle Ilya Sutskever'ın da podcast'lerinde bahsettiği gibi artık zaman Araştırma ve Keşif Çağı, Scaling değil... Coding Benchmark: Qwen3.6-35B vs Kimi-K3 High - Judge: ChatGPT 5.6 Pro - Agent: Opencode - Task: Çift sarkaç + iz (trail), Euler vs RK4 entegrasyon farkı burada görünür — kötü modelde sarkaç enerji kazanıp savrulur. Kaos davranışı görsel olarak tatmin edici. Modellerde İterasyon Sayısı ve Cost Miktarı: - Kimi-K3: 3 adet iterasyon - $0.59 cost - Qwen3.6-35B: 8 adet iterasyon - $0.09 cost Final Puantaj ve Özet - Kimi K3 - high — 90,6/100 - Qwen3.6-35B — 71,6/100 Kimi; fizik mimarisi, chaos görselliği, trail doğruluğu, uzun süreli performans ve düşük risk açısından açık biçimde önde. Qwen; daha geniş bir kontrol paneli, fullscreen, screenshot, preset ve ayarlanabilir chaos sayısı sunuyor. Ancak bunların önemli bölümü task’ın core kalitesini yükseltmiyor; hidden ×10 single-mode maliyeti, frame-dependent timestep, ters trail fade’i ve ölü Fade kontrolü toplam kaliteyi ciddi biçimde düşürüyor. 1) Prompt uyumu — 12 puan - Kimi K3 - high: 11,0/12 - Qwen3.6-35B: 10,0/12 2) Çift sarkaç fiziği doğruluğu — 16 puan - Kimi K3 - high: 15,5/16 - Qwen3.6-35B: 15,2/16 3) Entegratör ve zaman adımı mimarisi — 20 puan - Kimi K3 - high: 18,5/20 - Qwen3.6-35B: 13,8/20 4) Enerji validator’ı ve nümerik şeffaflık — 10 puan - Kimi K3 - high: 9,2/10 - Qwen3.6-35B: 8,1/10 5) Kaos davranışı — 12 puan - Kimi K3 - high: 11,0/12 - Qwen3.6-35B: 8,5/12 6) Trail ve görsel anlatım — 8 puan - Kimi K3 - high: 7,4/8 - Qwen3.6-35B: 4,2/8 7) Performans ve ölçeklenebilirlik — 8 puan - Kimi K3 - high: 7,1/8 - Qwen3.6-35B: 2,6/8 8) UI, kontroller ve responsive davranış — 6 puan - Qwen3.6-35B: 4,7/6 - Kimi K3 - high: 4,3/6
0:26

Dostlar sizleri çok şaşırtacak bir benchmark hazırladım. Bu benchmark'da Qwen3.6-35B ile Kimi-K3 2.8T modelini kıyasladım. Biliyorum çok ütopik bir karşılaşma olarak gelebilir size. Ama inanın doğru loop döngüleri ve iterasyonlarla bu iki modelin birbirine nasıl yaklaştığını görünce çok şaşıracaksınız. Bu test sonuçları aslında bize şunu da gösteriyor; alan spesifik doğru model finetuning'leri ve agent yapıları ile bir oyuncu GPU'sunda çalıştırdığınız bir LLM modelinin, Datacenter seviyesindeki bir altyapıda inference edilen bir model ile nasıl yarışabileceğini bize anlatıyor. Kısaca teki bir RTX 5090 32GB'de çalışırken diğeri 3x (8x Nvidia B200 192GB)'de inference edilebiliyor. Bu nedenle Ilya Sutskever'ın da podcast'lerinde bahsettiği gibi artık zaman Araştırma ve Keşif Çağı, Scaling değil... Coding Benchmark: Qwen3.6-35B vs Kimi-K3 High - Judge: ChatGPT 5.6 Pro - Agent: Opencode - Task: Çift sarkaç + iz (trail), Euler vs RK4 entegrasyon farkı burada görünür — kötü modelde sarkaç enerji kazanıp savrulur. Kaos davranışı görsel olarak tatmin edici. Modellerde İterasyon Sayısı ve Cost Miktarı: - Kimi-K3: 3 adet iterasyon - $0.59 cost - Qwen3.6-35B: 8 adet iterasyon - $0.09 cost Final Puantaj ve Özet - Kimi K3 - high — 90,6/100 - Qwen3.6-35B — 71,6/100 Kimi; fizik mimarisi, chaos görselliği, trail doğruluğu, uzun süreli performans ve düşük risk açısından açık biçimde önde. Qwen; daha geniş bir kontrol paneli, fullscreen, screenshot, preset ve ayarlanabilir chaos sayısı sunuyor. Ancak bunların önemli bölümü task’ın core kalitesini yükseltmiyor; hidden ×10 single-mode maliyeti, frame-dependent timestep, ters trail fade’i ve ölü Fade kontrolü toplam kaliteyi ciddi biçimde düşürüyor. 1) Prompt uyumu — 12 puan - Kimi K3 - high: 11,0/12 - Qwen3.6-35B: 10,0/12 2) Çift sarkaç fiziği doğruluğu — 16 puan - Kimi K3 - high: 15,5/16 - Qwen3.6-35B: 15,2/16 3) Entegratör ve zaman adımı mimarisi — 20 puan - Kimi K3 - high: 18,5/20 - Qwen3.6-35B: 13,8/20 4) Enerji validator’ı ve nümerik şeffaflık — 10 puan - Kimi K3 - high: 9,2/10 - Qwen3.6-35B: 8,1/10 5) Kaos davranışı — 12 puan - Kimi K3 - high: 11,0/12 - Qwen3.6-35B: 8,5/12 6) Trail ve görsel anlatım — 8 puan - Kimi K3 - high: 7,4/8 - Qwen3.6-35B: 4,2/8 7) Performans ve ölçeklenebilirlik — 8 puan - Kimi K3 - high: 7,1/8 - Qwen3.6-35B: 2,6/8 8) UI, kontroller ve responsive davranış — 6 puan - Qwen3.6-35B: 4,7/6 - Kimi K3 - high: 4,3/6

Alican Kiraz

31,351 просмотров • 1 месяц назад

Nisan 2026 LLM Model Coding Benchmark Task: Çok-şeritli otoyol trafik simülasyonunun sıfırdan, tek dosyada (1000–1500 satır) üretilmesi. Modeller ve IDE'ler: - Deepseek v4-Pro / Kilo-code - GPT 5.5 Very-High / Codex - Opus 4.7 1M Max / Claude Code Task Detay: IDM araç-takip fiziği, MOBIL şerit değiştirme, 3 farklı senaryo (on-ramp merge, ring road phantom jam, lane closure), spatial index (O(N²) yasak), custom pygame UI (slider/button), canlı 3 grafik (fundamental diagram, time-space, lane occupancy) ve 150+ araçla 60 FPS hedefi dahil. Sonuçlar ve Sıralama: GPT (23.5/24) — Tek gerçek SpatialIndex + bisect, en hızlı, mimari en temiz. Phantom jam'i biraz abartıyor (spec'te 20–50 araç istenirken 77 spawn ediyor) ama fizik doğru. Spec'i teknik olarak en iyi karşılayan. DeepSeek (19.5/24) — Phantom jam davranışı en "doğru" hisseden, kod en okunabilir. O(N²) spatial nedeniyle 200+ araçta step/s düşüyor; 60 FPS hedefi render eklenince marjinal. Motion trail eksik. Fiziği en sadık, mühendislik en zayıf. Opus (15.5/24) — Yüzeyde feature sayısı yüksek (trail, blink, zengin HUD) ama iki kritik spec şartını kaçırıyor: O(log N) spatial yok ve phantom jam neredeyse oluşmuyor (spread sadece 2.12 m/s). 124 araçta 196 step/s — render eklenince 60 FPS tutmaz. Kozmetik en iyi, mühendislik en zayıf.
0:54

Nisan 2026 LLM Model Coding Benchmark Task: Çok-şeritli otoyol trafik simülasyonunun sıfırdan, tek dosyada (1000–1500 satır) üretilmesi. Modeller ve IDE'ler: - Deepseek v4-Pro / Kilo-code - GPT 5.5 Very-High / Codex - Opus 4.7 1M Max / Claude Code Task Detay: IDM araç-takip fiziği, MOBIL şerit değiştirme, 3 farklı senaryo (on-ramp merge, ring road phantom jam, lane closure), spatial index (O(N²) yasak), custom pygame UI (slider/button), canlı 3 grafik (fundamental diagram, time-space, lane occupancy) ve 150+ araçla 60 FPS hedefi dahil. Sonuçlar ve Sıralama: GPT (23.5/24) — Tek gerçek SpatialIndex + bisect, en hızlı, mimari en temiz. Phantom jam'i biraz abartıyor (spec'te 20–50 araç istenirken 77 spawn ediyor) ama fizik doğru. Spec'i teknik olarak en iyi karşılayan. DeepSeek (19.5/24) — Phantom jam davranışı en "doğru" hisseden, kod en okunabilir. O(N²) spatial nedeniyle 200+ araçta step/s düşüyor; 60 FPS hedefi render eklenince marjinal. Motion trail eksik. Fiziği en sadık, mühendislik en zayıf. Opus (15.5/24) — Yüzeyde feature sayısı yüksek (trail, blink, zengin HUD) ama iki kritik spec şartını kaçırıyor: O(log N) spatial yok ve phantom jam neredeyse oluşmuyor (spread sadece 2.12 m/s). 124 araçta 196 step/s — render eklenince 60 FPS tutmaz. Kozmetik en iyi, mühendislik en zayıf.

Alican Kiraz

23,087 просмотров • 4 месяцев назад

DeepSeek V4 Flash completely failed this test. Compared to Opus 4.8, GPT-5.6 Sol, Kimi K3, and the other current top models, it’s honestly not good. The gap is massive. Against Luna, however, it performs similarly well. Both have different strengths and weaknesses, so I still need to test them more. The weird part: the Pi harness performed worse than OpenCode for DeepSeek. More tests are coming, guys. Don’t worry
0:38

DeepSeek V4 Flash completely failed this test. Compared to Opus 4.8, GPT-5.6 Sol, Kimi K3, and the other current top models, it’s honestly not good. The gap is massive. Against Luna, however, it performs similarly well. Both have different strengths and weaknesses, so I still need to test them more. The weird part: the Pi harness performed worse than OpenCode for DeepSeek. More tests are coming, guys. Don’t worry

OmedTheVibeCoder

25,980 просмотров • 28 дней назад

Free used to mean limited. Now it means frontier. My free tiers article covered the labs themselves. Four new paths opened since. > Freebuff: GLM 5.2, DeepSeek V4 Flash, GPT 5.6 Luna. Six free hours per day. No card: > Zed Pro: 14-day trial, $20 in credits. GPT-5.6 Sol, Claude Sonnet 4.6. No card: > Postman Enterprise: 30-day trial, 800 AI credits. GPT-5, Claude Sonnet. Temp email works: > Grok Bot: 7-day trial. Always-on AI agents with their own cloud computer. Just launched: The labs still sell the frontier. The ecosystem already gives it away.
0:20

Free used to mean limited. Now it means frontier. My free tiers article covered the labs themselves. Four new paths opened since. > Freebuff: GLM 5.2, DeepSeek V4 Flash, GPT 5.6 Luna. Six free hours per day. No card: > Zed Pro: 14-day trial, $20 in credits. GPT-5.6 Sol, Claude Sonnet 4.6. No card: > Postman Enterprise: 30-day trial, 800 AI credits. GPT-5, Claude Sonnet. Temp email works: > Grok Bot: 7-day trial. Always-on AI agents with their own cloud computer. Just launched: The labs still sell the frontier. The ecosystem already gives it away.

ＺＥＦＩ

15,520 просмотров • 18 дней назад

$50 IN FREE CREDITS FOR GLM 5.2, KIMI K3 AND DEEPSEEK V4 PRO, ON A CODE THE COMPANY PUBLISHED ITSELF • ai&, the inference layer > Frontier models at up to 80% lower cost: > GLM 5.2, Kimi K3, Kimi K2.7 Code, DeepSeek V4 Pro and V4 Flash, plus Qwen3.6 27B, Gemma 4 31B and gpt-oss-120b. > OpenAI-compatible endpoint, so it drops into any agent or IDE you already run. • where the discount comes from > They route across AMD, NVIDIA and Tenstorrent, sending each workload to the silicon that suits it. > Everyone else tunes on one kind of chip, so the saving is architectural rather than promotional. Claiming it -> Credits in the top right, pick $50, apply "UNITABETAI" at checkout. The code has been live since their June launch, so run it on your own account before you plan around it ↓
0:22

$50 IN FREE CREDITS FOR GLM 5.2, KIMI K3 AND DEEPSEEK V4 PRO, ON A CODE THE COMPANY PUBLISHED ITSELF • ai&, the inference layer > Frontier models at up to 80% lower cost: > GLM 5.2, Kimi K3, Kimi K2.7 Code, DeepSeek V4 Pro and V4 Flash, plus Qwen3.6 27B, Gemma 4 31B and gpt-oss-120b. > OpenAI-compatible endpoint, so it drops into any agent or IDE you already run. • where the discount comes from > They route across AMD, NVIDIA and Tenstorrent, sending each workload to the silicon that suits it. > Everyone else tunes on one kind of chip, so the saving is architectural rather than promotional. Claiming it -> Credits in the top right, pick $50, apply "UNITABETAI" at checkout. The code has been live since their June launch, so run it on your own account before you plan around it ↓

slash1s

27,159 просмотров • 20 дней назад

DeepSeek V4 Flash & V4 Pro Official API Speed Test V4 Flash: 80.63 tok/s V4 Pro: 36.72 tok/s
0:22

DeepSeek V4 Flash & V4 Pro Official API Speed Test V4 Flash: 80.63 tok/s V4 Pro: 36.72 tok/s

stevibe

17,555 просмотров • 4 месяцев назад

qwen 3.8 max vs deepseek v4 flash 0731 vs kimi k3 vs gpt 5.6 sol – on rubik's cube and chess four frontier models built a rubik's cube stand and solved it, then built a chess board and played claude opus 5 on it the setup: Nous Research's hermes agent cli on OpenRouter tasks: 1. cube – build a 3d rubik's cube with a cli and a Three.js viewer, then solve an identical scrambled position on your own stand 2. chess – build a 3d chess stand, then play white against claude opus 5 as black, live, one move at a time. no engine, no solver, no opening book on either side. stockfish depth 14 grades every chess ply afterwards; neither player sees the score models: DeepSeek v4 flash 0731, OpenAI gpt-5.6 sol, Kimi.ai kimi k3, Qwen qwen 3.8 max gpt-5.6 sol and deepseek v4 flash solved their cubes – sol in 24 moves and seventeen seconds, deepseek in 32. qwen and kimi never got there, giving up at 96 and 207 moves then all four built chess stands and played white against claude opus 5 on them, and all four resigned: deepseek on move 13, sol on 19, kimi on 21, qwen holding out longest at 29 - build time, both stands #1 gpt-5.6 sol – 16m 43s #2 deepseek v4 flash – 97m 39s #3 kimi k3 – 166m 09s #4 qwen 3.8 max – 215m 08s - build attempts before a working stand #1 gpt-5.6 sol – 3 #2 qwen 3.8 max – 4 #3 kimi k3 – 4 #4 deepseek v4 flash – 5 - total tokens #1 gpt-5.6 sol – 6,713,754 #2 qwen 3.8 max – 17,272,507 #3 kimi k3 – 22,427,504 #4 deepseek v4 flash – 27,417,442 - total price #1 deepseek v4 flash – $0.557 #2 gpt-5.6 sol – $6.319 #3 qwen 3.8 max – $10.270 #4 kimi k3 – $16.667 observations: • deepseek v4 flash is the cheapest model here by a margin nobody else is near, and it got there while being the least efficient of the four. it burned 27.4m tokens – more than anyone, 5m more than kimi – and still finished both benchmarks for $0.557. that is $0.02 per million tokens against kimi's $0.74. it also needed the most passes to produce working stands, five, and that did not matter: all five deepseek passes together cost a thirtieth of kimi's two • so what deepseek cannot do is get it right the first time. what it can do is get it right the fifth time, for half a dollar. that is a different thing to be buying – not a good first draft, but the option to keep asking • gpt-5.6 sol is the opposite profile and the strongest of the four on pure efficiency. 16m 43s to build both stands, 6.7m tokens, three passes – under 40% of the next lowest token count and a quarter of deepseek's, on an eighth of qwen's clock. it also solved the cube fastest of anyone, 24 moves in seventeen seconds. sol is what you reach for when you want the answer now and can absorb $0.94 per million • sol's weakness is in what it does not check. its chess viewer deleted the capturing piece instead of the captured one, so pieces disappeared off the board mid-game – a defect the fifty-cent deepseek stand did not have. fast and terse turns out to be the same dial as fast and unverified • qwen 3.8 max is not the cheap open-weights option it gets treated as. $10.270 across the two benchmarks, second most expensive of the four, 18x deepseek, and by a distance the slowest – 215 minutes of build time, nearly thirteen times sol's. what the money buys is judgment: it played eighteen moves without a single error worth a hundredth of a pawn, then made exactly one bad move in the whole game, and averaged 44.6 centipawns lost across the longest game any of the four managed. it also could not solve a rubik's cube in 96 tries • kimi k3 is the one line with no reading that flatters it. most expensive at $16.667, last on the cube at 207 moves, last at chess at 478 centipawns lost per move. it is also the model that verified hardest – on the cube it wrote its own integrity check instead of trusting its output. that makes the result worse rather than better: the checking was real, and the reasoning underneath it still was not follow thehype. for 24/7 ai news, analysis and breakdowns
1:03

qwen 3.8 max vs deepseek v4 flash 0731 vs kimi k3 vs gpt 5.6 sol – on rubik's cube and chess four frontier models built a rubik's cube stand and solved it, then built a chess board and played claude opus 5 on it the setup: Nous Research's hermes agent cli on OpenRouter tasks: 1. cube – build a 3d rubik's cube with a cli and a Three.js viewer, then solve an identical scrambled position on your own stand 2. chess – build a 3d chess stand, then play white against claude opus 5 as black, live, one move at a time. no engine, no solver, no opening book on either side. stockfish depth 14 grades every chess ply afterwards; neither player sees the score models: DeepSeek v4 flash 0731, OpenAI gpt-5.6 sol, Kimi.ai kimi k3, Qwen qwen 3.8 max gpt-5.6 sol and deepseek v4 flash solved their cubes – sol in 24 moves and seventeen seconds, deepseek in 32. qwen and kimi never got there, giving up at 96 and 207 moves then all four built chess stands and played white against claude opus 5 on them, and all four resigned: deepseek on move 13, sol on 19, kimi on 21, qwen holding out longest at 29 - build time, both stands #1 gpt-5.6 sol – 16m 43s #2 deepseek v4 flash – 97m 39s #3 kimi k3 – 166m 09s #4 qwen 3.8 max – 215m 08s - build attempts before a working stand #1 gpt-5.6 sol – 3 #2 qwen 3.8 max – 4 #3 kimi k3 – 4 #4 deepseek v4 flash – 5 - total tokens #1 gpt-5.6 sol – 6,713,754 #2 qwen 3.8 max – 17,272,507 #3 kimi k3 – 22,427,504 #4 deepseek v4 flash – 27,417,442 - total price #1 deepseek v4 flash – $0.557 #2 gpt-5.6 sol – $6.319 #3 qwen 3.8 max – $10.270 #4 kimi k3 – $16.667 observations: • deepseek v4 flash is the cheapest model here by a margin nobody else is near, and it got there while being the least efficient of the four. it burned 27.4m tokens – more than anyone, 5m more than kimi – and still finished both benchmarks for $0.557. that is $0.02 per million tokens against kimi's $0.74. it also needed the most passes to produce working stands, five, and that did not matter: all five deepseek passes together cost a thirtieth of kimi's two • so what deepseek cannot do is get it right the first time. what it can do is get it right the fifth time, for half a dollar. that is a different thing to be buying – not a good first draft, but the option to keep asking • gpt-5.6 sol is the opposite profile and the strongest of the four on pure efficiency. 16m 43s to build both stands, 6.7m tokens, three passes – under 40% of the next lowest token count and a quarter of deepseek's, on an eighth of qwen's clock. it also solved the cube fastest of anyone, 24 moves in seventeen seconds. sol is what you reach for when you want the answer now and can absorb $0.94 per million • sol's weakness is in what it does not check. its chess viewer deleted the capturing piece instead of the captured one, so pieces disappeared off the board mid-game – a defect the fifty-cent deepseek stand did not have. fast and terse turns out to be the same dial as fast and unverified • qwen 3.8 max is not the cheap open-weights option it gets treated as. $10.270 across the two benchmarks, second most expensive of the four, 18x deepseek, and by a distance the slowest – 215 minutes of build time, nearly thirteen times sol's. what the money buys is judgment: it played eighteen moves without a single error worth a hundredth of a pawn, then made exactly one bad move in the whole game, and averaged 44.6 centipawns lost across the longest game any of the four managed. it also could not solve a rubik's cube in 96 tries • kimi k3 is the one line with no reading that flatters it. most expensive at $16.667, last on the cube at 207 moves, last at chess at 478 centipawns lost per move. it is also the model that verified hardest – on the cube it wrote its own integrity check instead of trusting its output. that makes the result worse rather than better: the checking was real, and the reasoning underneath it still was not follow thehype. for 24/7 ai news, analysis and breakdowns

thehype.

84,595 просмотров • 24 дней назад

Model Coding Benchmark 🚀 Agents: Cursor, Models: - Kimi K2.7 code - Sonnet 5 Max - Fable 5 Max - GPT 5.5 Very High - GLM 5.2 Max - Composer 2.5 Fast Task: HTML Double Pendulum Simülatörü 🎉Kazanan: Fable 5 Max🎉 Final Puantaj ve Özet - Fable 5 Max — 94/100 - Sonnet 5 Max — 92/100 - GLM 5.2 Max — 88/100 - Composer 2.5 Fast — Fail - Kimi K2.7 code — 82/100 - GPT 5.5 Very High — 81/100 Fable 5 Max zayıflıkları - Genel kazanan ama kod yoğunluğu yüksek; bakım için biraz disiplin istiyor. - Chaos yapısı ayrı ChaosSwarm sınıfı yerine App içinde daha entegre ilerliyor; mimari “çok temiz” ama Sonnet kadar sınıf-ayrıştırmalı değil. - Çok gelişmiş trail/render sistemi maksimum ayarlarda CPU’yu zorlayabilir; buna karşı segment budget koymuş olması büyük artı. - Conservation threshold çok sıkı; ekstrem yüksek-enerji presetlerde “uyarı” üretme ihtimali daha yüksek ama bu aslında dürüst bir doğruluk yaklaşımı. Sonnet 5 Max zayıflıkları - En kapsamlı mimarilerden biri ama hedef 3000–4000 satır iken ~çok daha büyük bir uygulama üretmiş; “benchmark prompt’una disiplinli uyum” açısından Fable’ın gerisine düşüyor. - Conservation pass threshold Fable’a göre daha gevşek; Sonnet’te CONSERVATION_PASS_PERCENT 1.0 seviyesinde, Fable’da çok daha sıkı bir eşik var. - Drag sonrası fiziksel “fling” tahmini yok; sürükleme güvenli ama Fable/GLM kadar canlı his vermeyebilir. - Çok geniş UI/diagnostics yapısı iyi ama bazı kullanıcılara fazla panel-yoğun gelebilir. GLM 5.2 Max zayıflıkları - Çok güçlü görsel ve eğitimsel anlatım var ama RK4 wrapper tarafında stepState her adımda toArr() ile array üretip geri yazıyor; 12–24 chaos pendulum + extreme timestep altında gereksiz allocation riski var. - Trail setCapacity eski noktaları korumadan yeni buffer’a geçiyor; trail length değiştirince görsel süreklilik kaybı olabilir. - Kod 3000 satır sınırına çok yakın ama biraz altında; prompt’un “substantial 3000–4000 line” beklentisini Fable/Sonnet kadar doldurmuyor. - Fizik ve UI iyi, fakat performans mimarisi Fable/Sonnet kadar rafine değil. Composer 2.5 Fast zayıflıkları - Güzel mimari fikirler var: PhysicsSelfTest, ConservationRunner, state/hash/export, graphs, presets. Ancak toplam uygulama prompt’un hedeflediği 3000–4000 satır seviyesinin belirgin altında kalıyor. - Self-test tarafı var ama enerji testinde tolerans oldukça gevşek; örneğin 10 saniyelik enerji drift testinde %5 eşiği kullanılmış. - Trail/render sistemi işlevsel ama Fable/Sonnet/GLM kadar sinematik değil. - Bazı UI parçaları string template ağırlıklı; production UI hissi güçlü ama en üst iki model kadar rafine değil. Kimi K2.7 code zayıflıkları - RK4 ve conservation check var, fakat trail buffer object-array temelli; Fable/Sonnet’in typed-array ring buffer yaklaşımı kadar performans dostu değil. - Randomize akışı gerçek anlamda editable deterministic seed üzerinden ilerlemiyor; Math.random() ile yeni seed üretme eğilimi var. - State serialization/export mevcut ama validasyon/safety katmanı Sonnet/Fable kadar sağlam değil. - Graph/render tarafında array spread/map kullanımı var; küçük sahnede sorun olmaz ama benchmark için daha riskli. GPT 5.5 Very High zayıflıkları - Fizik/RK4 çekirdeği sağlam, typed-array trail buffer da var; fakat uygulama prompt’un istediği 3000–4000 satırlık “substantial production lab” hedefinin oldukça altında kalıyor. - Preset seti eksik görünüyor; prompt’ta istenen “Minimal diagnostics” preset’i condition olarak geçiyor ama preset listesinde tam karşılığı yok. - State/export ve conservation check var ama Sonnet/Fable kadar kapsamlı validation, safety recovery ve diagnostics derinliği yok. - Daha kompakt ve temiz ama bu benchmark’ta “az kodla iyi demo” değil, “tam ürün” istenmişti.
1:27

Model Coding Benchmark 🚀 Agents: Cursor, Models: - Kimi K2.7 code - Sonnet 5 Max - Fable 5 Max - GPT 5.5 Very High - GLM 5.2 Max - Composer 2.5 Fast Task: HTML Double Pendulum Simülatörü 🎉Kazanan: Fable 5 Max🎉 Final Puantaj ve Özet - Fable 5 Max — 94/100 - Sonnet 5 Max — 92/100 - GLM 5.2 Max — 88/100 - Composer 2.5 Fast — Fail - Kimi K2.7 code — 82/100 - GPT 5.5 Very High — 81/100 Fable 5 Max zayıflıkları - Genel kazanan ama kod yoğunluğu yüksek; bakım için biraz disiplin istiyor. - Chaos yapısı ayrı ChaosSwarm sınıfı yerine App içinde daha entegre ilerliyor; mimari “çok temiz” ama Sonnet kadar sınıf-ayrıştırmalı değil. - Çok gelişmiş trail/render sistemi maksimum ayarlarda CPU’yu zorlayabilir; buna karşı segment budget koymuş olması büyük artı. - Conservation threshold çok sıkı; ekstrem yüksek-enerji presetlerde “uyarı” üretme ihtimali daha yüksek ama bu aslında dürüst bir doğruluk yaklaşımı. Sonnet 5 Max zayıflıkları - En kapsamlı mimarilerden biri ama hedef 3000–4000 satır iken ~çok daha büyük bir uygulama üretmiş; “benchmark prompt’una disiplinli uyum” açısından Fable’ın gerisine düşüyor. - Conservation pass threshold Fable’a göre daha gevşek; Sonnet’te CONSERVATION_PASS_PERCENT 1.0 seviyesinde, Fable’da çok daha sıkı bir eşik var. - Drag sonrası fiziksel “fling” tahmini yok; sürükleme güvenli ama Fable/GLM kadar canlı his vermeyebilir. - Çok geniş UI/diagnostics yapısı iyi ama bazı kullanıcılara fazla panel-yoğun gelebilir. GLM 5.2 Max zayıflıkları - Çok güçlü görsel ve eğitimsel anlatım var ama RK4 wrapper tarafında stepState her adımda toArr() ile array üretip geri yazıyor; 12–24 chaos pendulum + extreme timestep altında gereksiz allocation riski var. - Trail setCapacity eski noktaları korumadan yeni buffer’a geçiyor; trail length değiştirince görsel süreklilik kaybı olabilir. - Kod 3000 satır sınırına çok yakın ama biraz altında; prompt’un “substantial 3000–4000 line” beklentisini Fable/Sonnet kadar doldurmuyor. - Fizik ve UI iyi, fakat performans mimarisi Fable/Sonnet kadar rafine değil. Composer 2.5 Fast zayıflıkları - Güzel mimari fikirler var: PhysicsSelfTest, ConservationRunner, state/hash/export, graphs, presets. Ancak toplam uygulama prompt’un hedeflediği 3000–4000 satır seviyesinin belirgin altında kalıyor. - Self-test tarafı var ama enerji testinde tolerans oldukça gevşek; örneğin 10 saniyelik enerji drift testinde %5 eşiği kullanılmış. - Trail/render sistemi işlevsel ama Fable/Sonnet/GLM kadar sinematik değil. - Bazı UI parçaları string template ağırlıklı; production UI hissi güçlü ama en üst iki model kadar rafine değil. Kimi K2.7 code zayıflıkları - RK4 ve conservation check var, fakat trail buffer object-array temelli; Fable/Sonnet’in typed-array ring buffer yaklaşımı kadar performans dostu değil. - Randomize akışı gerçek anlamda editable deterministic seed üzerinden ilerlemiyor; Math.random() ile yeni seed üretme eğilimi var. - State serialization/export mevcut ama validasyon/safety katmanı Sonnet/Fable kadar sağlam değil. - Graph/render tarafında array spread/map kullanımı var; küçük sahnede sorun olmaz ama benchmark için daha riskli. GPT 5.5 Very High zayıflıkları - Fizik/RK4 çekirdeği sağlam, typed-array trail buffer da var; fakat uygulama prompt’un istediği 3000–4000 satırlık “substantial production lab” hedefinin oldukça altında kalıyor. - Preset seti eksik görünüyor; prompt’ta istenen “Minimal diagnostics” preset’i condition olarak geçiyor ama preset listesinde tam karşılığı yok. - State/export ve conservation check var ama Sonnet/Fable kadar kapsamlı validation, safety recovery ve diagnostics derinliği yok. - Daha kompakt ve temiz ama bu benchmark’ta “az kodla iyi demo” değil, “tam ürün” istenmişti.

Alican Kiraz

82,758 просмотров • 1 месяц назад

Grok 4.6 High vs Opus 5 High vs Fable 5 High vs GPT 5.6 sol High > 3D model of an Airbus H145 helicopter in Three js
0:42

Grok 4.6 High vs Opus 5 High vs Fable 5 High vs GPT 5.6 sol High > 3D model of an Airbus H145 helicopter in Three js

Harshith

124,067 просмотров • 17 дней назад

We ran a test between the new Qwen3.8-Max, Opus 5 and GPT-5.6 Sol. 3 models. same prompt. one-shot with the /design command. Reviewed gameplay features, UX/UI and cost. 🔹 Qwen3.8-Max → 9/10 · $0.0248 🔹 GPT-5.6 Sol → 9/10 · $0.150 🔹 Opus 5 → 8.5/10 · $0.253 Qwen3.8-Max is approximately 4.2× cheaper than GPT-5.6, Sol, Opus 5 and has the same level of UI, UX, and gameplay.
0:29

We ran a test between the new Qwen3.8-Max, Opus 5 and GPT-5.6 Sol. 3 models. same prompt. one-shot with the /design command. Reviewed gameplay features, UX/UI and cost. 🔹 Qwen3.8-Max → 9/10 · $0.0248 🔹 GPT-5.6 Sol → 9/10 · $0.150 🔹 Opus 5 → 8.5/10 · $0.253 Qwen3.8-Max is approximately 4.2× cheaper than GPT-5.6, Sol, Opus 5 and has the same level of UI, UX, and gameplay.

Command Code

179,535 просмотров • 26 дней назад

Coding Benchmark: Cursor Composer 2.5 vs Z.ai GLM 5.2 Task: DLA (Diffusion-Limited Aggregation) Judge: GPT 5.5 Pro 🎉Winner: Composer 2.5🎉 Sebep: Prompt’un “crux” dediği nokta performanstı: en az ~50.000 particle’da responsive kalma, optimize algoritma, live stats ve performans barı. Composer çözümü bu gereksinime daha doğrudan oynuyor: sabit 720x720 lattice grid, Int32Array, Int16Array, offscreen ImageData, MAX_WALKERS = 192, adaptive performance loop ve gerçek bir performance bar var. Prompt açıkça 50k real-time performansı ve box-counting doğrulamasını kritik görüyor. Final Puantaj ve Özet: - Cursor Composer 2.5 - 83/100 - GLM 5.2 - 80/100 GLM 5.2 zayıflıkları - Performance bar yok. Prompt bunu açıkça istiyordu. - Seeded determinism yok. Math.random() doğrudan kullanılıyor. - boundingR güncellemesi gecikmeli. Spawn bölgesi hızlı büyümede stale kalabilir. - Map tabanlı grid 50k+ için typed-array grid kadar stabil değil. - Start/Pause tek toggle. Kullanılır ama Composer kadar net değil. Cursor Composer 2.5 zayıflıkları - Sabit 720×720 dünya. Büyük aggregate ve uzun koşularda sınır etkisi üretir. - 4-neighbor lattice artifact riski. Daha kare/piksel tabanlı görünür. - Glow çok temel. Gerçek bloom değil, shadowBlur benzeri. - Seeded determinism yok. O da Math.random() kullanıyor. - Fraktal estetiği GLM kadar organik olmayabilir. 1)Prompt uyumu - Composer 2.5 : 8.6/10 - GLM 5.2 : 8.1/10 2)DLA algoritma doğruluğu - Composer 2.5 : 8.2 / 10 - GLM 5.2 : 8.0 / 10 3) Performans mimarisi - Composer 2.5 : 9.0/10 - GLM 5.2 : 8.0/10 Görsel kalite / seyir zevki - Composer 2.5 : 7.3/10 - GLM 5.2 : 8.4/10 UI / kontrol paneli - Composer 2.5 : 8.7/10 - GLM 5.2 : 8.2/10 Live stats / correctness check - Composer 2.5 : 8.8/10 - GLM 5.2 : 8.4/10 Ölçeklenebilirlik - Composer 2.5 : 7.5/10 - GLM 5.2 : 8.3/10 Kod mimarisi / okunabilirlik - Composer 2.5 : 8.4 / 10 - GLM 5.2 : 8.0/10 Risk / bug potansiyeli - Composer 2.5 : 7.8/10 - GLM 5.2 : 7.2/10
1:02

Coding Benchmark: Cursor Composer 2.5 vs Z.ai GLM 5.2 Task: DLA (Diffusion-Limited Aggregation) Judge: GPT 5.5 Pro 🎉Winner: Composer 2.5🎉 Sebep: Prompt’un “crux” dediği nokta performanstı: en az ~50.000 particle’da responsive kalma, optimize algoritma, live stats ve performans barı. Composer çözümü bu gereksinime daha doğrudan oynuyor: sabit 720x720 lattice grid, Int32Array, Int16Array, offscreen ImageData, MAX_WALKERS = 192, adaptive performance loop ve gerçek bir performance bar var. Prompt açıkça 50k real-time performansı ve box-counting doğrulamasını kritik görüyor. Final Puantaj ve Özet: - Cursor Composer 2.5 - 83/100 - GLM 5.2 - 80/100 GLM 5.2 zayıflıkları - Performance bar yok. Prompt bunu açıkça istiyordu. - Seeded determinism yok. Math.random() doğrudan kullanılıyor. - boundingR güncellemesi gecikmeli. Spawn bölgesi hızlı büyümede stale kalabilir. - Map tabanlı grid 50k+ için typed-array grid kadar stabil değil. - Start/Pause tek toggle. Kullanılır ama Composer kadar net değil. Cursor Composer 2.5 zayıflıkları - Sabit 720×720 dünya. Büyük aggregate ve uzun koşularda sınır etkisi üretir. - 4-neighbor lattice artifact riski. Daha kare/piksel tabanlı görünür. - Glow çok temel. Gerçek bloom değil, shadowBlur benzeri. - Seeded determinism yok. O da Math.random() kullanıyor. - Fraktal estetiği GLM kadar organik olmayabilir. 1)Prompt uyumu - Composer 2.5 : 8.6/10 - GLM 5.2 : 8.1/10 2)DLA algoritma doğruluğu - Composer 2.5 : 8.2 / 10 - GLM 5.2 : 8.0 / 10 3) Performans mimarisi - Composer 2.5 : 9.0/10 - GLM 5.2 : 8.0/10 Görsel kalite / seyir zevki - Composer 2.5 : 7.3/10 - GLM 5.2 : 8.4/10 UI / kontrol paneli - Composer 2.5 : 8.7/10 - GLM 5.2 : 8.2/10 Live stats / correctness check - Composer 2.5 : 8.8/10 - GLM 5.2 : 8.4/10 Ölçeklenebilirlik - Composer 2.5 : 7.5/10 - GLM 5.2 : 8.3/10 Kod mimarisi / okunabilirlik - Composer 2.5 : 8.4 / 10 - GLM 5.2 : 8.0/10 Risk / bug potansiyeli - Composer 2.5 : 7.8/10 - GLM 5.2 : 7.2/10

Alican Kiraz

17,416 просмотров • 2 месяцев назад

GLM 5.3 Max vs Fable 5 vs Qwen 3.8 Max vs Grok 4.6 GLM 5.3 is a massive jump over 5.2. Still not beating Fable 5 for me, but it’s way closer now. And vs Grok 4.6? I’d take GLM 5.3 pretty easily on this test.
0:33

GLM 5.3 Max vs Fable 5 vs Qwen 3.8 Max vs Grok 4.6 GLM 5.3 is a massive jump over 5.2. Still not beating Fable 5 for me, but it’s way closer now. And vs Grok 4.6? I’d take GLM 5.3 pretty easily on this test.

OmedTheVibeCoder

16,648 просмотров • 15 дней назад