Video wird geladen...

Video konnte nicht geladen werden

Zur Startseite

Advanced Frontier LLM Coding Benchmark 13.08.2026 Modeller: - Grok 4.6 Extra High - Cursor - Opus 5 Max - Claude Code (App) - Qwen 3.8 Max - Qwen-Code (CLI) - Kimi K3 Max - Kimi-Code (App) - GLM 5.2 Max - Zcode (App) - GPT 5.6 Sol Very High...

12,922 Aufrufe • vor 2 Monaten •via X (Twitter)

18 Kommentare

Profilbild von Kağan Kongar
Kağan Kongarvor 2 Monaten

Thank you for sharing. Your data, different presentation:

Profilbild von Alican Kiraz
Alican Kirazvor 2 Monaten

❤️

Profilbild von Abidin ÖZLER
Abidin ÖZLERvor 2 Monaten

Üstad, metinden anlam çıkarma konusunda bir Benchmark çok güzel olur. Modeller okuduklarını ne kadarını sınıflandırabiliyorlar ?

Profilbild von Sir Yusuf
Sir Yusufvor 2 Monaten

Glm 5.3 ekler misin hazır bunlar varken

Profilbild von Alain
Alainvor 2 Monaten

qwen şov yapmış. Elinize sağlık bu testte gemini 3.7 flash olması çok iyi olurdu.

Profilbild von Alican Kiraz
Alican Kirazvor 2 Monaten

Rica ederim, akşama GLM 5.3 ve Gemini 3.7’i de ekleyeceğim 🎉

Profilbild von Adel Bucetta
Adel Bucettavor 2 Monaten

the real unlock is seeing which of these models actually scale to complex domain knowledge not just abstract math

Profilbild von Hakan
Hakanvor 2 Monaten

minimax niye yok hocam

Profilbild von 安叫兽|Bird🕊️ 🔶 BNB
安叫兽|Bird🕊️ 🔶 BNBvor 2 Monaten

这阵容看着像穿越了,日期和版本都挺超前。

Profilbild von Berk :)
Berk :)vor 2 Monaten

Deepseek’le 10 kat daha uzun süre uğraşsak yine de Opus kalitesine gelmesi mümkün değil mi? Opus 5 ile Sonnet 5 arasında çok bir fark var mı? Opus planlamada ve kodlamada gerçekten başarılı ama kullanımı hızlı bitiriyor.

Profilbild von Ömer
Ömervor 2 Monaten

Eline sağlık. Harness'ler baya bir etkili oluyor. O yüzden tam olarak model performansını yansıtır mı emin olamadım

Profilbild von Mucahit Gundogdu
Mucahit Gundogduvor 2 Monaten

Deepsek v4 pro nun fiyatına göre gpt glm kimi gibi modellerin önüne geçmesi çok iyi ama 1 saate yapılan işi 3 saate yapmak nedir.

Profilbild von Sefa
Sefavor 2 Monaten

Crazy

Profilbild von Gurur Aşer
Gurur Aşervor 2 Monaten

Büyük model plan + küçük model uygulama vs büyük model plan + büyük model uygulama karşılaştırması yapar mısınız?

Profilbild von Ankaragüçlü
Ankaragüçlüvor 2 Monaten

Hocam gozbebegimiz GLM 5.3 geldi onuda bekliyoruz :)

Profilbild von Kaan Can Güner
Kaan Can Günervor 2 Monaten

kaydedilecek kalitede bir bilgi elinize sağlık 👍

Profilbild von Keith Tsang
Keith Tsangvor 2 Monaten

Most comparisons overlook real, world performance impact. Benchmarks are just numbers—actual coding efficiency, integration speed, and user adaptability matter more. It's not just about who scores highest, but who helps you code better, faster.

Profilbild von KC
KCvor 2 Monaten

These real coding benchmarks are more useful than most leaderboards.

Ähnliche Videos

Dostlar yeni LLM Coding Benchmark çıktılarımız hazır. 🎉 Bu kez yine zorlu alanları bir araya getiren Trail ile Çift sarkaç: Euler vs RK4 entegrasyonu task'ını test ettim.Bu task ile modellerin hibrit; algoritma, matematik, coding ve Frontend yeteneklerini ölçümledim. Tüm modelleri opencode kullanarak kodlama yaptırdım. Aynı zamanda hepsinde en üst thinking eforu kullandım. Bu kez skorlamada Fiyat/Performans ve Kalite/Performans skalasında yaptım. Değerlendirmeyi modellerin isimlerini görmeden GPT 5.6 Pro yaptı. Testte yer alan Modeller; - DeepSeek V4 Flash 0731 - Gemini 3.6 Flash - Grok 4.5 - Sonnet 5 - GPT5.6-Luna - GPT5.6-Sol - Opus 5 - Kimi K3 - Qwen 3.8 Kalite/Performans - Genel sıralama - Opus 5 — 96.32/100 - $1.4660 - GPT5.6-Sol — 93.85/100 - $0.3627 - GPT5.6-Luna — 92.15/100 - $0.2373 - Kimi K3 — 91.70/100 - $0.3312 - Qwen3.8 — 89.95/100 - $0.2807 - Sonnet 5 — 88.16/100 - $0.4429 - DeepSeek V4 Flash 0731 — 85.12/100 - $0.0994 - Gemini 3.6 Flash — 83.24/100 - $0.0637 - Grok 4.5 — 79.82/100 - $0.4768 Fiyat/performans - Genel sıralama - DeepSeek V4 Flash - 88.00 - GPT5.6-Luna - 87.04 - Qwen 3.8 - 85.75 - Kimi K3 - 84.91 - Gemini 3.6 Flash - 83.57 - GPT5.6-Sol - 82.91 - Grok 4.5 - 81.87 - Sonnet 5 - 80.66 - Opus 5 - 80.22 Genel Değerlendirme: - Prod fiyat/performans kazananı: Qwen3.8. - Maksimum kalite, maliyet önemsiz: Opus 5. - En düşük bütçede yeterli ve tam özellikli çıktı: DeepSeek V4 Flash - En dengeli orta nokta: GPT5.6-Luna ve Kimi K3 Teknik Alan Spesifik Başarı: - En iyi saf numerical integrator: Opus 5 = GPT5.6-Sol - En doğru built-in validator: GPT5.6-Luna - En iyi standart runtime performansı: DeepSeek V4 Flash ve Kimi K3 - En iyi görsel kalite: Opus 5 - En iyi UI/ürün: GPT5.6-Sol - En iyi mimari: Opus 5 - En iyi ekonomik F/P: DeepSeek V4 Flash - En iyi production F/P: GPT5.6-Sol - En pahalı marjinal kalite artışı: Opus 5 - En ciddi validator hatası: Grok 4.5 - En yüksek hot-path/GC riski: Gemini 3.6 Flash

Alican Kiraz

15,166 Aufrufe • vor 3 Monaten

Frontier Coding LLM Advanced Benchmark 🔥 - Kimi K3 Max - Qwen3.8 Xhigh - Opus 5 Max - GPT Sol 5.6 Ultra - GLM 5.2 Max - Grok 4.5 High Task: Modelden tek bir bağımsız HTML dosyasında, kum/su/ateş/duman gibi elementlerin hücresel otomat kurallarıyla etkileştiği etkileşimli bir "falling sand" simülasyonu üretmesi isteniyor; kütüphane yok, zero-shot, tek deneme. Kum yığın oluşturarak düşmeli, sıvılar seviye bulmalı, elementler yoğunluğa göre katmanlara ayrışmalı ve ateş-su-lava-asit gibi etkileşimler veri odaklı bir reaksiyon tablosundan yürümeli. Çıktı, on binlerce parçacığı ImageData ile 60 FPS'te çizebilecek performansta olmalı ve kum konisi ile bağlantılı kaplar gibi önceden tanımlı sahnelerle kendini doğrulayabilmeli. Task'ın Zorluğu: Bu görev basit bir parçacık animasyonu değil. Aynı anda dört farklı mühendislik problemini çözmek gerekiyor: - CA scheduling: Aşağı düşen hücre aynı step içinde tekrar işlenmemeli. Aksi hâlde kum tek frame’de tabana ışınlanıyor. - İstatistiksel simetri: Sol/sağ deneme sırası hücre başına randomize edilmezse kum konisi sistematik olarak bir tarafa yatıyor. - Çok-fazlı yoğunluk ve hidrostatik davranış: Yalnızca aşağı hareket ve yatay dispersion, dar taban kanallı gerçek bir U-kapta suyu karşı kola yükseltmeye yetmiyor. Basınç veya eşdeğer bir kütle transferi mekanizması gerekiyor. - Reaktif state machine: Yanıcı madde kimliği, burn lifetime, smoke/ash üretimi, gaz ömrü ve kimyasal reaksiyonlar birbirini bozmadan yürümeli. 🎉Kazanan: GPT Sol 5.6🎉 Final Puantaj ve Özet - GPT Sol 5.6 — 92.4/100 - Opus 5 — 66.1/100 - Kimi K3 — 62.1/100 - Qwen3.8 — 60.9/100 - GLM 5.2 — 55.3/100 - Grok 4.5 — 50.5/100 Sebep: GPT Sol 5.6, görevin üç klasik failure mode’unu birlikte geçen tek çıktı oldu. Kum ve duman tek step’te tam bir hücre hareket etti; iki seed’de kum konisi bias’ı en fazla %0.25 kaldı. Yoğunluk kuralı static olmayan tüm hedeflere genel olarak uygulanıyor; sand-water ve sand-ash testleri geçti. En önemlisi, connected liquid region’larındaki yüksek ve düşük yüzeyleri bulup aralarında kütle transferi yapan ayrı bir hydraulic-pressure pass’i var. Bu sayede dar açıklıklı standart U-kapta 1.24, kendi preset’inde 0.61 hücre yüzey farkına ulaştı. Density preset’i gerçekten karışık başlangıç üretiyor, chemistry’yi izole ediyor ve smoke için uzun test ömrü veriyor. 1200 step sonunda lava, water, oil ve smoke sayıları tamamen korundu; katman sıra skoru 0.906 oldu. Bu, diğer submission’ların çoğunda görülen “zaten doğru sırada dökme”, smoke’un sona ermesi veya oil’in lava tarafından yakılması problemlerini yaşamıyor. Runner-up Opus 5’in UI’si ve validator paneli daha kapsamlı; ancak çekirdek fizik açısından kritik iki iddiası çalışmıyor. Kendi U-kap preset’i 107.44 hücre farkla kaldı. Ayrıca density sahnesi reactionsEnabled=false yapsa da lava’nın ignition yolu reaction gate’inin dışında çalışıyor; burning update de gate kontrolünden önce water extinguish ve smoke/fire emission yapıyor. Sonuç olarak “chemistry off” sahnesinde water tamamen steam’e dönüştü. Bu iki hata, görsel ve ürün kalitesinin kazananı değiştirmesine izin vermeyecek kadar merkezi. Prompt uyumu — 8 puan - GPT Sol 5.6: 7.6/8 - Opus 5: 7.0/8 - Qwen3.8: 5.8/8 - Grok 4.5: 5.5/8 - Kimi K3: 5.3/8 - GLM 5.2: 4.6/8 Performans ve render pipeline - Kimi K3: 6.0/6 - Qwen3.8: 5.7/6 - Opus 5: 5.3/6 - GPT Sol 5.6: 5.0/6 - GLM 5.2: 4.8/6 - Grok 4.5: 3.2/6 Görsel kalite, UI ve resize - Opus 5: 5.0/5 - GPT Sol 5.6: 4.8/5 - Qwen3.8: 4.6/5 - Kimi K3: 3.6/5 - Grok 4.5: 3.2/5 - GLM 5.2: 3.0/5 Mimari ve test edilebilirlik - GPT Sol 5.6: 2.7/3 - Opus 5: 2.5/3 - Qwen3.8: 2.3/3 - Kimi K3: 2.2/3 - Grok 4.5: 1.9/3 - GLM 5.2: 1.0/3

Alican Kiraz

15,979 Aufrufe • vor 3 Monaten

Advanced Frontier LLM Benchmark - Üç Cisim & Gravity Choreography 🚀 - Modeller: Grok 4.6 / AI at Meta Muse Spark 1.3 / Claude Fable 5.1 / Google Gemini Gemini 3.8 Flash - Effort: Max & Very high - Agent: Cursor & Opencode Task: Görev, modele tek bir HTML dosyası içinde, dış kaynak kullanmadan, Canvas 2D ile düzlemsel N-cisim kütleçekimi simülasyonu yazdırmak; bu simülasyon açıldığı anda deterministik bir sinematik gösteriyle başlıyor (Kepler yörüngesi → hiyerarşik yıldız sistemi → figure-8 koreografisi → 12 kopyalı kaotik ayrışma → uzun pozlama), ayrıca ~40 saniyelik video kaydı için ayrı bir demo reel modu, gizli fizik self-check'i, korunum diagnostikleri, sürüklenebilir cisimler ve kompakt bir arayüz içeriyor. 🎉 Fiyat/Performans Kazanan: Grok 4.6🎉 🎉 Core Teknik Kazanan: Fable 5.1 🎉 Sebep: Fable, bu benchmark'ın iki tarafını en iyi birlikte çözüyor: solver ve cinematic renderer. Pairwise Newtonian çekirdek, softened potential, conservation diagnostics, Verlet/Yoshida yolu ve validator mimarisi güçlü; runtime self-check sonuçları da dört model içindeki en iyi seviyede. Daha önemlisi, model yalnızca ekrana “PASS” yazmıyor; hidden systems gerçek integrator yoluyla kademeli çalıştırılıyor ve ölçüm sonucundan verdict üretiliyor. Maliyet: - Grok 4.6: $1.10 - Muse Spark 1.3: $1.12 - Gemini 3.8 Flash: $1.3 - Fable 5.1: $6.2 Teknik skor: - Fable 5.1 - 96.4/100 - Grok 4.6 - 92.1/100 - Muse Spark 1.3 - 89.6/100 - Gemini 3.8 Flash - 81.0/100 Performans / $ - Grok 4.6 - 83.7/100 - Muse Spark 1.3 - 80.0/100 - Gemini 3.8 Flash - 62.3/100 - Fable 5.1 - 15.6/100 Teknik İnceleme Metrikleri: 1) Prompt uyumu: Fable'ın substep genişletmesi ve Muse'un bazı spesifikasyonları sadeleştirmesi nedeniyle kimseye 10 vermiyorum. - Fable 5.1: 9.6/10 - Grok 4.6: 9.3/10 - Gemini 3.8 Flash: 8.8/10 - Muse Spark 1.3: 8.2/10 2) Newtonian physics + conservation: Dört modelin de bu kategori şaşırtıcı derecede güçlü. Muse dahil pairwise equal-and-opposite acceleration ve aynı softened potential kernel'ini kullanıyor. - Fable 5.1: 9.9/10 - Grok 4.6: 9.8/10 - Gemini 3.8 Flash: 9.8/10 - Muse Spark 1.3: 9.6/10 3) Symplectic integrasyon + fixed timestep: Gemini'nin Yoshida formülü yanlış değil; puan kaybı scheduler/backlog yönetiminden geliyor. Numerical method doğru, execution model chaos altında sorunlu. - Fable 5.1: 9.6/10 - Grok 4.6: 9.5/10 - Muse Spark 1.3: 9.4/10 - Gemini 3.8 Flash: 8.0/10 4) Self-check / validator doğruluğu: Burada Fable açık lider. Gemini çok yakın; dtExact metodolojik küçük pürüz. Grok/Muse PASS ama validator resolution daha kaba. - Fable 5.1: 10.0/10 - Gemini 3.8 Flash: 9.4/10 - Grok 4.6: 8.6/10 - Muse Spark 1.3: 8.0/10 5) Görsel kalite: Gemini'nin celestial-body shading'i ve UI'sı çok iyi. Fable ise kompozisyon ve “görsel gürültüyü bastırma” açısından biraz daha dengeli. Muse özellikle büyük title choreography ile etkileyici. Grok en restrained olanı. - Fable 5.1: 9.6/10 - Gemini 3.8 Flash: 9.5/10 - Grok 4.6: 9.2/10 - Muse Spark 1.3: 9.1/10 6) Trail rendering: Gemini'nin single-system trail'i güzel; fakat chaos trail timestamp kaynağındaki hata bu kategori için ciddi. - Fable 5.1: 9.7/10 - Grok 4.6: 9.3/10 - Muse Spark 1.3: 9.0/10 - Gemini 3.8 Flash: 7.0/10 Alternatif winner'lar: - En iyi saf numerical correctness: Fable 5.1 - En iyi self-validator: Fable 5.1 - En iyi görsel kalite: Fable 5.1 ≈ Gemini 3.8 Flash - En iyi chaos throughput: Muse Spark 1.3 - En iyi genel mimari: Fable 5.1 - En iyi fiyat/performans: Grok 4.6 - En düşük maliyet: Grok 4.6 - Sadece physics/integrator kodu puanlansaydı: Fable ≈ Grok > Gemini ≈ Muse - Maliyet de kararın temel kriteri olsaydı: Grok > Muse > Gemini >>> Fable

Alican Kiraz

19,607 Aufrufe • vor 2 Monaten

Coding Benchmark 🔥 GPT 5.6 Sol Max vs Fable 5 Max vs GLM 5.2 Max vs Opus 4.8 Max - Part 1 Task: Stable Fluids (Jos Stam) - Modelden tek bir bağımsız HTML dosyasında, Jos Stam'ın Stable Fluids yöntemine dayalı gerçek zamanlı, etkileşimli bir akışkan simülasyonu üretmesi isteniyor — kütüphane yok, zero-shot, tek deneme. Çıktı; semi-Lagrangian advection, iteratif difüzyon ve basınç projeksiyonu adımlarını doğru sırada içermeli, ImageData ile 256×256 gridde akıcı çalışmalı, fareyle boya ve hız enjekte edilebilmeli, ekranda divergence ile kütle korunumunu canlı raporlamalıdır. Final Puantaj ve Özet •GPT 5.6 Sol Max — 91/100 •GLM 5.2 Max — 88/100 •Opus 4.8 Max — 86/100 •Fable 5 Max — 81/100 Maliyetler: - GPT‑5.6 Sol : $54,05–$97,02 - Claude Fable 5 : $78,75 - Claude Opus 4.8 : $15,52 - GLM‑5.2 : $1,17 Neden önemli: Bu benchmark, "çalışıyor gibi görünen ama sessizce yanlış" kodu yakalayan nadir testlerden. Basınç projeksiyonunu atlayan bir model yine hatasız çalışan, boyayı yayan bir animasyon üretir — ama girdap oluşmaz; yani hata derleme değil, fizik seviyesindedir ve ancak çıktıya bakınca anlaşılır. Aynı şekilde, Stam'ın yönteminin tanımlayıcı özelliği koşulsuz kararlılıktır: timestep'i sonuna kadar açtığında doğru implementasyon ayakta kalır, naive ileri fark şeması anında NaN'a düşer. Modelde neyi test eder: Ezberlenmiş kod parçacığı yerine algoritmanın nedenini kavradığını (projeksiyon adımının niye zorunlu olduğunu), sayısal yöntem seçimini (implicit çözücü, geri-izleme, yeterli Poisson iterasyonu), gerçek zamanlı grafik farkındalığını (tek blit vs hücre başına fillRect), ve uzun kodda tutarlılığı — sınır koşulları, alan yönetimi, UI durum yönetimi tek dosyada bozulmadan bir arada duruyor mu. Üstelik değerlendirme sübjektif değil: divergence sıfıra iniyor mu, silindirin arkasında Kármán girdap sokağı beliriyor mu, büyük dt'de hayatta kalıyor mu — üçü de ikili (evet/hayır) sonuç verir, yani "vibecoding" testine nadir bulunan nesnel bir skorlama tabanı sağlar.

Alican Kiraz

41,091 Aufrufe • vor 3 Monaten

Dostlar sizleri çok şaşırtacak bir benchmark hazırladım. Bu benchmark'da Qwen3.6-35B ile Kimi-K3 2.8T modelini kıyasladım. Biliyorum çok ütopik bir karşılaşma olarak gelebilir size. Ama inanın doğru loop döngüleri ve iterasyonlarla bu iki modelin birbirine nasıl yaklaştığını görünce çok şaşıracaksınız. Bu test sonuçları aslında bize şunu da gösteriyor; alan spesifik doğru model finetuning'leri ve agent yapıları ile bir oyuncu GPU'sunda çalıştırdığınız bir LLM modelinin, Datacenter seviyesindeki bir altyapıda inference edilen bir model ile nasıl yarışabileceğini bize anlatıyor. Kısaca teki bir RTX 5090 32GB'de çalışırken diğeri 3x (8x Nvidia B200 192GB)'de inference edilebiliyor. Bu nedenle Ilya Sutskever'ın da podcast'lerinde bahsettiği gibi artık zaman Araştırma ve Keşif Çağı, Scaling değil... Coding Benchmark: Qwen3.6-35B vs Kimi-K3 High - Judge: ChatGPT 5.6 Pro - Agent: Opencode - Task: Çift sarkaç + iz (trail), Euler vs RK4 entegrasyon farkı burada görünür — kötü modelde sarkaç enerji kazanıp savrulur. Kaos davranışı görsel olarak tatmin edici. Modellerde İterasyon Sayısı ve Cost Miktarı: - Kimi-K3: 3 adet iterasyon - $0.59 cost - Qwen3.6-35B: 8 adet iterasyon - $0.09 cost Final Puantaj ve Özet - Kimi K3 - high — 90,6/100 - Qwen3.6-35B — 71,6/100 Kimi; fizik mimarisi, chaos görselliği, trail doğruluğu, uzun süreli performans ve düşük risk açısından açık biçimde önde. Qwen; daha geniş bir kontrol paneli, fullscreen, screenshot, preset ve ayarlanabilir chaos sayısı sunuyor. Ancak bunların önemli bölümü task’ın core kalitesini yükseltmiyor; hidden ×10 single-mode maliyeti, frame-dependent timestep, ters trail fade’i ve ölü Fade kontrolü toplam kaliteyi ciddi biçimde düşürüyor. 1) Prompt uyumu — 12 puan - Kimi K3 - high: 11,0/12 - Qwen3.6-35B: 10,0/12 2) Çift sarkaç fiziği doğruluğu — 16 puan - Kimi K3 - high: 15,5/16 - Qwen3.6-35B: 15,2/16 3) Entegratör ve zaman adımı mimarisi — 20 puan - Kimi K3 - high: 18,5/20 - Qwen3.6-35B: 13,8/20 4) Enerji validator’ı ve nümerik şeffaflık — 10 puan - Kimi K3 - high: 9,2/10 - Qwen3.6-35B: 8,1/10 5) Kaos davranışı — 12 puan - Kimi K3 - high: 11,0/12 - Qwen3.6-35B: 8,5/12 6) Trail ve görsel anlatım — 8 puan - Kimi K3 - high: 7,4/8 - Qwen3.6-35B: 4,2/8 7) Performans ve ölçeklenebilirlik — 8 puan - Kimi K3 - high: 7,1/8 - Qwen3.6-35B: 2,6/8 8) UI, kontroller ve responsive davranış — 6 puan - Qwen3.6-35B: 4,7/6 - Kimi K3 - high: 4,3/6

Alican Kiraz

31,427 Aufrufe • vor 3 Monaten