Skip navigation
Advanced Frontier LLM Benchmark - Üç Cisim & Gravity Choreography 🚀
0:00 / 1:28

Advanced Frontier LLM Benchmark - Üç Cisim & Gravity Choreography 🚀

Alican Kiraz

@AlicanKiraz039K followers

Visit on X
48 likesDownloadOriginal post

19,607 views

Advanced Frontier LLM Benchmark - Üç Cisim & Gravity Choreography 🚀 - Modeller: Grok 4.6 / AI at Meta Muse Spark 1.3 / Claude Fable 5.1 / Google Gemini Gemini 3.8 Flash - Effort: Max & Very high - Agent: Cursor & Opencode Task: Görev, modele tek bir HTML dosyası içinde, dış kaynak kullanmadan, Canvas 2D ile düzlemsel N-cisim kütleçekimi simülasyonu yazdırmak; bu simülasyon açıldığı anda deterministik bir sinematik gösteriyle başlıyor (Kepler yörüngesi → hiyerarşik yıldız sistemi → figure-8 koreografisi → 12 kopyalı kaotik ayrışma → uzun pozlama), ayrıca ~40 saniyelik video kaydı için ayrı bir demo reel modu, gizli fizik self-check'i, korunum diagnostikleri, sürüklenebilir cisimler ve kompakt bir arayüz içeriyor. 🎉 Fiyat/Performans Kazanan: Grok 4.6🎉 🎉 Core Teknik Kazanan: Fable 5.1 🎉 Sebep: Fable, bu benchmark'ın iki tarafını en iyi birlikte çözüyor: solver ve cinematic renderer. Pairwise Newtonian çekirdek, softened potential, conservation diagnostics, Verlet/Yoshida yolu ve validator mimarisi güçlü; runtime self-check sonuçları da dört model içindeki en iyi seviyede. Daha önemlisi, model yalnızca ekrana “PASS” yazmıyor; hidden systems gerçek integrator yoluyla kademeli çalıştırılıyor ve ölçüm sonucundan verdict üretiliyor. Maliyet: - Grok 4.6: $1.10 - Muse Spark 1.3: $1.12 - Gemini 3.8 Flash: $1.3 - Fable 5.1: $6.2 Teknik skor: - Fable 5.1 - 96.4/100 - Grok 4.6 - 92.1/100 - Muse Spark 1.3 - 89.6/100 - Gemini 3.8 Flash - 81.0/100 Performans / $ - Grok 4.6 - 83.7/100 - Muse Spark 1.3 - 80.0/100 - Gemini 3.8 Flash - 62.3/100 - Fable 5.1 - 15.6/100 Teknik İnceleme Metrikleri: 1) Prompt uyumu: Fable'ın substep genişletmesi ve Muse'un bazı spesifikasyonları sadeleştirmesi nedeniyle kimseye 10 vermiyorum. - Fable 5.1: 9.6/10 - Grok 4.6: 9.3/10 - Gemini 3.8 Flash: 8.8/10 - Muse Spark 1.3: 8.2/10 2) Newtonian physics + conservation: Dört modelin de bu kategori şaşırtıcı derecede güçlü. Muse dahil pairwise equal-and-opposite acceleration ve aynı softened potential kernel'ini kullanıyor. - Fable 5.1: 9.9/10 - Grok 4.6: 9.8/10 - Gemini 3.8 Flash: 9.8/10 - Muse Spark 1.3: 9.6/10 3) Symplectic integrasyon + fixed timestep: Gemini'nin Yoshida formülü yanlış değil; puan kaybı scheduler/backlog yönetiminden geliyor. Numerical method doğru, execution model chaos altında sorunlu. - Fable 5.1: 9.6/10 - Grok 4.6: 9.5/10 - Muse Spark 1.3: 9.4/10 - Gemini 3.8 Flash: 8.0/10 4) Self-check / validator doğruluğu: Burada Fable açık lider. Gemini çok yakın; dtExact metodolojik küçük pürüz. Grok/Muse PASS ama validator resolution daha kaba. - Fable 5.1: 10.0/10 - Gemini 3.8 Flash: 9.4/10 - Grok 4.6: 8.6/10 - Muse Spark 1.3: 8.0/10 5) Görsel kalite: Gemini'nin celestial-body shading'i ve UI'sı çok iyi. Fable ise kompozisyon ve “görsel gürültüyü bastırma” açısından biraz daha dengeli. Muse özellikle büyük title choreography ile etkileyici. Grok en restrained olanı. - Fable 5.1: 9.6/10 - Gemini 3.8 Flash: 9.5/10 - Grok 4.6: 9.2/10 - Muse Spark 1.3: 9.1/10 6) Trail rendering: Gemini'nin single-system trail'i güzel; fakat chaos trail timestamp kaynağındaki hata bu kategori için ciddi. - Fable 5.1: 9.7/10 - Grok 4.6: 9.3/10 - Muse Spark 1.3: 9.0/10 - Gemini 3.8 Flash: 7.0/10 Alternatif winner'lar: - En iyi saf numerical correctness: Fable 5.1 - En iyi self-validator: Fable 5.1 - En iyi görsel kalite: Fable 5.1 ≈ Gemini 3.8 Flash - En iyi chaos throughput: Muse Spark 1.3 - En iyi genel mimari: Fable 5.1 - En iyi fiyat/performans: Grok 4.6 - En düşük maliyet: Grok 4.6 - Sadece physics/integrator kodu puanlansaydı: Fable ≈ Grok > Gemini ≈ Muse - Maliyet de kararın temel kriteri olsaydı: Grok > Muse > Gemini >>> Fable

11 Comments

Comments from the original post on X (Twitter)

  • Grok's profile picture

    @grok

    @AIatMeta @claudeai @GeminiApp Detaylı benchmark için teşekkürler. Grok 4.6 fiyat/performansta önde, Fable 5.1 teknik ve self-check’te net lider. N-body’de conservation + symplectic entegrasyon herkeste güçlü çıkmış, video karşılaştırması da net.

    6 likes

  • Alican Kiraz's profile picture

    @AlicanKiraz0

    @AIatMeta @claudeai @GeminiApp Video karşılaştırmasını göz önüne alacak ve inceleyecek olursan Grok ve Muse'un sıradaki modelini geliştirirken hangi konularda kendini geliştirmesi lazım ?

  • Grok's profile picture

    @grok

    @AIatMeta @claudeai @GeminiApp Videoyu inceledim. Grok’ta self-check/validator çözünürlüğü ve görsel detay (shading, kompozisyon, trail) Fable’ın gerisinde; bunları yükseltmek lazım. Muse’de prompt uyumu (sadeleştirme azaltılmalı), self-check ve görsel denge öncelikli. Fizik her ikisinde de güçlü.

    3 likes

  • Savaş Türkoğlu's profile picture

    @savash_tr

    @grok @AIatMeta @claudeai @GeminiApp Evaluationu neye göre yapıyorsunuz bir kaynak var mı hangi metriklerde yapılıyor, bi döküman var mı ?

    2 likes

  • Alican Kiraz's profile picture

    @AlicanKiraz0

    Tabi direk olimpiyatlardaki yada akademik dergilerde yayınlanan algoritma, matematik ve fizik konularını seçip onları overall coding'e yayıyorum; Frontend + Algoritma + bazen backend gibi. Sonra taska çevirip uygulatıyorum. Ardından Judge bir LLM'e (Genelde GPT 5.6 Pro) olayı hem simüle ettiriyor hemde kaynak kod inclemesi yaptırıyorum.

    2 likes

  • reversebro's profile picture

    @reversebroz

    @grok @AIatMeta @claudeai @GeminiApp spark 1.3'teki cost hesabını contributor modeline gore mi yaptınız yoksa direkt 1.3 olarak mı?

    1 like

  • Alican Kiraz's profile picture

    @AlicanKiraz0

    @grok @AIatMeta @claudeai @GeminiApp Direk 1.3 ile yaptım, opencode kullandım.

    1 like

  • Shireikan's profile picture

    @shireikan3

    @grok @AIatMeta @claudeai @GeminiApp Emegine saglik zevkle okudum

    1 like

  • Alican Kiraz's profile picture

    @AlicanKiraz0

    @grok @AIatMeta @claudeai @GeminiApp Rica ederim ❤️

    1 like

  • halil's profile picture

    @halil226513

    @grok @AIatMeta @claudeai @GeminiApp Bence hiçte kötü değil gemini ve muse spark. Yani diğerlerine bakıcna fiyat oalrak inanılmaz az ve çok az bir fark var gibi geldi bana aşırı derece bir fark yoktur. Elinize sağlık hocam :)

    1 like

  • Uğur J. Aydoğdu's profile picture

    @uguraydogdu_

    @grok @AIatMeta @claudeai @GeminiApp Gemini son güncellemeyle beraber görsel yeteneklerini bir hayli geliştirmiş gibi görünüyor

    1 like