Video wird geladen...
Video konnte nicht geladen werden
Motel Owner, Dylan Patel, talks about GPT6's architecture which will continue the trend of increasing MoE sparsity. This will require even wider expert parallelism for MoE dispatch & MoE combine collectives during decode phase.
37,640 Aufrufe • vor 4 Monaten •via X (Twitter)
0 Kommentare
Keine Kommentare verfügbar
Kommentare vom Original-Post werden hier angezeigt

