🔥 Presentamos #LaLeadeboard, la primera leaderboard open-source para evaluar automáticamente #LLM en las variedades del español y lenguas oficiales de España y LATAM.

La primera versión cuenta ya con +55 tareas en español, catalán, euskera y gallego 🤯 ✍️ Todas anotadas o traducidas a mano por los equipos de @proyecto_ilenia @IIConocimiento LenguajeNaturalAI @La_UPM @Hitz_zentroa @BSC_CNS @citiususc @ILG_USC @NLP_SINAI @GIL_UNAM y @FViaLibre

¡Y tenemos más tareas WIP! 🚀 Nos gustaría que #LaLeaderboard sea lo más inclusiva posible y evalúe capacidades relevantes para toda la comunidad hispanohablante, por lo que ¡las colaboraciones son más que bienvenidas! 💛

⚙️ Para comenzar, hemos evaluado 4 modelos multilingües y todos los preentrenados en español y lenguas oficiales. Agradecemos mucho el patrocinio de GPUs para inferencia por parte de @huggingface, @BSC_CNS y @La_UPM 🙌

Visita #LaLeaderboard en @huggingface y descubre qué modelos generan mejor texto en tu idioma 👀 ➡️

Se puede proponer la evaluación de modelos en algún lugar? Como los nuevos modelos de llama 3.2 que salieron hoy o qwen 2.5?

Formato para pasar un modelo a prueba en español y saber la puntuacion que ha sacado ?

Hola, no hemos logrado entender su post.

me interesa en escribir para ustedes

Hola Alejo! Te refieres a que te gustaría escribir un artículo de blog? Puedes mandarnos tu propuesta por email o Discord 👏🤗

Hi, thank you very much for organizing this leaderboard. We are preparing our model submission. However, we've noticed that the submission queue is quite lengthy, and the evaluation of models seems to be taking a long time. Is there any way to expedite this process?