Laboratorio de modelos

Local AI Benchmark Suite

2026-08-28 13:26 CEST

🤖 Puntuación general

🧭 Conclusiones y recomendación

Composición
- Fiabilidad ponderada: 70 puntos (básico ×2, medio ×3 y alto ×1).
- Formato: 10 puntos.
- Velocidad: 10 puntos.
- TTFA: 10 puntos.
Referencias de esta ejecución
Interpretación
- Índice relativo al conjunto comparado.
- No mide inteligencia absoluta.
- Las abreviaturas y cuantizaciones se explican en la pestaña Glosario.

Comparativa agregada ponderada

Resultado por disciplina combinando las pruebas Básicas ×2, Medias ×3 y Altas ×1. Los errores de formato se puntúan por separado.

Comparativas por nivel de dificultad

Cada gráfica muestra únicamente las pruebas de su nivel, sin aplicar ponderación entre niveles.

Vista comparativa

Conclusiones y recomendación

Resultados por dificultad

La tasa se calcula de forma independiente para los niveles básico, medio y alto.

Perfil por categorías

Vista agregada y ponderada de todas las dificultades (Básico ×2, Medio ×3 y Alto ×1). Compara los tres modelos mejor clasificados; cuanto más se acerca el perfil al borde, mayor es la tasa de respuestas válidas.

Fiabilidad y formato

Éxito por categoría

Éxito semántico; el formato estricto se mantiene aparte.

🚀 Rendimiento e inferencia

Lectura del rendimiento. Esta vista separa la velocidad de generación de los recursos utilizados durante las llamadas. Las cifras son comparables dentro de esta misma ejecución y este mismo equipo.

Indicadores destacados

Calidad frente a coste energético

Arriba y a la izquierda es mejor: mayor puntuación con menor coste por respuesta válida.

Tokens por ejecución

Mediana de tokens de entrada y salida. Se muestran por separado la entrada, el razonamiento y la respuesta visible. La etiqueta «estimado» indica que el backend sólo comunicó el total de salida.

Rendimiento relativo

Barras verticales: velocidad de salida relativa al modelo más rápido.

Recursos durante inferencia

Medianas de las muestras disponibles para VRAM, potencia y temperatura de GPU, y RAM del sistema.

Pruebas ejecutadas

Comparación visual del porcentaje de respuestas válidas de cada modelo. Abre una prueba para consultar el prompt, las métricas y las respuestas.

Tabla completa de pruebas

Prueba	Categoría	Estado	Detalle

Hardware y entorno de ejecución

Modelos LLM utilizados

Configuración efectiva, asignación de cálculo y enlaces a la fuente de cada modelo evaluado.

⚡ Consumo energético

Comparación visual

Resumen energético por modelo

Detalle de medición por modelo

Metodología y alcance

📦 Datos técnicos y exportación

Contenido reutilizable. Esta pestaña reúne el entorno de ejecución, la configuración de los modelos y los resultados medidos. Puedes copiar el texto o descargar los datos para analizarlos con una hoja de cálculo u otra herramienta.

Hardware y entorno

Modelos evaluados

Resultados de las pruebas

Configuración efectiva y estadísticas completas

📐 Benchmarks estándar

Metodología separada. Resultados producidos por LM Evaluation Harness. No forman parte del LeoLabs Score ni alteran su ranking. La métrica principal depende de cada tarea.

Telemetría: lm-eval no expone de forma equivalente TTFA/TTFT visible ni separa siempre razonamiento y respuesta. Esos campos no se comparan con el motor nativo.

📊 Comparación global de todas las pruebas

El promedio descriptivo excluye la fila agregada mmlu_pro para evitar duplicar sus materias. «Mejores» cuenta victorias y empates.

Gemma 4 E2B IT QAT Q4_0 · 32K · razonamiento medio (~4,3 GB)

23.8%13 mejores

Gemma 4 E2B IT Q4_K_M · 32K · razonamiento medio (~7,2 GB)

15.0%8 mejores

PruebaGemma 4 E2B IT Q4_K_M · 32K · razonamiento medio (~7,2 GB)Gemma 4 E2B IT QAT Q4_0 · 32K · razonamiento medio (~4,3 GB)

Resultado global15.0%23.8%

ifeval80%100%

gsm8k0%0%

mmlu_pro_biology20%20%

mmlu_pro_business20%0%

mmlu_pro_chemistry0%20%

mmlu_pro_computer_science0%40%

mmlu_pro_economics0%40%

mmlu_pro_engineering20%0%

mmlu_pro_health0%20%

mmlu_pro_history0%0%

mmlu_pro_law0%0%

mmlu_pro_math40%60%

mmlu_pro_other0%20%

mmlu_pro_philosophy60%40%

mmlu_pro_physics0%20%

mmlu_pro_psychology0%0%

mmlu_pro11%20%

0% negro → 100% verdemejor resultado o empate

🧭 Análisis y recomendaciones

Gemma 4 E2B IT QAT Q4_0 · 32K · razonamiento medio (~4,3 GB)

Promedio descriptivo: 23.8% · mejor resultado o empate en 13 de 16 pruebas.
Puntos fuertes: ifeval (100%), mmlu_pro_math (60%), mmlu_pro_computer_science (40%).
Puntos débiles: mmlu_pro_history (0%), mmlu_pro_law (0%), mmlu_pro_psychology (0%).

Gemma 4 E2B IT Q4_K_M · 32K · razonamiento medio (~7,2 GB)

Promedio descriptivo: 15.0% · mejor resultado o empate en 8 de 16 pruebas.
Puntos fuertes: ifeval (80%), mmlu_pro_philosophy (60%), mmlu_pro_math (40%).
Puntos débiles: mmlu_pro_other (0%), mmlu_pro_physics (0%), mmlu_pro_psychology (0%).

Recomendación práctica

Gemma 4 E2B IT QAT Q4_0 · 32K · razonamiento medio (~4,3 GB) es la opción más sólida para uso general en esta ejecución, con 8.8 puntos de ventaja media sobre el segundo. Ningún modelo resolvió los casos GSM8K de esta muestra. La elección final debe considerar también fiabilidad, velocidad, memoria y consumo; este promedio abreviado no sustituye una evaluación completa.

Cómo interpretar esta ejecución

Es una batería abreviada y orientativa: se han tomado 5 ejemplos representativos por categoría o subtarea. Con una muestra tan pequeña, cada acierto pesa mucho y equivale a saltos de 20 puntos porcentuales. Los promedios anteriores excluyen el agregado mmlu_pro para no contar sus 14 materias dos veces, pero no constituyen una puntuación oficial. Conviene confirmar cualquier decisión importante ejecutando la batería completa y varias semillas.

ifeval

Evalúa si el modelo cumple instrucciones objetivamente verificables sobre formato, contenido y longitud. Ver documentación oficial ↗

prompt_level_strict_acc,none · mayor es mejor