Laboratorio de modelos

Local AI Benchmark Suite

2026-08-29 00:32 CEST

🤖 Puntuación general

🧭 Conclusiones y recomendación

Composición
- Fiabilidad ponderada: 70 puntos (básico ×2, medio ×3 y alto ×1).
- Formato: 10 puntos.
- Velocidad: 10 puntos.
- TTFA: 10 puntos.
Referencias de esta ejecución
Interpretación
- Índice relativo al conjunto comparado.
- No mide inteligencia absoluta.
- Las abreviaturas y cuantizaciones se explican en la pestaña Glosario.

Comparativa agregada ponderada

Resultado por disciplina combinando las pruebas Básicas ×2, Medias ×3 y Altas ×1. Los errores de formato se puntúan por separado.

Comparativas por nivel de dificultad

Cada gráfica muestra únicamente las pruebas de su nivel, sin aplicar ponderación entre niveles.

Vista comparativa

Conclusiones y recomendación

Resultados por dificultad

La tasa se calcula de forma independiente para los niveles básico, medio y alto.

Perfil por categorías

Vista agregada y ponderada de todas las dificultades (Básico ×2, Medio ×3 y Alto ×1). Compara los tres modelos mejor clasificados; cuanto más se acerca el perfil al borde, mayor es la tasa de respuestas válidas.

Fiabilidad y formato

Éxito por categoría

Éxito semántico; el formato estricto se mantiene aparte.

🚀 Rendimiento e inferencia

Lectura del rendimiento. Esta vista separa la velocidad de generación de los recursos utilizados durante las llamadas. Las cifras son comparables dentro de esta misma ejecución y este mismo equipo.

Indicadores destacados

Calidad frente a coste energético

Arriba y a la izquierda es mejor: mayor puntuación con menor coste por respuesta válida.

Tokens por ejecución

Mediana de tokens de entrada y salida. Se muestran por separado la entrada, el razonamiento y la respuesta visible. La etiqueta «estimado» indica que el backend sólo comunicó el total de salida.

Rendimiento relativo

Barras verticales: velocidad de salida relativa al modelo más rápido.

Recursos durante inferencia

Medianas de las muestras disponibles para VRAM, potencia y temperatura de GPU, y RAM del sistema.

Pruebas ejecutadas

Comparación visual del porcentaje de respuestas válidas de cada modelo. Abre una prueba para consultar el prompt, las métricas y las respuestas.

Tabla completa de pruebas

Prueba	Categoría	Estado	Detalle

Hardware y entorno de ejecución

Modelos LLM utilizados

Configuración efectiva, asignación de cálculo y enlaces a la fuente de cada modelo evaluado.

⚡ Consumo energético

Comparación visual

Resumen energético por modelo

Detalle de medición por modelo

Metodología y alcance

📦 Datos técnicos y exportación

Contenido reutilizable. Esta pestaña reúne el entorno de ejecución, la configuración de los modelos y los resultados medidos. Puedes copiar el texto o descargar los datos para analizarlos con una hoja de cálculo u otra herramienta.

Hardware y entorno

Modelos evaluados

Resultados de las pruebas

Configuración efectiva y estadísticas completas

📖 Términos y glosario

Referencia de las abreviaturas, unidades y denominaciones técnicas utilizadas en el informe. Las cuantizaciones describen cómo se almacenan los pesos; no son por sí solas una medida de calidad.

LLM: Large Language Model, o modelo de lenguaje de gran tamaño. Es el tipo de modelo generativo evaluado.
TTFA: Time To First Answer: tiempo hasta el primer fragmento de respuesta visible. Excluye el razonamiento interno previo cuando el backend lo separa.
Token y tok/s: Un token es una unidad de texto procesada por el modelo. tok/s significa tokens generados por segundo y mide velocidad de salida.
Contexto 32K: Ventana solicitada de aproximadamente 32.768 tokens, compartida por la entrada, el historial, el razonamiento y la salida según el backend.
CPU y GPU: CPU: procesador central. GPU: procesador gráfico, especialmente eficiente para ejecutar las operaciones matriciales de la inferencia.
RAM y VRAM: RAM: memoria principal del sistema. VRAM: memoria de la tarjeta gráfica donde se alojan pesos, caché de contexto y datos de cálculo.
Cuantización: Reducción de la precisión numérica de los pesos para disminuir tamaño, memoria y tiempo de inferencia. Cuanto más agresiva es, mayor puede ser la pérdida de fidelidad.
Q4: Cuantización de aproximadamente 4 bits por peso. El tamaño real incluye escalas y metadatos, por lo que no equivale exactamente a cuatro bits para todo el archivo.
Q4_0: Formato clásico y sencillo de cuantización a 4 bits usado por GGML/GGUF. Suele priorizar compatibilidad y tamaño, con menor sofisticación que las variantes K.
Q4_K_M: Cuantización K de 4 bits en variante media. Usa bloques y conserva determinados tensores importantes con mayor precisión para equilibrar tamaño, velocidad y calidad.
K y M en una cuantización: K identifica la familia de cuantizaciones por bloques K. M significa variante media dentro de esa familia; no representa millones de parámetros.
E2B: Effective 2 Billion: aproximadamente 2.000 millones de parámetros activos por token. El modelo puede almacenar más parámetros totales; por eso el paquete se anuncia también con un tamaño total cercano a 4,6B.
B, 4B y 4.7B: B significa billion, mil millones de parámetros. Es una aproximación del tamaño de la arquitectura, distinta del tamaño cuantizado del archivo.
IT y QAT: IT: instruction tuned, ajustado para seguir instrucciones. QAT: quantization-aware training, entrenamiento o ajuste consciente de la cuantización.
Thinking o razonamiento: Texto de deliberación que algunos backends exponen separado de la respuesta visible. El informe conserva ambos canales cuando están disponibles.
JSON, CSV y HTML: Formatos de datos y documento: JSON conserva estructura completa, CSV facilita el análisis tabular y HTML contiene el informe visual autónomo.
W, Wh y kWh: W mide potencia instantánea. Wh mide energía acumulada. kWh equivale a 1.000 Wh y se utiliza para calcular el coste eléctrico.
Media, mediana y p95: La media promedia los valores; la mediana representa el valor central; p95 es el percentil 95, por debajo del cual queda el 95% de las muestras.