LeoLabs Forge

AI Benchmarks

Comparativas reproducibles de modelos de IA ejecutados en hardware local. Cada publicación conserva su metodología, telemetría y resultados completos.

5 informes publicados

Publicaciones

Solo aparecen comparativas seleccionadas para publicación.

Actualizado el 29 de agosto de 2026
Motor LeoLabs 9 modelos · 32K · 100% GPU

Nueve LLM locales: de 4B a 27B

Comparativa transversal de Gemma, Qwen, Nemotron, DeepSeek, Ornith y GLM con contexto efectivo de 32K, razonamiento activado y residencia íntegra en una RTX 3090.

Gemma y Qwen compactosGemma E2B/12B · Qwen 3.5 4B · Qwen 3.8 9B
Razonamiento especializadoNemotron 4B · DeepSeek R1 14B · Ornith 9B
Modelos mayoresQwen 3.8 27B · GLM 4.7 Flash

Resultado resumido

Gemma 4 12B IT QAT y Qwen 3.5 4B lideran en fiabilidad con 20/25 respuestas válidas. Qwen ofrece mayor velocidad mediana, mientras Gemma 12B conserva una alternativa de más capacidad; Gemma E2B destaca en eficiencia con 18/25 y 196,11 tok/s.

Ejecución

Pruebas LeoLabs
225 + 9 calentamientos
Duración completa
1 h 24 min 51 s
Residencia
0% CPU · 100% GPU
LM‑Eval se omitió deliberadamente; el informe contiene sólo la suite LeoLabs nativa, telemetría y respuestas individuales. Abrir informe completo
Motor LeoLabs 5 Qwen · 32K · 100% GPU

Qwen 3.8: 2B, 4B, 9B y 27B frente a 27B‑MTP

Comparativa ascendente de la familia Qwen 3.8 con razonamiento medio, contexto efectivo de 32K y residencia íntegra en una RTX 3090.

Qwen 3.8 Distill2B · 4B · 9B · Q4_K_M
Qwen 3.8 27BQ4_K_M · razonamiento medio
Qwen 3.8 27B MTPQ4_K_M · generación especulativa

Resultado resumido

Los dos 27B empatan en calidad con 18/25 respuestas válidas, pero MTP alcanza 76,75 tok/s frente a 43,16 tok/s, reduce la duración total de 10,5 a 7,0 minutos y consume 47,5 Wh frente a 70,7 Wh.

Ejecución

Pruebas LeoLabs
125 + 5 calentamientos
Contexto
32K en los 5 modelos
Residencia
0% CPU · 100% GPU
LM‑Eval se omitió deliberadamente; la publicación contiene la suite LeoLabs completa, telemetría y respuestas individuales. Abrir informe completo
Motor LeoLabs LM-Eval recuperado 8 Gemma 4 · 32K · 100% GPU

Gemma 4: familia Q4_K_M frente a QAT Q4_0

Comparativa de ocho variantes E2B, E4B, 12B y 26B-A4B, con razonamiento medio, contexto efectivo 32K y residencia íntegra en la RTX 3090.

Gemma 4 E2BQ4_K_M frente a IT QAT Q4_0
Gemma 4 E4BQ4_K_M frente a IT QAT Q4_0
Gemma 4 12BQ4_K_M frente a IT QAT Q4_0
Gemma 4 26B-A4BMTP Q4_K_M frente a IT QAT Q4_0

Resultado resumido

Gemma 4 12B IT QAT fue la mejor opción práctica: logró 22/25 respuestas válidas, sin truncamientos, frente a 17/25 del E2B IT QAT. E2B QAT sigue siendo la alternativa preferida cuando priman velocidad, tamaño y eficiencia.

Ejecución

Pruebas LeoLabs
200 + 8 calentamientos
Modelos nativos
8 completos
LM-Eval guardado
3 modelos · 255 muestras
El informe distingue los resultados LeoLabs completos de los resultados estándar recuperables; no se han estimado datos ausentes. Abrir informe completo
Motor LeoLabs LM Evaluation Harness 32K · Q4_K_M · 100% GPU

Qwen 3.8 27B: normal frente a Abliterated y Uncensored

Tres variantes del mismo modelo, con cuantización y contexto igualados, ejecutadas íntegramente en una RTX 3090 de 24 GB.

Qwen 3.8 27B normalQ4_K_M · 32K · directo
Qwen 3.8 27B AbliteratedQ4_K_M · 32K · directo
Qwen 3.8 27B UncensoredQ4_K_M · 32K · directo

Resultado resumido

Qwen 3.8 normal fue la opción más sólida: superó 21 de 26 pruebas LeoLabs y lideró MMLU‑Pro con 81,4%. Uncensored quedó cerca en fiabilidad nativa (20/26), mientras Abliterated destacó en GSM8K con 80%.

Ejecución

Pruebas LeoLabs
78 · 13 min 15 s
Estándares
IFEval · GSM8K · MMLU‑Pro
Sesión completa
55 min 28 s
Los resultados estándar usan una muestra equilibrada reducida y deben interpretarse como orientativos. Abrir informe completo
Motor LeoLabs LM Evaluation Harness 32K · 100% GPU · RTX 3090

Gemma 4 E2B: Q4_K_M frente a IT QAT Q4_0

Comparativa aislada de las dos variantes E2B, con razonamiento medio y contexto efectivo de 32K, ejecutadas íntegramente en GPU.

Gemma 4 E2BQ4_K_M · 32K · razonamiento medio
Gemma 4 E2B IT QATQ4_0 · 32K · razonamiento medio

Resultado resumido

La variante IT QAT fue la mejor opción global: obtuvo 69 frente a 65 puntos LeoLabs, 68% frente a 64% de respuestas válidas y 23,8% frente a 15,0% en los benchmarks estándar. También fue algo más rápida y consumió menos VRAM, potencia y energía.

Ejecución

Pruebas LeoLabs
52 · 5 min 14 s
Estándares
IFEval · GSM8K · MMLU‑Pro
Residencia
36/36 capas · 100% GPU
La ejecución aisló cada modelo antes de medir VRAM y mantuvo idénticos contexto, razonamiento, prompts y métricas. Abrir informe completo