Table of Contents

Para las tareas de Hermes con contexto largo, empezaría con Qwen3.5 35B en dos tarjetas RTX 5060 Ti de 16 GB. La ruta probada retuvo 239.153 tokens de entrada mediante LiteLLM y superó comprobaciones independientes de herramientas, transmisión, visión, solicitudes en cola y cancelación. Qwen3.6 es mi alternativa con una sola tarjeta. En los sistemas RTX 3060 Ti y RTX 3070, empezaría con Qwen3.5 2B o 4B.

Estas opciones se basan en ejecutar modelos por las rutas de inferencia que usa el agente. Probé la retención de entradas largas, los intercambios con herramientas, las respuestas transmitidas, las preguntas sobre imágenes y la liberación del modelo. También probé los modos y los ajustes de memoria de las rutas, porque cargar un modelo correctamente dice poco sobre su utilidad durante una solicitud larga del agente.

Hermes requiere al menos 64.000 tokens de contexto para usar herramientas con un agente. Fijé el umbral de calificación de contexto largo en 65.536 tokens de entrada reales. El recuento de tokens de entrada importa más que el tamaño de contexto anunciado por el servidor. ( Documentación de proveedores de Hermes Agent )

Qué GPU tiene cada sistema

Las letras de los sistemas identifican las combinaciones de hardware en todos los resultados.

SistemaGPU usadas en este benchmarkModelo que elegiría para empezar
A2 × GeForce RTX 5060 Ti, 16 GB cada unaQwen3.5 35B entre ambas tarjetas, o Qwen3.6 en una tarjeta
B1 × RTX 2000E Ada, 16 GBQwen3.5 9B si el procesamiento de entradas largas durante varios minutos encaja con la tarea
C1 × RTX 2000E Ada, 16 GBGemma 3 4B para la ruta probada de entrada larga, Qwen3.5 0.8B sin razonamiento para tareas de recuperación acotadas
D1 × RTX 2000E Ada, 16 GBQwen3.5 9B, Gemma 4 12B-IT o GPT-OSS 20B para las cargas probadas con modelos más grandes
E9 × GeForce RTX 3060 Ti, 8 GB cada unaQwen3.5 2B o 4B
F8 × GeForce RTX 3060 Ti, 8 GB cada unaQwen3.5 2B o 4B
G3 × GeForce RTX 3070Qwen3.5 2B o 4B

El número de tarjetas instaladas no significa que todas las solicitudes usaran todas las GPU. Las pruebas de Qwen3.5 35B y Flash Next usaron ambas tarjetas del sistema A. Qwen3.6 usó una. La repetición de visión de Qwen3.5 4B que tuvo éxito en el sistema E usó una tarjeta elegida de un grupo de ocho, mientras una novena tarjeta siguió excluida de las tareas de IA.

Interpreta las duraciones como resultados conjuntos del modelo, el entorno de ejecución y el sistema probados. Estas ejecuciones comparan configuraciones útiles. No aíslan la arquitectura de GPU como causa de la diferencia de velocidad.

Dos RTX 5060 Ti hacen de Qwen3.5 35B mi elección para contexto largo

Qwen3.5 35B produjo el resultado de mayor retención de entrada en estas pruebas. La progresión directa de Ollama retuvo 248.279 tokens de entrada dentro de un contexto de ejecución de 262.144 tokens. Otra solicitud transmitida a través de la pasarela retuvo 239.153 tokens de entrada, devolvió el marcador inicial y terminó con normalidad después de 31 tokens de salida en 148,12 segundos.

El resultado de la pasarela importa para Hermes porque la solicitud pasó por el intermediario y LiteLLM. Otras solicitudes completaron un intercambio con una herramienta, reconocieron una imagen roja y devolvieron dos respuestas correctas al enviarse juntas. El intermediario puso las dos solicitudes en cola. Cerrar una solicitud transmitida liberó el intermediario y descargó el modelo en 60,31 segundos.

Solicitud de Qwen3.5 35BTokens de entradaTokens de salidaDuraciónResultado
Ollama directo, primera etapa progresiva69,4293138.783 sMarcador inicial exacto
Ollama directo, continuación con prefijo compartido124,1793128.472 sMarcador inicial exacto
Ollama directo, continuación con prefijo compartido182,5793138.974 sMarcador inicial exacto
Ollama directo, continuación con prefijo compartido248,2793154.215 sMarcador inicial exacto
Solicitud transmitida por el intermediario69,4272938.872 sMarcador inicial exacto
Solicitud transmitida por LiteLLM239,15331148.12 sMarcador inicial exacto, descarga limpia

Las solicitudes directas progresivas reutilizaron un prefijo cada vez mayor. Sus duraciones describen el comportamiento de continuación con el modelo ya preparado. El resultado de 54,215 segundos no es una medición independiente en frío para procesar una nueva indicación de 248K.

En la etapa directa más larga, el modelo informó unos 27.300 millones de bytes residentes entre las dos GPU. Los picos de memoria por tarjeta llegaron a 14.964 y 12.386 MiB.

Las temperaturas máximas llegaron a 62 y 63 C, y la ejecución no registró fallos OOM ni Xid. La entrada dejó 13.865 tokens dentro del contexto configurado para continuar. La respuesta corta del marcador usó 31 de esos tokens.

Usaría esta ruta cuando importe más retener un conjunto de trabajo grande que obtener la respuesta inicial más rápida. Las comprobaciones de herramientas y visión demuestran comportamientos útiles del agente, mientras la prueba de entrada larga demuestra retención. Son cargas distintas.

Qwen3.6 es la opción de una sola tarjeta

Qwen3.6-35B-A3B UD-Q4_K_XL retuvo 131.000 tokens de entrada en una sola RTX 5060 Ti. La otra tarjeta permaneció inactiva durante la prueba. Esto ofrece una alternativa útil cuando no conviene dedicar ambas tarjetas a un modelo.

Solicitud de Qwen3.6 por la pasarelaTokens de entradaTokens de salidaDuraciónResultado
Solicitud larga inicial66,007167.82 sMarcador inicial retenido
Solicitud más larga90,00011159.92 sMarcador inicial retenido, cero entradas en caché
Solicitud más larga119,99911250.61 sMarcador inicial retenido, cero entradas en caché
Cerca del límite de ejecución131,00011287.09 sMarcador inicial retenido, cero entradas en caché

La solicitud de 131.000 tokens se acercó al límite de ejecución de 131.072. Para un agente, dejaría más espacio para la respuesta y los mensajes posteriores de las herramientas. Retener cerca del límite aporta evidencia sobre el procesamiento de entradas, pero no es un presupuesto predeterminado razonable.

El uso de herramientas pasó con el razonamiento desactivado. El razonamiento predeterminado consumió los 512 tokens permitidos antes de emitir la llamada a la herramienta. La prueba piloto satisfactoria también pasó las solicitudes rápidas, transmitidas y de visión. Su comprobación inicial de contexto de 65.845 tokens tardó 139,57 segundos.

Qwen3.8 27B gana la comparación de respuesta equivalente de 66K

Para la misma carga del marcador de 66.007 tokens en el sistema A, Qwen3.8 27B devolvió la respuesta más rápido. Mantendría esta ruta disponible para solicitudes de ese tamaño probado, junto a Qwen3.5 35B para el conjunto de trabajo más grande.

Ruta del sistema ATokens de entradaDuraciónResultado
Qwen3.8 27B66,00754.64 sMarcador inicial retenido
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sMarcador inicial retenido
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sMarcador inicial retenido
Alias de compatibilidad Flash Next IQ466,007213.25 sMarcador retenido

Qwen3.8 27B tardó aproximadamente un tercio del tiempo de las solicitudes equivalentes de Qwen3.6 y Flash Next. Son observaciones de solicitudes completas con los entornos de ejecución probados, no una comparación exclusiva del hardware.

Las respuestas rápidas, la transmisión y el uso de herramientas también pasaron. El modo sin razonamiento completó toda la secuencia de colores y el intercambio con la herramienta, mientras la prueba con razonamiento devolvió solo parte de la secuencia dentro del límite de 512 tokens.

Flash Next sigue siendo una opción predeterminada menos atractiva en este sistema por la presión de memoria. Su prueba piloto de 65.847 tokens pasó en 201,41 segundos con un contexto de ejecución de 98.304. Dos perfiles anteriores de contexto 131.072 llegaron al límite de memoria antes de estar listos.

La ruta posterior llegó a su límite cgroup de 54 GiB. Para el trabajo desatendido, elegiría una ruta con más margen de memoria.

La ruta con la etiqueta flash-iq2 sirvió al backend de compatibilidad Flash Next IQ4. Su nombre no identifica un resultado IQ2.

La RTX 2000E Ada admite entradas largas, pero el modelo cambia la espera

Gemma 3 4B es mi ruta probada preferida para entradas largas en el sistema C. Dos rutas retuvieron más de 84K tokens de entrada en unos 88 segundos. Las rutas con modelos más grandes también pasaron comprobaciones de retención útiles, pero sus solicitudes tardaron varios minutos.

SistemaModelo y rutaTokens de entradaDuraciónResultado
BQwen3.5 9B, pasarela72,265263 sSe retuvieron ambos marcadores y pasó la comprobación posterior de recuperación de minería
CGemma 3 4B, pasarela84,04488.05 sMarcador inicial retenido
CGemma 3 4B, Aperture84,04587.68 sMarcador inicial retenido
CGemma 4 12B-IT, pasarela67,254263.07 sMarcador inicial retenido
CGemma 4 12B-IT, Aperture sin transmisión67,255274.24 sMarcador inicial retenido
CGemma 4 12B-IT, transmisión de Aperture67,255282.16 sMarcador inicial retenido
CQwen3.5 9B, pasarela75,648319.36 sMarcador inicial retenido, modelo descargado
CGPT-OSS 20B, pasarela84,099315.83 sMarcador inicial retenido, modelo descargado
DQwen3.5 9B, Aperture81,051324.07 sLa retención pasó en el artefacto instalado
DGemma 4 12B-IT, Aperture72,057300.67 sLa retención pasó en el artefacto instalado
DGPT-OSS 20B, Aperture72,104245.94 sLa retención pasó en el artefacto instalado

La transmisión no eliminó la larga espera de prellenado de Gemma 4 en el sistema C. El primer contenido transmitido llegó después de 277,49 segundos, más tarde que la respuesta completa de 274,24 segundos sin transmisión. Un intento anterior sin transmisión agotó el tiempo de espera antes del reintento satisfactorio. Reservaría esta ruta para tareas compatibles con varios minutos de procesamiento inicial.

Gemma 3 4B también demuestra por qué limitaría la calificación a cada sistema probado. El sistema D no encontró el marcador inicial en dos intentos de recuperación de 65K, incluida una repetición a temperatura cero con 67.252 tokens de entrada. La solicitud determinista terminó con normalidad en 62,07 segundos con la GPU totalmente ocupada.

Una finalización rápida y una respuesta API normal no garantizaban que la respuesta fuera correcta. Usaría la ruta satisfactoria del sistema C y descartaría la ruta fallida del sistema D para elegir modelos de Hermes.

El modo de razonamiento determina si Qwen3.5 0.8B resulta útil

Qwen3.5 0.8B se convirtió en una opción útil para recuperación acotada en el sistema C al desactivar el razonamiento. El modelo pequeño Q8_0 retuvo 75.649 tokens de entrada mediante la pasarela en 65,92 segundos. Este resultado corresponde al artefacto Q8_0 probado y a la ruta sin razonamiento, no a las antiguas configuraciones de contexto 16K de otras partes de la tabla.

Solicitud de Qwen3.5 0.8B en el sistema CTokens de entradaTokens de salidaDuraciónResultado
Razonamiento predeterminado, diagnóstico breve9,0503,39166.56 sMarcador inicial exacto
Razonamiento desactivado, diagnóstico equivalente9,055217.65 sMarcador inicial exacto, sin texto de razonamiento
Razonamiento predeterminado, intento largotiempo agotado a los 600 sNo se completó la respuesta
Razonamiento desactivado, Ollama nativo75,6562269.80 sMarcador inicial exacto
Endpoint compatible con OpenAI sin razonamiento75,6461269.09 sMarcador inicial exacto
Intermediario con modo sin razonamiento obligatorio75,6471366.83 sMarcador inicial exacto
LiteLLM desde el sistema A al C75,6491565.92 sMarcador inicial exacto

El diagnóstico equivalente bajó de 66,56 a 7,65 segundos, unas 8,7 veces más rápido, mientras la salida generada cayó de 3.391 a 21 tokens. Por eso fijaría explícitamente el modo de razonamiento para tareas sencillas de extracción y enrutamiento. El razonamiento predeterminado dedicó la mayor parte del trabajo a generar una salida que la tarea no necesitaba.

Una prueba breve compatible con OpenAI no encontró el marcador hasta que pasó el reintento con temperatura cero. Las comprobaciones de ruta satisfactorias usaron el modo sin razonamiento y una finalización natural sin límite de salida. Otras tres pasarelas pasaron solicitudes breves con marcador en 4,22, 4,37 y 3,85 segundos. Esas comprobaciones validan el enrutamiento; la solicitud de 75.649 tokens valida la retención de entradas largas mediante la pasarela.

Probaría esta ruta para recuperación y extracción acotadas. Elegiría un modelo mayor para razonamiento abierto de agentes. Recuperar un marcador sintético es una tarea más limitada que planificar, programar o coordinar varias herramientas.

Los sistemas RTX 3060 Ti y RTX 3070 favorecen Qwen3.5 2B y 4B

Qwen3.5 2B y 4B son mis opciones prácticas para empezar en las tarjetas de 8 GB. Las solicitudes de contexto de texto en los sistemas E, F y G pasaron con 65.579 tokens de entrada y duraciones de 30,343 a 93,753 segundos. Las rutas 4B probadas también superaron las comprobaciones de herramientas, transmisión e imágenes.

La repetición del contexto de visión 4B del sistema E retuvo ambos marcadores y el orden de los colores de imagen con 65.637 tokens de entrada en 44,88 segundos. También pasaron las solicitudes con el orden de colores directo e inverso. La repetición usó una tarjeta sana después de que otra sufriera un fallo de enlace Xid 79 y el sistema se reiniciara.

SistemaContexto de texto Qwen3.5 2BContexto de texto Qwen3.5 4BContexto de visión Qwen3.5 4B
E, grupo RTX 3060 Ti65,579 tokens, 30.343 s65,579 tokens, 53.787 s65,637 tokens, 44.88 s
F, grupo RTX 3060 Ti65,579 tokens, 61.282 s65,579 tokens, 93.753 s65,635 tokens, 84.749 s
G, grupo RTX 307065,579 tokens, 76.731 s65,579 tokens, 90.807 s65,635 tokens, 87.496 s

Cada uno de estos sistemas registró 29 comprobaciones satisfactorias. La diferencia de tiempos entre los dos sistemas RTX 3060 Ti también muestra por qué elegiría un perfil de sistema probado en vez de ordenar las tarjetas según estas duraciones de solicitud.

Los siete sistemas reanudaron la minería después de la ventana de inferencia. La comprobación independiente de recuperación tras detener el sistema B pasó con nuevas acciones aceptadas. La tarjeta que falló en el sistema E volvió a minar después de un reinicio y de reforzar el enlace PCIe, pero siguió excluida del grupo de IA. Restaurar la minería al final de la ventana es un resultado distinto de devolver automáticamente el equipo tras una solicitud de inferencia.

Cargar un modelo no lo califica

Excluiría DeepSeek Coder V2 16B de las opciones Hermes probadas a 65K. La prueba con caché f16 retuvo 50.477 tokens de entrada, pero la prueba objetivo de 65K llegó a la protección de VRAM. Las alternativas de caché Q4 y Q8 cargaron los pesos en las GPU, pero después alcanzaron los límites de memoria del anfitrión o tuvieron un rendimiento bajo con solicitudes largas.

Perfil de caché de DeepSeek Coder V2Contexto de ejecuciónResultado observadoMi evaluación
f1681,920Recuperación de 50.477 tokens satisfactoria; se rechazó una solicitud demasiado grandeResultado útil con contexto más corto
f1673,728El prellenado objetivo de 65K se detuvo con 15.802 MiB de uso de GPUNo califica para 65K
Q4_098,304El prellenado largo bajó a 96.72 tokens/s antes de la detención controladaPoco adecuado para esta carga
Q8_077,824El prellenado largo bajó a 120.12 tokens/s antes de la detención controladaPoco adecuado para esta carga
Q4_0 / Q8_0, perfiles más grandes163,840 / 98,304Las protecciones de memoria del anfitrión detuvieron las pruebasEl ajuste de memoria depende de todo el sistema

La lección práctica es probar la solicitud que tienes previsto enviar. Que el modelo resida en la GPU, responda brevemente y tenga un contexto configurado grande no demuestra que retenga entradas largas con una latencia útil.

Granite 4.2 8B y GPT-OSS 20B mejoraron tras ajustes específicos de ruta en el sistema A. La ruta Q6_K de Granite retuvo 66.082 tokens de entrada en 88,636 segundos sin entrada en caché. GPT-OSS completó el intercambio con la herramienta tras la reparación del intermediario, en 9,854 segundos para la llamada y 9,849 segundos para el seguimiento. Mantendría estas comprobaciones satisfactorias separadas de los intentos anteriores incompletos.

Resultados completos de los benchmarks

La tabla contiene 295 comprobaciones en 59 combinaciones de modelos y sistemas. La matriz registra 273 aprobadas, una comprobación de recuperación fallida y siete resultados incompletos, incoherentes o incompatibles. Catorce comprobaciones quedan fuera del alcance de calificación de 65K. Cada fila muestra su resultado medido.

Mis recomendaciones se aplican a las rutas y cargas que pasaron. Una fila fallida o incompleta no califica el comportamiento correspondiente.

Los resultados de contexto corto y de embeddings corresponden a sus propias cargas. Pasar con contexto 16K o 32K no califica una ruta para la carga Hermes de 65.536 tokens de entrada. Los nombres de modelos de aquí son etiquetas de ruta. La etiqueta flash-iq2 servía al backend de compatibilidad IQ4.

La fila de contexto Qwen3.5 35B del sistema A es la última etapa de prefijo compartido de la progresión anterior. Las duraciones de herramientas con un signo más muestran por separado la llamada y su seguimiento.

La fila de concurrencia muestra las duraciones de las dos solicitudes en cola. La fila de cancelación indica el tiempo de liberación después de que el cliente cerró el flujo. Las progresiones adicionales de contexto y las comparaciones de rutas de Qwen3.5 0.8B aparecen en sus tablas anteriores.

Sistema A

Etiqueta de ruta del modeloComprobaciónResultadoTokens de entradaDuración de solicitud
bonsai-2-27bcontextAprobado65,62188.746 s
bonsai-2-27bquickAprobado576.429 s
bonsai-2-27bstreamAprobado9.371 s
bonsai-2-27btoolsAprobado10.478 s
deepseek-coder-v2:16bcontextIncompatible50,477
deepseek-coder-v2:16bquickAprobado7743.239 s
flash-iq2contextAprobado66,007213.25 s
flash-iq2quickAprobado56.03 s
flash-iq2streamAprobado1.35 s
flash-iq2toolsAprobado16.55 s
gemma-4-12b-itcontextAprobado65,59051.225 s
gemma-4-12b-itquickAprobado215.166 s
gemma-4-12b-itstreamAprobado4.653 s
gemma-4-12b-ittoolsAprobado18.72 s
gemma-4-12b-itvisionAprobado1157.222 s
gemma-4-12b-itvision_contextAprobado65,68556.06 s
gemma-4-12b-itvision_reverseAprobado1157.467 s
gemma-4-e4b-itcontextAprobado65,59021.889 s
gemma-4-e4b-itquickAprobado2117.919 s
gemma-4-e4b-itstreamAprobado4.25 s
gemma-4-e4b-ittoolsAprobado8.734 s
gpt-oss-20bcontextAprobado65,637159.155 s
gpt-oss-20bquickAprobado7310.548 s
gpt-oss-20bstreamAprobado20.594 s
gpt-oss-20btoolsAprobado9.854 + 9.849 s
granite-4.2-3bcontextAprobado65,58970.968 s
granite-4.2-3bquickAprobado204.009 s
granite-4.2-3bstreamAprobado5.365 s
granite-4.2-3btoolsAprobado6.086 s
granite-4.2-8bcontextAprobado66,08288.636 s
granite-4.2-8bquickAprobado205.857 s
granite-4.2-8bstreamAprobado11.826 s
granite-4.2-8btoolsAprobado11.852 s
qwen27bcontextAprobado66,00754.64 s
qwen27bquickAprobado5731.5 s
qwen27bstreamAprobado0.92 s
qwen27btoolsAprobado4.25 s
qwen3-embedding-0.6bcontextAprobado32,7677.736 s
qwen3-embedding-0.6bquickAprobado142.125 s
qwen3.5-0.8bcontextAprobado16,42910.5 s
qwen3.5-0.8bquickAprobado1714.316 s
qwen3.5-0.8bstreamAprobado2.125 s
qwen3.5-0.8btoolsAprobado4.416 s
qwen3.5-2bcontextAprobado65,58111.175 s
qwen3.5-2bquickAprobado174.519 s
qwen3.5-2bstreamAprobado3.736 s
qwen3.5-2btoolsAprobado5.046 s
qwen3.5-4bcontextAprobado65,57936.451 s
qwen3.5-4bquickAprobado1519.935 s
qwen3.5-4bstreamAprobado17.496 s
qwen3.5-4btoolsAprobado7.308 s
qwen3.5-4bvisionAprobado707.848 s
qwen3.5-4bvision_contextAprobado65,63528.24 s
qwen3.5-4bvision_reverseAprobado704.386 s
qwen3.5-9bcontextAprobado65,58134.139 s
qwen3.5-9bquickAprobado173.88 s
qwen3.5-9bstreamAprobado3.378 s
qwen3.5-9btoolsAprobado10.204 s
qwen3.5-9bvisionAprobado724.441 s
qwen3.5-9bvision_contextAprobado65,63733.745 s
qwen3.5-9bvision_reverseAprobado723.97 s
qwen3.5:35b-a3b-q4_K_McancellationAprobado60.31 s
qwen3.5:35b-a3b-q4_K_MconcurrencyAprobado26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_McontextAprobado248,27954.215 s
qwen3.5:35b-a3b-q4_K_MgatewayAprobado239,153148.12 s
qwen3.5:35b-a3b-q4_K_MquickAprobado7910.08 s
qwen3.5:35b-a3b-q4_K_MstreamAprobado69,42938.783 s
qwen3.5:35b-a3b-q4_K_MtoolsAprobado15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_MvisionAprobado18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextAprobado65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickAprobado153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamAprobado0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsAprobado2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionAprobado380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextAprobado65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickAprobado1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamAprobado1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsAprobado22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionAprobado3.86 s

Sistema B

Etiqueta de ruta del modeloComprobaciónResultadoTokens de entradaDuración de solicitud
gemma-4-12b-itcontextAprobado65,590299.163 s
gemma-4-12b-itquickAprobado2115.261 s
gemma-4-12b-itstreamAprobado148.792 s
gemma-4-12b-ittoolsAprobado34.124 s
gemma-4-12b-itvisionAprobado12061.455 s
gemma-4-12b-itvision_contextAprobado65,690295.581 s
gemma-4-12b-itvision_reverseAprobado12032.511 s
gemma3-4bcontextAprobado65,58467.382 s
gemma3-4bquickAprobado156.329 s
gemma3-4bstreamAprobado24.138 s
gemma3-4bvisionAprobado3067.018 s
gemma3-4bvision_contextAprobado65,87670.912 s
gemma3-4bvision_reverseAprobado3065.762 s
gpt-oss-20bcontextAprobado65,637206.767 s
gpt-oss-20bquickAprobado7216.583 s
gpt-oss-20bstreamAprobado32.075 s
gpt-oss-20btoolsAprobado28.102 s
nomic-embed-textcontextIncompleto2,048
nomic-embed-textquickAprobado7.117 s
qwen3-14bcontextIncompleto1800.09 s
qwen3-14bquickAprobado1537.199 s
qwen3-14bstreamAprobado35.471 s
qwen3-14btoolsAprobado87.554 s
qwen3-8bcontextExcluido del alcance bajo 65K
qwen3-8bquickFuera del alcance bajo 65K, aprobado1521.059 s
qwen3-8bstreamExcluido del alcance bajo 65K
qwen3-8btoolsExcluido del alcance bajo 65K
qwen3.5-9bcontextAprobado65,579282.796 s
qwen3.5-9blitellm_long_routeAprobado72,265263 s
qwen3.5-9bpost_external_stop_miningAprobado
qwen3.5-9bquickAprobado1525.881 s
qwen3.5-9bstreamAprobado143.44 s
qwen3.5-9btoolsAprobado31.812 s
qwen3.5-9bvisionAprobado7532.015 s
qwen3.5-9bvision_contextAprobado65,640396.288 s
qwen3.5-9bvision_reverseAprobado7528.626 s

Sistema C

Etiqueta de ruta del modeloComprobaciónResultadoTokens de entradaDuración de solicitud
gemma-4-12b-itaperture_contextAprobado67,255274.24 s
gemma-4-12b-itaperture_shortAprobado3539.32 s
gemma-4-12b-itaperture_stream_contextAprobado67,255282.16 s
gemma-4-12b-itcontextAprobado65,670313.661 s
gemma-4-12b-itgateway_contextAprobado67,254263.07 s
gemma-4-12b-itgateway_shortAprobado2720.98 s
gemma-4-12b-itquickAprobado2116.447 s
gemma-4-12b-itstreamAprobado15.175 s
gemma-4-12b-ittoolsAprobado37.821 s
gemma-4-12b-itvisionAprobado12058.52 s
gemma-4-12b-itvision_contextAprobado65,690308.759 s
gemma-4-12b-itvision_reverseAprobado12031.25 s
gemma3-4baperture_contextAprobado84,04587.68 s
gemma3-4baperture_after_system_d_route_changeAprobado245.42 s
gemma3-4baperture_shortAprobado225.45 s
gemma3-4baperture_streamAprobado3.72 s
gemma3-4bcontextAprobado65,66467.543 s
gemma3-4bgateway_contextAprobado84,04488.05 s
gemma3-4bgateway_short_via_system_aAprobado3.16 s
gemma3-4bgateway_short_via_system_eAprobado
gemma3-4bgateway_short_via_system_fAprobado4.15 s
gemma3-4bgateway_short_via_system_gAprobado6.06 s
gemma3-4bquickAprobado155.163 s
gemma3-4bstreamAprobado24.691 s
gemma3-4bvisionAprobado3067.318 s
gemma3-4bvision_contextAprobado65,87672.476 s
gemma3-4bvision_reverseAprobado3065.831 s
gpt-oss-20bcontextAprobado65,716216.594 s
gpt-oss-20bgateway_contextAprobado84,099315.83 s
gpt-oss-20bgateway_shortIncoherente
gpt-oss-20bquickAprobado7221.603 s
gpt-oss-20bstreamAprobado31.957 s
gpt-oss-20btoolsAprobado26.096 s
nomic-embed-textcontextFuera del alcance bajo 65K, incompleto2,048
nomic-embed-textquickFuera del alcance bajo 65K, aprobado4.178 s
qwen3-14bcontextFuera del alcance bajo 65K, incompleto1800.06 s
qwen3-14bquickFuera del alcance bajo 65K, aprobado1535.809 s
qwen3-14bstreamFuera del alcance bajo 65K, aprobado35.43 s
qwen3-14btoolsFuera del alcance bajo 65K, aprobado87.723 s
qwen3-8bcontextExcluido del alcance bajo 65K
qwen3-8bquickFuera del alcance bajo 65K, aprobado1521.293 s
qwen3-8bstreamFuera del alcance bajo 65K, incompleto900.01 s
qwen3-8btoolsExcluido del alcance bajo 65K
qwen3.5-9bcontextAprobado65,662287.984 s
qwen3.5-9bgateway_contextAprobado75,648319.36 s
qwen3.5-9bgateway_shortAprobado2172.14 s
qwen3.5-9bquickAprobado1524.635 s
qwen3.5-9bstreamAprobado143.157 s
qwen3.5-9btoolsAprobado30.395 s
qwen3.5-9bvisionAprobado7527.756 s
qwen3.5-9bvision_contextAprobado65,640398.797 s
qwen3.5-9bvision_reverseAprobado7528.645 s

Sistema D

Etiqueta de ruta del modeloComprobaciónResultadoTokens de entradaDuración de solicitud
gemma-4-12b-itcontextAprobado65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kAprobado72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortAprobado3430.74 s
gemma-4-12b-itquickAprobado2115.05 s
gemma-4-12b-itstreamAprobado14.722 s
gemma-4-12b-ittoolsAprobado33.869 s
gemma-4-12b-itvisionAprobado12056.315 s
gemma-4-12b-itvision_contextAprobado65,690282.174 s
gemma-4-12b-itvision_reverseAprobado12029.978 s
gemma3-4bcontextAprobado65,58463.564 s
gemma3-4bexact_digest_65k_recallFallido67,25262.07 s
gemma3-4bquickAprobado155.151 s
gemma3-4bstreamAprobado22.552 s
gemma3-4bvisionAprobado3068.276 s
gemma3-4bvision_contextAprobado65,87667.575 s
gemma3-4bvision_reverseAprobado3065.651 s
gpt-oss-20bcontextAprobado65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kAprobado72,104245.94 s
gpt-oss-20bexact_digest_broker_shortAprobado8415.96 s
gpt-oss-20bquickAprobado7215.431 s
gpt-oss-20bstreamAprobado31.052 s
gpt-oss-20btoolsAprobado23.65 s
nomic-embed-textcontextIncompleto2,048
nomic-embed-textquickAprobado2.798 s
qwen3-14bcontextIncompleto40,939872.209 s
qwen3-14bquickAprobado1536.021 s
qwen3-14bstreamAprobado33.491 s
qwen3-14btoolsAprobado82.471 s
qwen3-8bcontextIncompleto1800.07 s
qwen3-8bquickAprobado1519.283 s
qwen3-8bstreamAprobado19.401 s
qwen3-8btoolsAprobado65.054 s
qwen3.5-9bcontextAprobado65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kAprobado81,051324.07 s
qwen3.5-9bexact_digest_broker_shortAprobado2994.48 s
qwen3.5-9bquickAprobado1527.16 s
qwen3.5-9bstreamAprobado28.62 s
qwen3.5-9btoolsAprobado28.129 s
qwen3.5-9bvisionAprobado7525.047 s
qwen3.5-9bvision_contextAprobado65,640369.477 s
qwen3.5-9bvision_reverseAprobado7527.602 s

Sistema E

Etiqueta de ruta del modeloComprobaciónResultadoTokens de entradaDuración de solicitud
gemma-4-e4b-itcontextAprobado65,59049.086 s
gemma-4-e4b-itquickAprobado2123.911 s
gemma-4-e4b-itstreamAprobado28.136 s
gemma-4-e4b-ittoolsAprobado56.756 s
granite-4.0-h-tinycontextAprobado65,566
granite-4.0-h-tinyquickAprobado3510.408 s
granite-4.0-h-tinystreamAprobado27.798 s
granite-4.0-h-tinytoolsAprobado43.304 s
granite-4.2-3bcontextAprobado65,5891014.03 s
granite-4.2-3bquickAprobado2014.569 s
granite-4.2-3bstreamAprobado6.948 s
granite-4.2-3btoolsAprobado56.376 s
qwen3-embedding-0.6bcontextAprobado32,76720.387 s
qwen3-embedding-0.6bquickAprobado149.592 s
qwen3.5-0.8bcontextAprobado16,4299.128 s
qwen3.5-0.8bquickAprobado17452.417 s
qwen3.5-0.8bstreamAprobado11.163 s
qwen3.5-0.8btoolsAprobado39.214 s
qwen3.5-2bcontextAprobado65,57930.343 s
qwen3.5-2bquickAprobado1512.509 s
qwen3.5-2bstreamAprobado26.165 s
qwen3.5-2btoolsAprobado42.056 s
qwen3.5-4bcontextAprobado65,57953.787 s
qwen3.5-4bquickAprobado1526.736 s
qwen3.5-4bstreamAprobado26.02 s
qwen3.5-4btoolsAprobado57.293 s
qwen3.5-4bvisionAprobado7210.09 s
qwen3.5-4bvision_contextAprobado65,63744.88 s
qwen3.5-4bvision_reverseAprobado729.96 s

Sistema F

Etiqueta de ruta del modeloComprobaciónResultadoTokens de entradaDuración de solicitud
gemma-4-e4b-itcontextAprobado65,59098.443 s
gemma-4-e4b-itquickAprobado2127.51 s
gemma-4-e4b-itstreamAprobado28.042 s
gemma-4-e4b-ittoolsAprobado73.891 s
granite-4.0-h-tinycontextAprobado65,59919.692 s
granite-4.0-h-tinyquickAprobado3543.818 s
granite-4.0-h-tinystreamAprobado27.296 s
granite-4.0-h-tinytoolsAprobado75.377 s
granite-4.2-3bcontextAprobado65,589145.179 s
granite-4.2-3bquickAprobado2015.703 s
granite-4.2-3bstreamAprobado35.482 s
granite-4.2-3btoolsAprobado52.539 s
qwen3-embedding-0.6bcontextAprobado32,76720.656 s
qwen3-embedding-0.6bquickAprobado148.122 s
qwen3.5-0.8bcontextAprobado16,42913.326 s
qwen3.5-0.8bquickAprobado17445.22 s
qwen3.5-0.8bstreamAprobado13.266 s
qwen3.5-0.8btoolsAprobado40.825 s
qwen3.5-2bcontextAprobado65,57961.282 s
qwen3.5-2bquickAprobado1516.738 s
qwen3.5-2bstreamAprobado25.29 s
qwen3.5-2btoolsAprobado47.444 s
qwen3.5-4bcontextAprobado65,57993.753 s
qwen3.5-4bquickAprobado1533.039 s
qwen3.5-4bstreamAprobado25.658 s
qwen3.5-4btoolsAprobado71.731 s
qwen3.5-4bvisionAprobado7043.053 s
qwen3.5-4bvision_contextAprobado65,63584.749 s
qwen3.5-4bvision_reverseAprobado7027.518 s

Sistema G

Etiqueta de ruta del modeloComprobaciónResultadoTokens de entradaDuración de solicitud
gemma-4-e4b-itcontextAprobado65,59092.696 s
gemma-4-e4b-itquickAprobado2138.329 s
gemma-4-e4b-itstreamAprobado43.549 s
gemma-4-e4b-ittoolsAprobado66.616 s
granite-4.0-h-tinycontextAprobado65,59969.777 s
granite-4.0-h-tinyquickAprobado3533.17 s
granite-4.0-h-tinystreamAprobado31.751 s
granite-4.0-h-tinytoolsAprobado63.338 s
granite-4.2-3bcontextAprobado65,589100.849 s
granite-4.2-3bquickAprobado2023.355 s
granite-4.2-3bstreamAprobado28.75 s
granite-4.2-3btoolsAprobado44.226 s
qwen3-embedding-0.6bcontextAprobado32,76723.055 s
qwen3-embedding-0.6bquickAprobado148.924 s
qwen3.5-0.8bcontextAprobado16,42916.74 s
qwen3.5-0.8bquickAprobado17504.813 s
qwen3.5-0.8bstreamAprobado15.095 s
qwen3.5-0.8btoolsAprobado36.672 s
qwen3.5-2bcontextAprobado65,57976.731 s
qwen3.5-2bquickAprobado1520.949 s
qwen3.5-2bstreamAprobado25.194 s
qwen3.5-2btoolsAprobado37.552 s
qwen3.5-4bcontextAprobado65,57990.807 s
qwen3.5-4bquickAprobado1541.84 s
qwen3.5-4bstreamAprobado40.812 s
qwen3.5-4btoolsAprobado54.999 s
qwen3.5-4bvisionAprobado7029.619 s
qwen3.5-4bvision_contextAprobado65,63587.496 s
qwen3.5-4bvision_reverseAprobado7026.283 s

Cómo probé la viabilidad de Hermes

Usé un marcador sintético cerca del inicio de una solicitud larga y pedí el marcador después del texto de relleno. La respuesta debía devolver el valor esperado. El número de tokens de entrada informado por el servidor determinó el tamaño de la solicitud. Un modelo que respondía normalmente tras una solicitud larga también fallaba si el marcador inicial era incorrecto.

La progresión de Qwen3.5 35B usó registros numerados de relleno, temperatura 0 y longitudes crecientes de 3.800, 6.800, 10.000 y 13.600 registros. Esas etapas devolvieron 69.429, 124.179, 182.579 y 248.279 tokens de solicitud. El modelo permaneció cargado entre etapas, lo que permitió reutilizar el prefijo. Las comprobaciones independientes de Qwen3.6 cerca del límite indicaron cero tokens en caché.

La solicitud larga del modelo 0.8B repitió river stone lantern orchard circuit velvet compass marble 8.400 veces entre una clave de respuesta inicial y una pregunta final de recuperación. La ejecución nativa envió think:false, num_ctx:131072, stream:false y keep_alive:0. La ruta compatible con OpenAI usó reasoning_effort:"none". El intermediario impuso el modo sin razonamiento para su ruta, por lo que quienes usaban la pasarela no necesitaban cambiar la solicitud.

Comprobaciones de herramientas, visión y liberación

Las pruebas de herramientas comprobaron tanto la solicitud como la respuesta posterior al resultado devuelto por la herramienta. Una prueba sencilla usó add_numbers(7, 11) y esperaba 18. La prueba de Qwen3.5 35B usó lookup_square y esperaba 49. GPT-OSS hizo una consulta de inventario y tuvo que incorporar el resultado devuelto.

Las comprobaciones de visión usaron preguntas sobre imágenes rojas y azules, invirtieron el orden de las imágenes e incluyeron colores de imagen y marcadores iniciales y finales en solicitudes largas. La prueba de Qwen3.5 35B usó un PNG rojo de 256 × 256. Fue necesaria una reparación de conversión de contenido de imagen en el intermediario antes de que esta solicitud pasara. La prueba larga de visión 4B del sistema E exigió que sobrevivieran a la entrada ambos marcadores y el orden de colores.

Durante las ejecuciones largas comprobé la memoria GPU, la residencia del modelo, las temperaturas, la presión de memoria del anfitrión, los eventos OOM y los fallos GPU. La protección de Qwen3.5 35B también comprobó la liberación tras una interrupción controlada. Las comprobaciones posteriores de cancelación del cliente y de solicitudes en cola ejercitaron la ruta del intermediario. Dos solicitudes en cola demuestran el manejo de solicitudes bajo la carga probada, no dos backends GPU simultáneos e independientes.

Cómo interpretar los resultados de rendimiento

Las duraciones de las solicitudes incluyen el prellenado de entradas largas y la respuesta devuelta. No representan tokens generados por segundo. El retraso hasta el primer contenido importa en la transmisión, y las progresiones de prefijos en caché requieren su propia interpretación.

Las ejecuciones posteriores satisfactorias de modelos grandes en los sistemas A y C usaron ventanas de inferencia dedicadas con la minería inactiva. Los modelos se descargaron después de esas solicitudes. La minería se restauró en los siete sistemas al finalizar la ventana de prueba. Estos resultados describen el servicio de modelos durante una ventana de inferencia, no minería e inferencia simultáneas.

Perfiles de backend usados en las pruebas

Elige el perfil correspondiente a la carga que quieras reproducir. La cuantización, el contexto de ejecución, el tipo de caché, el modo de razonamiento y la ubicación de las GPU afectan el resultado.

Sistema y modeloPerfil de backend probado
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, caché KV f16, ambas RTX 5060 Ti de 16 GB, 64 GiB de RAM del anfitrión y contexto de ejecución 262.144 para la progresión larga. Las solicitudes nativas usaron think:false, temperatura 0, transmisión y cinco minutos de permanencia entre etapas. Las solicitudes de pasarela usaron el intermediario y LiteLLM. Sin límite de salida de solicitud.
A, Qwen3.8 27Bllama.cpp bajo demanda mediante el intermediario y LiteLLM, contexto de ejecución 262.144, una ranura de inferencia, caché K/V Q4 y ambas RTX 5060 Ti. La solicitud de 66.007 tokens no tuvo límite de salida.
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, contexto 131.072, caché KV INT8, una GPU seleccionada, límite de memoria del grupo de procesos de 55 GiB, límite de ejecución de 30 minutos, carga diferida y descarga tras 60 segundos inactivos. Respuesta larga piloto: 217 tokens de salida. Respuesta de pasarela cerca del límite: 11 tokens de salida, sin límite de salida de solicitud.
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, contexto 98.304, caché KV Q4, caché de expertos residente de 8 GiB y ambas RTX 5060 Ti. Límite de memoria piloto de 52 GiB y ruta posterior de 54 GiB. Respuesta larga piloto: 10 tokens de salida. Las combinaciones anteriores con contextos y cachés mayores se detuvieron al alcanzar límites de memoria.
A, Granite 4.2 8BPesos GGUF Q6_K, proceso de trabajo compartido de llama.cpp, contexto 131.072, caché K/V Q4_0, --n-predict -1. La solicitud larga usó temperatura 0, transmisión del uso y ningún límite de salida.
A, DeepSeek Coder V2 16BPesos GGUF Q4_0, Ollama 0.34.2, dos RTX 5060 Ti, 64 GiB de RAM del anfitrión. Las pruebas separadas de caché f16, Q4_0 y Q8_0 usaron los contextos de ejecución mostrados en la tabla comparativa. Sin límite de salida de solicitud.
B, C, D, servicio Ollama auditadoOllama 0.34.2, contexto 131.072, paralelismo 1, un modelo cargado, cola de tamaño 128, permanencia 0, Flash Attention, caché KV Q4_0.
B, piloto de pasarela Qwen3.5 9BTiempo de espera de ruta LiteLLM de 1.800 segundos, cero reintentos y sin límite de contexto ni de tokens de salida. Ambos marcadores se retuvieron con 72.265 tokens de entrada. La comprobación independiente de recuperación de minería pasó.
C, Qwen3.5 0.8BPesos Q8_0 en una RTX 2000E Ada con un perfil de potencia de 30 W. Contexto 131.072. think:false nativo, reasoning_effort:"none" compatible con OpenAI y sin límite de salida. El alias del intermediario fijó el contexto de ejecución e impuso el modo sin razonamiento.
C, Gemma 4 12B-ITPerfil Ollama de una sola GPU, contexto 131.072 y solicitudes de Aperture transmitidas y sin transmisión, sin límite de salida. La ejecución directa de Aperture llegó a 75 C y 30,64 W con el perfil configurado de 30 W y después se descargó.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BArtefactos instalados exactos probados mediante Aperture, contexto 131.072, residencia total en una GPU y finalización natural sin límite de salida de solicitud.
E, F, G, procesos de chat de llama.cppCompilación 11669, 99 capas GPU, paralelismo 1, Flash Attention, caché K/V Q4_0, --n-predict -1. El contexto de ejecución variaba según la familia de modelos.

Los perfiles de servicio registrados describen sus propias configuraciones de ejecución. El perfil Qwen3.5 35B con caché f16 probado por separado en el sistema A no hereda los ajustes de caché Q4_0 de los sistemas Ollama más pequeños.

Huellas de modelos para las nuevas pruebas de entrada retenida

Estos identificadores distinguen los artefactos probados de otras descargas o alias con nombres similares.

ArtefactoCuantizaciónHuella registrada o SHA-256 del archivo
Etiqueta Ollama de Qwen3.5 35B-A3BQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Etiqueta Ollama base de Qwen3.5 0.8BQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Archivo GGUF de Granite 4.2 8BQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Las huellas de manifiestos Ollama y los valores SHA-256 de archivos de pesos identifican objetos diferentes. Asocia el identificador con el tipo de artefacto de la tabla.

Qué ejecutaría con Hermes

Usaría Qwen3.5 35B como ruta principal de contexto amplio en el sistema de dos RTX 5060 Ti. Su resultado de retención de 239.153 tokens por la pasarela, las comprobaciones independientes de herramientas y visión y la liberación de solicitudes verificada respaldan mejor esta elección que un modelo anunciado con una gran ventana de contexto. Mantendría Qwen3.8 27B para respuestas más rápidas en solicitudes comparables de 66K y Qwen3.6 cuando importe usar una sola tarjeta.

En los sistemas RTX 2000E Ada, elegiría la ruta Gemma 3 4B verificada del sistema C para la carga probada de respuesta con entrada larga. Probaría la ruta Qwen3.5 0.8B sin razonamiento para recuperación y extracción acotadas. Las rutas mayores Gemma, Qwen y GPT-OSS sirven para tareas que acepten sus respuestas iniciales probadas de cuatro a cinco minutos. Excluiría de la selección la ruta Gemma 3 fallida del sistema D.

Para las tarjetas RTX 3060 Ti y RTX 3070 de 8 GB, empezaría con Qwen3.5 2B o 4B. Sus resultados de texto a 65K y las comprobaciones de imagen 4B respaldan una configuración inicial útil sin dedicar las dos tarjetas de 16 GB a todas las solicitudes. La presión de memoria de Flash Next y el comportamiento incompleto a 65K de DeepSeek Coder V2 hacen que sean opciones predeterminadas menos adecuadas en los perfiles probados.

Las pruebas respaldan estas opciones de modelos y sistemas para flujos de trabajo específicos. La retención de entradas, un intercambio correcto con una herramienta, el reconocimiento de imágenes y la liberación limpia responden a aspectos diferentes de la viabilidad de Hermes. Una configuración fiable necesita los comportamientos que usa tu agente y suficiente contexto para la respuesta y el tráfico de herramientas.

Fuentes y lecturas relacionadas