Small Language Models: cuándo un modelo pequeño puede ahorrar dinero

Utilizar el modelo más potente para cada tarea puede ser innecesario y costoso. Clasificar, extraer campos o enrutar solicitudes suelen requerir menos capacidad que analizar una negociación compleja.

Divide por complejidad

Tarea	Modelo posible
Clasificar intención	Pequeño
Extraer campos	Pequeño
Resumen simple	Pequeño o medio
Análisis complejo	Mayor capacidad
Decisión ambigua	Mayor capacidad

Usa un router

Un modelo económico puede identificar el tipo de solicitud y decidir si puede resolverla o debe enviarla a un modelo de mayor capacidad. Esto reduce consumo sin degradar las tareas que realmente necesitan razonamiento.

Prueba con datos reales

No elijas por benchmarks generales. Crea un conjunto de casos reales y compara precisión, latencia y costo. Si un modelo pequeño cumple el nivel mínimo de calidad, puede ser mejor opción para volumen alto.

La pregunta no es cuál es el mejor modelo del mercado, sino cuál es el modelo suficiente para esta tarea.

Qué medir

• Costo por mil tareas.
• Latencia.
• Precisión.
• Porcentaje de casos escalados a un modelo mayor.
• Errores críticos.

Preguntas frecuentes

¿Un modelo pequeño siempre es más barato?

Generalmente usa menos recursos, pero el costo real depende del proveedor, volumen y arquitectura.

¿Puedo usar varios modelos en un mismo sistema?

Sí. Es una estrategia común para equilibrar costo y capacidad.

¿Cómo sé si la calidad es suficiente?

Evaluando con casos reales y criterios de aceptación definidos para la tarea.

Fuentes

• OpenAI model selection — OpenAI · enlace