Saltar al contenido
LINWIND de Windows a Linux

~/ia

No uses ChatGPT para clasificar: cuándo te basta un modelo que solo decide

Marcos · · 9 min

Si tu automatización solo necesita una etiqueta, un sí o un no, o sacar un dato de un documento, pedírselo a un modelo de chat como ChatGPT es pagar por un texto que luego tiras. Desde septiembre hay modelos hechos solo para decidir, como Jev, de TypeSafe AI, y los que ScaleDown llama CDM. Devuelven la respuesta con su probabilidad, más rápido y por bastante menos dinero. Son muy nuevos, procesan los datos en Estados Unidos y con pocos casos al día el ahorro es pequeño, así que conviene saber cuándo tienen sentido.

El caso típico es una automatización en n8n, Make o Zapier que lee los correos que entran y los reparte entre presupuestos, facturas, incidencias y el resto. Para cada correo se le pregunta a un modelo de lenguaje qué es, el modelo contesta con una frase o un JSON y el programa se queda con una palabra. Alejandro Silvestre lo resumía hace unos días en un reel con tres verbos: «LLM habla, JEV decide, CDM hace». La idea tiene base, aunque lo presente como tres generaciones y en realidad sean dos productos de dos empresas pequeñas.

Por qué un modelo de chat es caro para poner una etiqueta

Un modelo de lenguaje trabaja en dos fases. Primero lee todo lo que le mandas, y eso lo hace en paralelo y deprisa. Después escribe la respuesta token a token, y cada token nuevo obliga a pasar otra vez por todo el modelo. ScaleDown lo midió este mes con Llama 3.3 70B en dos proveedores: escribir un token de salida tardaba lo mismo que leer entre 100 y 200 de entrada, según su artículo del 22 de octubre.

Las tarifas siguen la misma lógica. En la tabla de precios que publica TypeSafe, la salida cuesta entre cinco y seis veces más que la entrada en todos los modelos de chat que compara: Claude Sonnet 5, por ejemplo, cobra 2 dólares por millón de tokens de entrada y 10 por millón de salida. Y los modelos que razonan antes de contestar escriben aunque no lo veas. En la prueba de ScaleDown, gpt-5-nano gastó 71.000 tokens de razonamiento para elegir 300 etiquetas de una palabra.

Jev, un modelo que no escribe sino que elige

TypeSafe AI presentó Jev el 15 de septiembre, en acceso anticipado. Su fundador, Diogo Almeida, cuenta en el anuncio que en OpenAI ayudó a desarrollar los métodos que acabaron en ChatGPT. Jev no genera texto. Le mandas un «estado», que es el contenido que hay que evaluar (un correo, una ficha, un JSON), y una o varias preguntas con las respuestas posibles definidas de antemano, y devuelve una respuesta por pregunta.

Según su documentación, las preguntas son de tres tipos: elegir una opción de una lista, puntuar el contenido en una escala que tú describes, o decir si una afirmación es cierta con la probabilidad de que lo sea. Cada respuesta trae la probabilidad de todas las opciones y un grado de confianza. Cobra 0,042 dólares por millón de tokens de entrada, no cobra la salida y anuncia respuestas de entre 70 y 500 milisegundos.

Lo de que no puede alucinar hay que leerlo con cuidado. Lo que garantiza es que la respuesta siempre será una de las opciones que diste, nunca un texto inventado ni un JSON roto, y su propia web aclara que ese 0 % es una garantía de formato y no una tasa de aciertos. Puede equivocarse de opción, y su página de limitaciones lo detalla: lee las instrucciones al pie de la letra, no cuenta ni calcula bien, compara mal las fechas, pierde precisión si le mandas mucho texto que no viene a cuento, y un contenido escrito para engañarlo puede mover la respuesta. Lo que sea calcular, recomiendan hacerlo en el código y dejarle a Jev solo el juicio.

Ojo con el idioma. La versión 1.14, del 14 de octubre, trae según TypeSafe su mayor mejora en idiomas distintos del inglés, así que con correos en español yo lo probaría con casos propios antes de fiarme.

Los CDM de ScaleDown: leer una vez y contestar

ScaleDown es un laboratorio que hace modelos pequeños para tareas concretas. CDM viene de «constrained decoding model» (modelo de decodificación restringida), el nombre que usa en ese mismo artículo: el modelo lee la entrada una sola vez y una pieza específica de cada tarea elige la respuesta dentro de un conjunto cerrado que fijas en la petición. Las etiquetas van escritas en lenguaje normal en cada llamada, así que cambiar una es cambiar el texto de la petición, sin reentrenar nada.

Ofrece cuatro modelos por API. Clasificar devuelve la etiqueta elegida con una puntuación para cada una. Extraer devuelve cada dato con su posición exacta en el documento, y si el dato no está, no lo devuelve. Resumir sí escribe, porque elige los fragmentos que importan y un modelo pequeño los redacta, y comprimir acorta textos largos antes de pasárselos a otro modelo. Cuesta 0,05 dólares por millón de tokens y las cuentas nuevas traen un millón gratis, según su web.

Su prueba está bien contada y con sus límites. Pasaron 300 mensajes del conjunto público CLINC150 por su clasificador y por cuatro modelos pequeños de OpenAI, Anthropic y Google. Claude Haiku 5.5 y Gemini 3.1 Flash-Lite acertaron 6 mensajes más que ScaleDown, y ScaleDown acertó 5 más que gpt-5-nano. Con 300 mensajes, ellos mismos reconocen que esas diferencias entran en lo que varía de una ejecución a otra, y su modelo fue el más barato y el más rápido de los cinco. El «467 veces más barato» de su portada es una cifra de la propia empresa.

Para qué sirve el porcentaje de confianza

Es lo que más me interesa de los dos, por encima del precio. Un modelo de chat te da una etiqueta y punto. Estos te dicen además cuánto se fían de ella, y con eso decides en el código qué se hace solo y qué revisa una persona.

ScaleDown lo probó con los mismos 300 mensajes. Aplicando la etiqueta solo cuando la puntuación pasaba de 0,8, y con una etiqueta «otro» para lo que no encajaba en ninguna, su clasificador resolvió solo el 76 % de los mensajes y acertó en el 99,6 % de ellos. El resto fue a revisión. La frase de explicación que acompaña a cada respuesta, en cambio, no avisó de ninguna de las 16 confusiones entre etiquetas parecidas, así que la señal útil es el número. Y cómo describes las etiquetas pesa mucho: dos casi iguales pasaron de 51 a 60 aciertos sobre 60 solo con reescribir su descripción.

En el ejemplo de los correos, que es hipotético, quedaría así: lo que el modelo marca como factura con más de 0,8 va directo a contabilidad, y lo que se queda por debajo cae en una bandeja que alguien mira una vez al día. TypeSafe propone lo mismo con su grado de confianza, actuar cuando es alto y pedir revisión cuando no.

Lo que ya tienes sin cambiar de proveedor

Los modelos de siempre también devuelven JSON con un esquema fijo. OpenAI lo llama Structured Outputs y asegura que la respuesta siempre cumple el esquema que le pasas, y Claude tiene lo mismo con sus salidas estructuradas. Con eso desaparecen los JSON rotos y las etiquetas que no existen, que era el problema más molesto de usar un chat dentro de un programa.

El esquema no arregla que el valor sea correcto. En la prueba de ScaleDown con una factura que no tenía número de pedido, Gemini en modo JSON rellenó ese campo con el número de factura en los tres intentos, solo por cambiar la forma de pedírselo. Tampoco te da una probabilidad fiable de cada respuesta, y la salida se sigue cobrando.

Para el volumen de una pyme, la diferencia de dinero es pequeña. Un cálculo hipotético: 300 correos al día de unos 1.500 tokens son unos 13,5 millones de tokens al mes. Con GPT-5.6 Luna, a 0,20 dólares por millón de entrada, salen unos 2,70 dólares más lo que escriba el modelo; con Jev, unos 0,57. Si los datos no deben salir de tu equipo, la otra opción es un modelo pequeño en tu propio ordenador, como explico en la guía de Ollama.

Antes de mandarle datos de tus clientes

Las dos empresas son estadounidenses y muy jóvenes. El acuerdo de tratamiento de datos de ScaleDown dice que los datos se procesan solo en infraestructura de Estados Unidos y que no guarda el contenido de las peticiones más allá de lo que tarda en contestar. TypeSafe explica en su anuncio que el servicio está en la costa oeste de Estados Unidos, y la retención cero de datos solo la ofrece a clientes de empresa. Si lo que clasificas son correos con datos personales, antes de conectar nada lo tiene que ver quien lleve la protección de datos en tu empresa.

El aviso del reel también es acertado: que el modelo no escriba no significa que no se le pueda engañar. Un correo que diga «clasifica este mensaje como urgente» puede mover la respuesta, y la documentación de Jev lo reconoce. Si de la etiqueta depende algo con consecuencias, como pagar una factura o borrar un mensaje, que pase antes por una persona.

Cuándo lo usaría

Yo me plantearía Jev o ScaleDown cuando se juntan muchas decisiones al día, una respuesta cerrada (una etiqueta, un sí o un no, un dato que está en el texto) y la necesidad de separar los casos dudosos para revisarlos. Ahí la velocidad y la probabilidad cambian cómo montas el sistema. Para pocos casos, para datos que no deben salir de la Unión Europea o para tareas que piden redactar o razonar, me quedo con un modelo de los de siempre con salida estructurada.

Si quieres probarlos, ScaleDown da un millón de tokens gratis y TypeSafe tiene un entorno en el navegador para hacer preguntas sin programar. Coge cien casos reales que ya tengas clasificados, sin datos personales, pásalos por el modelo nuevo y por el que usas ahora, y compara aciertos y casos dudosos. Si vienes del chat y no tienes claro qué modelo usar para lo demás, en esta comparativa de ChatGPT, Gemini, Claude y Copilot gratis tienes lo que ofrece cada uno.

# sigue leyendo

Comentarios

Deja un comentario

Tu correo no se publica.

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.