La IA está avanzando. ¿Qué nos dicen las cifras?

Más que una cifra mayor

Un modelo de IA es el sistema entrenado que funciona detrás de una herramienta de IA. Durante el entrenamiento, se ajustan valores numéricos llamados parámetros mientras el modelo aprende patrones a partir de ejemplos. Imagínalos como ajustes internos del modelo, en lugar de datos que puedes consultar uno por uno.

Los investigadores trabajan en métodos de entrenamiento, diseño de modelos y formas de ejecutarlos con más eficiencia. Aumentar la cantidad de parámetros es una opción, pero no lo explica todo. La cantidad de parámetros por sí sola no indica si una herramienta redactará un mensaje más claro, resolverá tu problema o dará una respuesta correcta.

Para reconocer un avance útil, pregunta: ¿la nueva versión realiza una tarea con más fiabilidad, sigue mejor tus instrucciones o da un resultado útil con menos tiempo y esfuerzo? Busca pruebas sobre esa tarea, no solo una cifra grande en un titular.

Piensa en el consumo de combustible de un automóvil

Un automóvil puede anunciar una cantidad impresionante de millas por galón. Aun así, conviene saber cómo se midió. Un resultado obtenido en condiciones especialmente favorables quizá no refleje tus recorridos con tráfico, pendientes o frío.

Las estimaciones oficiales de consumo de la EPA usan pruebas estandarizadas que intentan representar condiciones habituales de conducción. Incluso esas estimaciones sirven para comparar; no prometen el rendimiento que obtendrá cada conductor.

Las puntuaciones de las pruebas de IA merecen la misma atención. Una prueba de referencia, o benchmark, es un conjunto de tareas que mide el rendimiento. Una puntuación mayor puede mostrar progreso en esa prueba. No garantiza el mismo éxito en todas las tareas cotidianas.

¿Cuáles fueron las condiciones de la prueba?

Antes de confiar en una puntuación anunciada, busca algunos detalles:

• La tarea: ¿respondía preguntas de opción múltiple, escribía código o hacía otra cosa?
• La configuración: ¿qué instrucciones recibió el modelo? ¿Podía usar herramientas adicionales o intentarlo varias veces?
• La comparación: ¿se evaluaron ambos modelos con las mismas reglas? ¿Qué versiones se usaron?
• La fuente: ¿quién hizo la prueba? ¿Puedes consultar sus métodos y limitaciones?

A diferencia de las estimaciones de consumo de la EPA, las pruebas de IA no siguen todas un mismo procedimiento. Incluso las pruebas con el mismo nombre pueden realizarse de formas distintas. Por eso importan los detalles al comparar puntuaciones.

No necesitas convertirte en especialista en pruebas. Si faltan las condiciones, considera que la cifra es información incompleta.

Prueba una tarea pequeña que puedas comprobar

Este es un ejemplo inventado. Úsalo para explorar si una herramienta de IA sigue las instrucciones:

Revisa el día, la hora, el lugar y lo que se pide. ¿La IA inventó algo? ¿Usó menos de 60 palabras? ¿Tendrías que hacer muchos cambios antes de usarlo?

Si comparas dos herramientas o versiones, hazles la misma solicitud. No incluyas datos privados. Una buena respuesta es un ejemplo útil, pero no demuestra que una herramienta siempre acertará.