Noticias

Jul 24, 2023

Ponte a prueba con 10 IA

El concurso de noticias es una tradición en TIME que se remonta a 1935. Las iteraciones del

El cuestionario de noticias es una tradición en TIME que se remonta a 1935. Se usaron iteraciones del examen en escuelas de todo el país para examinar el conocimiento de actualidad, e incluso llegó en una versión de crucigrama.

Ahora, la reciente eliminación del muro de pago digital de TIME ha abierto un siglo de periodismo para todos, listo para poner a prueba su conocimiento sobre las personas que dieron forma a la historia. Dado que el archivo de TIME contiene 200 millones de palabras, es una tarea muy adecuada para la nueva generación de tecnología de inteligencia artificial, que puede analizar grandes cantidades de texto generado por humanos en segundos.

Entonces, ¿qué sucede cuando conviertes el poder de la IA de vanguardia en la tarea de generar cuestionarios de noticias basados ​​en artículos de revistas?

A continuación, encontrará 10 cuestionarios que entrenamos para que produzca la tecnología detrás de ChatGPT, basados ​​en 10 historias cuidadosamente seleccionadas de los archivos de TIME, que ahora están disponibles para todos de forma gratuita. Simplemente haga clic en el título del artículo, junto a la fecha de publicación original, para pasar a la historia en la que se basa cada cuestionario. Debajo del interactivo, discutimos cómo negociamos con la inteligencia artificial para enseñarle a hacer lo que le pedimos.

Teniendo en cuenta algunos de los resultados realmente asombrosos que ChatGPT puede producir (una trama para una novela de ciencia ficción, por ejemplo, o textos bíblicos simulados), producir un cuestionario puede parecer una tarea trivial (por así decirlo). Y a primera vista, lo es. Cuando le pedimos a ChatGPT que simplemente "haga un cuestionario basado en este artículo" y le proporcionamos un enlace a la historia de portada de TIME de 2014 sobre Taylor Swift, rápidamente lanzó un cuestionario de 10 preguntas con cuatro opciones para cada respuesta.

Algunas de las preguntas estaban en lo correcto. (P: ¿A los fanáticos de Taylor Swift se les conoce como qué? R: Swifties). Pero muchos se refirieron a álbumes y eventos que ocurrieron mucho después de la publicación de la historia, y uno simplemente estaba equivocado. ("¿Qué evento la llevó a respaldar públicamente a un candidato político por primera vez?" ChatGPT afirmó que fueron las elecciones de 2020, pero se retractó y se disculpó cuando le recordamos que apoyó a dos demócratas de Tennessee en 2018).

En muchos casos, ChatGPT y sus diversos rivales pueden parecer indistinguibles de la magia. Por lo tanto, es instructivo encontrar asignaciones en las que los bots no sean inmediatamente capaces de casi la perfección. Cada falla es una pista de lo que sucede debajo del capó.

Entonces, analicemos lo que se incluye en un cuestionario de preguntas de opción múltiple y lo que requiere que haga una máquina:

Para un ser humano, en particular uno que ha visto algunos cuestionarios de noticias y está familiarizado con el ejercicio, esta es probablemente más instrucción de la necesaria. Pero hasta hace poco, no habría sido suficiente para una máquina. Hace un año, este ejercicio habría implicado escribir una gran cantidad de código, elegir entre diferentes algoritmos y modelos de lenguaje pre-entrenados, y ajustar constantemente los "hiperparámetros" o condiciones de inicio definidas por humanos para el proceso de entrenamiento.

En este nuevo mundo, la tarea está en algún punto intermedio. En lugar de escribir instrucciones en Python, donde una sola pulsación de tecla fuera de lugar puede descarrilar toda la operación, entrega las instrucciones a la máquina en un lenguaje sencillo, de la manera más precisa y literal posible.

Esto se conoce como mensaje de "cadena de pensamientos", que puede enviar directamente a la API de OpenAI, evitando la conversación con un chatbot e interactuando directamente con el cerebro de ChatGPT. Todavía usa un lenguaje como Python para hacer la introducción, pero es el bot el que hace todo el trabajo duro.

Enviamos una versión de las instrucciones anteriores a la API y configuramos la "temperatura", ya sea que aleatorice los resultados, en cero, lo que significa que el modelo respondería de la misma manera cada vez que le enviáramos comandos idénticos. Cuando le dimos la misma historia de Taylor Swift y obtuvimos otro conjunto de 10 preguntas de opción múltiple. Aquí hay uno:

¿Quién fue nombrada mujer del año 2014 por Billboard?

una: rihanna

b:Taylor Swift

C: Lady Gaga

d: Beyoncé

¿Alguna suposición? Pista: la respuesta a cinco de las otras nueve preguntas también fue "Taylor Swift".

Nuestra primera elaboración fue pedirle al modelo que escondiera mejor la pelota y mantuviera las respuestas limitadas al texto del artículo, en lugar de recurrir a lo que sabe de la enorme cantidad de texto que ha analizado en el pasado. Como máximo, puede manejar unas 2000 palabras a la vez, por lo que en la mayoría de los casos tuvimos que dividir las historias en fragmentos de párrafos completos.

Las instrucciones que establecimos se parecían a esto, parafraseado:

En las pruebas iniciales, encontramos que el resultado a menudo incluía frases como "según el texto", como si interrogara al usuario sobre si realmente había leído el artículo. Tenía problemas para recordar que se suponía que debía escribir preguntas de estilo trivial, no pruebas de comprensión de lectura. Para una prueba basada en un obituario de Muhammad Ali de 2016, a veces se refería al boxeador en las preguntas como "Cassius Clay", y también preguntaba a los usuarios sobre el nombre original de Ali.

A pesar de lo inescrutable que la inteligencia artificial puede parecer a menudo, la belleza de las indicaciones de la cadena de pensamientos es que podemos preguntarle al modelo qué estaba "pensando" en cada paso del proceso y ajustar el lenguaje para obtener los mejores resultados. ¿Debe la máquina recuperar todos los hechos? ¿Solo tres hechos? ¿Cinco? ¿Cómo podemos pedirle que deje de usar la frase "según el texto"?

Todos estos dilemas eran subproductos naturales del hecho de que, si bien las instrucciones en lenguaje sencillo son más fáciles de construir que las escritas en código, a veces son mucho más difíciles de depurar. En un momento, incluso volvimos a introducir las instrucciones en el modelo para preguntarle qué pensaba sobre cómo estaban redactadas y cómo podíamos escribirlo de manera diferente para obtener resultados más consistentes. Sus pensamientos fueron útiles.

Los resultados requirieron una ronda de ajustes por parte de los editores de TIME, principalmente para eliminar las opciones que eran difíciles de analizar o demasiado oscuras años después. Cada pregunta que se eliminó se convierte en una que podemos pedirle al modelo que evite en futuros intentos.

Así es como se verá gran parte de la programación informática moderna en los próximos años: humanos y máquinas colaborando en el lenguaje de los primeros y la lógica de los segundos para completar tareas y resolver problemas. Aquellos que anuncian el fin de la programación de computadoras pueden tener razón en que los futuros desarrolladores confiarán menos en los lenguajes informáticos formales para escribir software. Pero si este ejercicio sirve de guía, todavía tendrán que pensar como programadores.

Escribir aChris Wilson en [email protected].