Noticias

Jun 17, 2023

La aplicación de fotos de Google aún no puede encontrar gorilas. Y tampoco los de Apple.

Anuncio apoyado por Ocho años después de una polémica sobre los negros

Anuncio

Apoyado por

Ocho años después de una controversia sobre los negros que fueron etiquetados erróneamente como gorilas por un software de análisis de imágenes, y a pesar de los grandes avances en la visión por computadora, los gigantes tecnológicos aún temen repetir el error.

Por Nico Grant y Kashmir Hill

Cuando Google lanzó su aplicación Fotos independiente en mayo de 2015, la gente quedó asombrada por lo que podía hacer: analizar imágenes para etiquetar a las personas, los lugares y las cosas en ellas, una asombrosa oferta para el consumidor en ese momento. Pero un par de meses después del lanzamiento, un desarrollador de software, Jacky Alciné, descubrió que Google había etiquetado fotos de él y un amigo, ambos negros, como "gorilas", un término que es particularmente ofensivo porque hace eco de siglos de racismo. tropos.

En la controversia que siguió, Google impidió que su software categorizara cualquier cosa en Fotos como gorilas y se comprometió a solucionar el problema. Ocho años después, con avances significativos en inteligencia artificial, probamos si Google había resuelto el problema y analizamos herramientas comparables de sus competidores: Apple, Amazon y Microsoft.

Las aplicaciones de fotos creadas por Apple, Google, Amazon y Microsoft se basan en la inteligencia artificial para permitirnos buscar elementos particulares y señalar recuerdos específicos en nuestras colecciones de fotos cada vez más grandes. ¿Quieres encontrar tu día en el zoológico entre 8,000 imágenes? Pregúntale a la aplicación. Entonces, para probar la función de búsqueda, seleccionamos44 imágenescon personas, animales y objetos cotidianos.

Empezamos con Google Fotos. Cuando buscamos en nuestra coleccióngatosycanguros, obtuvimos imágenes que coincidían con nuestras consultas. La aplicación funcionó bien en el reconocimiento de la mayoría de los otros animales.

Pero cuando buscamosgorilas, Google Fotos no pudo encontrar ninguna imagen. Ampliamos nuestra búsqueda ababuinos, chimpancés, orangutanesymonos,y aun así falló a pesar de que había imágenes de todos estos primates en nuestra colección.

Luego analizamos a los competidores de Google. Descubrimos que Apple Photos tenía el mismo problema: podía encontrar con precisión fotos de animales en particular, a excepción de la mayoría de los primates. Obtuvimos resultados paragorila,pero solo cuando el texto aparecía en una foto, como una imagen de Gorilla Tape.

La búsqueda de fotos en Microsoft OneDrive quedó en blanco para cada animal que probamos. Amazon Photos mostró resultados para todas las búsquedas, pero fue demasiado inclusivo. cuando buscamosgorilas,la aplicación mostró una colección de primates y repitió ese patrón para otros animales.

indefinido

Hubo un miembro de la familia de los primates que Google y Apple pudieron reconocer: los lémures, los animales de cola larga que se ven permanentemente asustados y que comparten pulgares opuestos con los humanos, pero tienen una relación más lejana que los simios.

Las herramientas de Google y Apple fueron claramente las más sofisticadas en lo que respecta al análisis de imágenes.

Sin embargo, Google, cuyo software Android es la base de la mayoría de los teléfonos inteligentes del mundo, tomó la decisión de desactivar la capacidad de buscar primates visualmente por temor a cometer un error ofensivo y etiquetar a una persona como un animal. Y Apple, con una tecnología que funcionó de manera similar a la de Google en nuestra prueba, pareció deshabilitar también la capacidad de buscar monos y simios.

Es posible que los consumidores no necesiten realizar esa búsqueda con frecuencia, aunque en 2019, un usuario de iPhone se quejó en el foro de atención al cliente de Apple de que el software "no puede encontrar monos en las fotos de mi dispositivo". Pero el problema plantea preguntas más importantes sobre otras fallas no reparadas o no reparables que acechan en los servicios que se basan en la visión por computadora, una tecnología que interpreta imágenes visuales, así como en otros productos impulsados ​​​​por IA.

El Sr. Alciné se sintió consternado al saber que Google aún no ha resuelto completamente el problema y dijo que la sociedad confía demasiado en la tecnología.

"Voy a no tener fe en esta IA para siempre", dijo.

Los productos de visión por computadora ahora se utilizan para tareas tan mundanas como enviar una alerta cuando hay un paquete en la puerta, y tan pesadas como conducir automóviles y encontrar a los perpetradores en las investigaciones policiales.

Los errores pueden reflejar actitudes racistas entre quienes codifican los datos. En el incidente del gorila, dos ex empleados de Google que trabajaron en esta tecnología dijeron que el problema era que la empresa no había puesto suficientes fotos de personas negras en la colección de imágenes que utilizó para entrenar su sistema de IA. Como resultado, la tecnología no estaba lo suficientemente familiarizada con las personas de piel más oscura y las confundió con gorilas.

A medida que la inteligencia artificial se integra más en nuestras vidas, suscita temores de consecuencias no deseadas. Aunque los productos de visión por computadora y los chatbots de IA como ChatGPT son diferentes, ambos dependen de una gran cantidad de datos subyacentes que entrenan el software, y ambos pueden fallar debido a fallas en los datos o sesgos incorporados en su código.

Microsoft limitó recientemente la capacidad de los usuarios para interactuar con un chatbot integrado en su motor de búsqueda, Bing, después de que instigó conversaciones inapropiadas.

La decisión de Microsoft, al igual que la elección de Google de evitar que su algoritmo identifique gorilas por completo, ilustra un enfoque común de la industria: bloquear las características tecnológicas que funcionan mal en lugar de repararlas.

"Resolver estos problemas es importante", dijo Vicente Ordóñez, profesor de la Universidad Rice que estudia visión por computadora. "¿Cómo podemos confiar en este software para otros escenarios?"

Michael Marconi, un portavoz de Google, dijo que Google había impedido que su aplicación de fotos etiquetara cualquier cosa como mono o simio porque decidió que el beneficio "no supera el riesgo de daño".

Apple se negó a comentar sobre la incapacidad de los usuarios para buscar la mayoría de los primates en su aplicación.

Representantes de Amazon y Microsoft dijeron que las empresas siempre buscaban mejorar sus productos.

Cuando Google estaba desarrollando su aplicación de fotos, que se lanzó hace ocho años, recopiló una gran cantidad de imágenes para entrenar el sistema de IA para identificar personas, animales y objetos.

Su importante descuido, que no había suficientes fotos de personas negras en sus datos de capacitación, provocó que la aplicación fallara más tarde, dijeron dos ex empleados de Google. La compañía no pudo descubrir el problema del "gorila" en ese entonces porque no había pedido a suficientes empleados que probaran la función antes de su debut público, dijeron los exempleados.

Google se disculpó profusamente por el incidente de los gorilas, pero fue uno de varios episodios en la industria tecnológica en general que han dado lugar a acusaciones de parcialidad.

Otros productos que han sido criticados incluyen las cámaras web de seguimiento facial de HP, que no pudieron detectar a algunas personas con piel oscura, y el Apple Watch, que, según una demanda, no pudo leer con precisión los niveles de oxígeno en sangre en todos los colores de piel. Los lapsos sugirieron que los productos tecnológicos no estaban diseñados para personas con piel más oscura. (Apple señaló un artículo de 2022 que detallaba sus esfuerzos para probar su aplicación de oxígeno en sangre en una "amplia gama de tipos y tonos de piel").

Años después del error de Google Photos, la empresa encontró un problema similar con su cámara de seguridad doméstica Nest durante las pruebas internas, según una persona familiarizada con el incidente que trabajaba en Google en ese momento. La cámara Nest, que usó IA para determinar si alguien en una propiedad era familiar o desconocido, confundió a algunas personas negras con animales. Google se apresuró a solucionar el problema antes de que los usuarios tuvieran acceso al producto, dijo la persona.

Sin embargo, los clientes de Nest continúan quejándose en los foros de la empresa sobre otras fallas. En 2021, un cliente recibió alertas de que su madre estaba tocando el timbre, pero encontró a su suegra al otro lado de la puerta. Cuando los usuarios se quejaron de que el sistema estaba mezclando rostros que habían marcado como "familiares", un representante de atención al cliente en el foro les aconsejó que eliminaran todas sus etiquetas y comenzaran de nuevo.

El Sr. Marconi, el vocero de Google, dijo que "nuestro objetivo es evitar que este tipo de errores sucedan". Agregó que la compañía había mejorado su tecnología "asociándose con expertos y diversificando nuestros conjuntos de datos de imágenes".

En 2019, Google intentó mejorar una función de reconocimiento facial para teléfonos inteligentes Android al aumentar la cantidad de personas con piel oscura en su conjunto de datos. Pero los contratistas que Google había contratado para recolectar escaneos faciales supuestamente recurrieron a una táctica preocupante para compensar la escasez de datos diversos: se dirigieron a personas sin hogar y estudiantes. Los ejecutivos de Google calificaron el incidente como "muy perturbador" en ese momento.

Si bien Google trabajó detrás de escena para mejorar la tecnología, nunca permitió que los usuarios juzgaran esos esfuerzos.

Margaret Mitchell, investigadora y cofundadora del grupo de inteligencia artificial ética de Google, se unió a la empresa después del incidente del gorila y colaboró ​​con el equipo de Fotos. Ella dijo en una entrevista reciente que era partidaria de la decisión de Google de eliminar "la etiqueta de gorilas, al menos por un tiempo".

"Hay que pensar en la frecuencia con la que alguien necesita etiquetar a un gorila en lugar de perpetuar estereotipos dañinos", dijo el Dr. Mitchell. "Los beneficios no superan los daños potenciales de hacerlo mal".

El Dr. Ordóñez, el profesor, especuló que Google y Apple ahora podrían ser capaces de distinguir a los primates de los humanos, pero que no querían habilitar la función dado el posible riesgo para la reputación si fallaba nuevamente.

Desde entonces, Google lanzó un producto de análisis de imágenes más poderoso, Google Lens, una herramienta para buscar en la web con fotos en lugar de texto. Wired descubrió en 2018 que la herramienta tampoco podía identificar a un gorila.

Cuando le mostramos a Lens una foto de un perro, pudo sugerir su raza probable.

Pero cuando le mostramos un gorila, un chimpancé, un babuino y un orangután, Lens se quedó perplejo, se negó a etiquetar lo que había en la imagen y mostró solo "coincidencias visuales", fotos que consideró similares a la imagen original.

Para los gorilas, mostró fotos de otros gorilas, lo que sugiere que la tecnología reconoce al animal pero que el

la empresa tiene miedo de etiquetarlo.

Cuando le mostramos a Lens una foto de un perro, pudo sugerir su raza probable.

Pero cuando le mostramos un gorila, un chimpancé, un babuino y un orangután, Lens se quedó perplejo, se negó a etiquetar lo que había en la imagen y mostró solo "coincidencias visuales", fotos que consideró similares a la imagen original.

Para los gorilas, mostró fotos de otros gorilas, lo que sugiere que la tecnología reconoce al animal pero que la empresa tiene miedo de etiquetarlo.

indefinido

Estos sistemas nunca son infalibles, dijo el Dr. Mitchell, quien ya no trabaja en Google. Debido a que miles de millones de personas usan los servicios de Google, aparecerán incluso fallas poco comunes que le suceden a una sola persona entre mil millones de usuarios.

"Solo se necesita un error para tener ramificaciones sociales masivas", dijo, refiriéndose a él como "la aguja envenenada en un pajar".

Nico Grant es un reportero de tecnología que cubre Google desde San Francisco. Anteriormente, pasó cinco años en Bloomberg News, donde se centró en Google y la computación en la nube. @nicoagrant

Kashmir Hill es un reportero de tecnología con sede en Nueva York. Ella escribe sobre las formas inesperadas y, a veces, ominosas en que la tecnología está cambiando nuestras vidas, particularmente cuando se trata de nuestra privacidad. @kashhill

Anuncio