Skip to content

Los algoritmos no son muy buenos para identificar contenido para adultos

La pintura icónica de Georgia O'Keeffe "Líneas grises con negro, azul y amarillo."

No es difícil imaginar a un robot señalando la pintura icónica de la artista Georgia O’Keeffe “Líneas grises con negro, azul y amarillo” (en la foto aquí en Tate Modern) como contenido para adultos. Capturas de pantalla de Rob Stothard / Getty

La plataforma Tumblr ha decidido no permitir más contenido para adultos. La prohibición entrará en vigor el 17 de diciembre de 2018 y, para hacerla cumplir, Tumblr parece haber implementado un bot que es singularmente pobre en su trabajo, marcando contenido inocente como de naturaleza pornográfica y dejando a los usuarios y a los conocedores de la tecnología asombrados. por lo que hace. Parte de la respuesta es que la moderación de la IA es una tarea extremadamente difícil.

La mayoría de las complejidades involucradas en decidir qué contenido consideramos aceptable u objetable deben estar escritas en piedra, y nuestra experiencia en esta área no es tan buena. De hecho, es difícil identificar algo como pornográfico en primer lugar. El difunto juez de la Corte Suprema de los Estados Unidos, Potter Stewart, resumió el sentimiento en un fallo sobre un caso de obscenidad (Jacobellis v. Ohio) con la frase “Lo sé cuando lo veo”.

Publicidad

Este sentimiento resultó ser tan vago en la práctica como en el significado. Aquí hay un ejemplo: una imagen de un hombre erecto debe ser de naturaleza obscena, ¿verdad? Pero, ¿qué pasa si esta es una ilustración médica del priapismo, una condición generalmente dolorosa que causa una erección prolongada y aparece en un sitio web médico? Si la representación de una vulva es obscena, ¿significa eso que el trabajo de la artista Georgia O’Keeffe, cuyas pinturas florales a menudo se consideran metáforas visuales de la anatomía femenina, debería incluirse en artículos de historia del arte?

Las redes sociales y las plataformas de contenido se encuentran continuamente con estas situaciones. Por ejemplo, en un importante incidente de relaciones públicas en 2016, Facebook censuró la foto ganadora del Premio Pulitzer de una niña de 9 años desnuda que huía de un ataque con napalm durante la Guerra de Vietnam; la foto fue publicada por el periódico noruego más importante para un artículo relevante sobre la guerra. Por otro lado, los usuarios de Twitter no lograron convencer a esta plataforma de cerrar cuentas neonazis antes de finales de 2017. Con diferentes filosofías y reglas aparentemente arbitrarias y sin contexto que pueden confundir incluso a las personas. los algoritmos tienen dificultades para saber qué informar.

El sistema Tumblr parece estar buscando una cantidad de lo que considera piel expuesta en imágenes o formas que cree que son pezones o genitales. Desafortunadamente, muchos primeros planos benignos de partes no erógenas del cuerpo humano van más allá de la carne desnuda que muestra una imagen, como señaló Dan Fallon escribiendo para Digg. Algunos objetos, como los árboles, también pueden parecer fálicos. Y en un caso aparentemente inexplicable, escribió Fallon, incluso las fotos de la naturaleza muy inocentes de un fotógrafo de paisajes fueron marcadas como problemáticas. Sin embargo, esto no es infrecuente en este tipo de algoritmos. Otras iteraciones de robots censores informaron imágenes de dunas y playas porque el color de la arena era similar al color de la piel según sus conjuntos de datos de entrenamiento.

Este sesgo también tiene sentido cuando se considera la cantidad de tonos de piel que tienen los humanos. Los colores que van desde el beige claro hasta casi el negro ocurren de forma natural, y dependiendo de cómo se entrene una IA o se calibre un sensor, es posible que no note colores de piel aún más oscuros. Como resultado, es posible que un algoritmo entrenado para detectar y censurar imágenes pornográficas de artistas caucásicos no pueda reportar imágenes igualmente explícitas con modelos de piel oscura. Una de las soluciones fáciles para esto es compensar en exceso, marcar todo y justificar los falsos positivos como mejor que no capturar suficiente contenido para adultos, lo que Tumblr parece haber hecho apresuradamente para limpiar su contenido. Tumblr no respondió solicitudes de comentarios sobre si había una capa adicional a su moderación.

En última instancia, queda por ver si un algoritmo de censura demasiado entusiasta atraerá a usuarios que tampoco publican contenido para adultos desde la plataforma o si se reducirá. Pero la plétora de informes muy públicos y agresivos de Tumblr destaca algunas de las muchas dificultades para moderar los medios en línea. De modo que se seguirán cometiendo errores, y con frecuencia. Hasta que podamos descubrir cómo lidiar con estas preocupaciones, los humanos deberán supervisar todos los esfuerzos de moderación verdaderamente efectivos.

Publicidad