En los últimos años se está poniendo el foco en el tipo de contenido dañino que los algoritmos enseñan generalmente a las chicas adolescentes y que entre otras cosas está agravando muchos problemas de salud mental entre ellas. Sin embargo, está pasando desapercibido que los algoritmos de Tiktok muestran a los chicos contenido violento y misógino.
Andrew Kaung, extrabajador de Meta y posteriormente de TikTok como analista de seguridad del usuario de diciembre de 2020 a junio de 2022, explicó en una entrevista a la BBC en septiembre de 2024, que mientras trabajaba tanto en Meta como en TikTok comprobó que los algoritmos, en su objetivo de mantener la atención de los usuarios la mayor cantidad de tiempo posible, estaban mostrando contenido violento, pornografía y discursos misóginos a los chicos adolescentes.
Las redes sociales utilizan herramientas de Inteligencia Artificial para eliminar la gran mayoría de contenido dañino y marcar otros contenidos para que los revisen moderadores humanos, independientemente de la cantidad de vistas que hayan tenido. Pero las herramientas de IA no pueden identificar todo. Andrew Kaung dice que durante el tiempo que trabajó en TikTok, todos los videos que no fueron eliminados o marcados a moderadores humanos por IA, o reportados por otros usuarios a moderadores, solo se revisaban nuevamente de forma manual si alcanzaban las 10.000 vistas o más.
Andrew Kaung dice que, cuando trabajó en Meta entre 2019 y diciembre de 2020, el problema era diferente. Si bien la mayoría de los videos fueron eliminados o marcados para los moderadores por herramientas de inteligencia artificial, el sitio dependía de que los usuarios denunciaran otros videos una vez que ya los habían visto. Planteó sus inquietudes mientras estaba en ambas empresas, pero se encontró principalmente con una gran inacción debido a los temores sobre la cantidad de trabajo involucrado o el coste que supondría hacerlo. Aunque posteriormente se hicieron algunas mejoras en TikTok y Meta, Andrew dice que siempre van a haber menores en riesgo.
Varios ex empleados de las empresas de redes sociales le han dicho a la BBC que las preocupaciones de Andrew Kaung eran consistentes con su propio conocimiento y experiencia.
Los algoritmos de todas las principales empresas de redes sociales han estado recomendando contenido dañino a los niños, incluso si no lo hicieron intencionalmente, según el regulador británico Ofcom en unas declaraciones a la BBC.
El combustible de los algoritmos es la interacción, independientemente de si esta es positiva o negativa. Buscan retener a los usuariosla mayor cantidad de tiempo posible y que los usuarios interactúen lo máximo posible.
Cuando alguien se crea una cuenta en una red social, el primer paso para los usuarios es especificar algunos gustos e intereses. Andrew dice que parte del contenido que inicialmente ofrecen los algoritmos, por ejemplo a un joven de 16 años, se basa en las preferencias que da y en las preferencias de otros usuarios de una edad similar en una ubicación similar.
Según TikTok, los algoritmos no se basan en el género de un usuario, pero Andrew dice que los intereses que expresan los adolescentes cuando se registran a menudo tienen el efecto de dividirlos en líneas de género. Según el ex empleado de TikTok, algunos chicos de 16 años podrían estar expuestos a contenido violento "de inmediato", porque otros usuarios adolescentes con preferencias similares han expresado interés en este tipo de contenido, incluso si solamente pasar más tiempo en un video que capta su atención tiene ese significado para el algoritmo.
Según él, los intereses que indicaban muchas adolescentes en los perfiles que examinó (cantantes pop, canciones, maquillaje) significaban que no se les recomendaba este contenido violento. Los algoritmos utilizan el "aprendizaje de refuerzo", un método en el que los sistemas de IA aprenden por ensayo y error, y se entrenan para detectar comportamientos ante distintos vídeos.
Andrew Kaung afirma que están diseñados para maximizar la participación mostrándole vídeos que esperan que pase más tiempo mirando, comentando o marcando como Me gusta, todo ello para que vuelvan a por más. El algoritmo que recomienda contenido a la página "Para ti" de TikTok, no siempre diferencia entre contenido dañino y no dañino. Uno de los problemas que identificó cuando trabajaba en TikTok era que los equipos implicados en el entrenamiento y la codificación de ese algoritmo no siempre conocían la naturaleza exacta de los vídeos que recomendaba. "Ven la cantidad de espectadores, la edad, la tendencia, ese tipo de datos muy abstractos. No están necesariamente expuestos al contenido”.
Por eso, en 2022, él y un amigo decidieron echar un vistazo a qué tipo de vídeos se recomendaban a una variedad de usuarios, incluidos algunos jóvenes de 16 años. Les preocupaba que se mostrara contenido violento y dañino a algunos adolescentes, y propusieron a TikTok que actualizara su sistema de moderación. Querían que TikTok etiquetara claramente los vídeos para que todos los que trabajaban allí pudieran ver por qué eran dañinos (violencia extrema, abuso, pornografía, etc.) y que contrataran a más moderadores especializados en esas áreas. Sus sugerencias fueron rechazadas en ese momento.
TikTok dijo que tenía moderadores especializados en ese momento y que a medida que la plataforma ha crecido, ha seguido contratando más. También dijo que separó diferentes tipos de contenido dañino en lo que llama colas para los moderadores.
Podéis ver al entrevista entera aquí: https://www.bbc.com/news/articles/c4gdqzxypdzo
Kommentare