Meta está ayudando activamente a que el contenido de autolesión florezca en Instagram al no eliminar imágenes explícitas y alentar a quienes interactúan con dicho contenido a hacerse amigos entre sí, según un nuevo estudio condenatorio que encontró que su moderación es “extremadamente inadecuada”.
Investigadores daneses crearon una red privada de autolesiones en la plataforma de redes sociales, que incluía perfiles falsos de personas de tan solo 13 años, en la que compartían 85 piezas de contenido relacionado con autolesiones que aumentaban gradualmente en gravedad, incluyendo sangre y hojas de afeitar. y fomento de la autolesión.
El objetivo del estudio era probar la afirmación de Meta de que había mejorado significativamente sus procesos para eliminar contenido dañino, que, según afirma, ahora utiliza inteligencia artificial (IA). La empresa de tecnología afirma que elimina alrededor del 99% del contenido dañino antes de que se informe.
Pero Digitalt Ansvar (Digital Accountability), una organización que promueve el desarrollo digital responsable, descubrió que durante el experimento que duró un mes no se eliminó ni una sola imagen.
Cuando creó su propia herramienta de inteligencia artificial sencilla para analizar el contenido, pudo identificar automáticamente el 38% de las imágenes de autolesiones y el 88% de las más graves. Esto, dijo la compañía, demuestra que Instagram tiene acceso a tecnología capaz de abordar el problema, pero «ha decidido no implementarla de manera efectiva».
La moderación inadecuada de la plataforma, según Digitalt Ansvar, sugiere que no cumple con la legislación de la UE.
La Ley de Servicios Digitales exige que los grandes servicios digitales identifiquen riesgos sistémicos, incluidas las consecuencias negativas previsibles para el bienestar físico y mental.
Un portavoz de Meta dijo: “El contenido que fomenta la autolesión va en contra de nuestras políticas y eliminamos este contenido cuando lo detectamos. En la primera mitad de 2024, eliminamos más de 12 millones de artículos relacionados con el suicidio y las autolesiones en Instagram, el 99 % de los cuales eliminamos de forma proactiva.
«A principios de este año, lanzamos cuentas para adolescentes de Instagram, que colocarán a los adolescentes en la configuración más estricta de nuestro control de contenido sensible, por lo que es incluso menos probable que se les recomiende contenido sensible y, en muchos casos, ocultamos este contenido por completo».
Sin embargo, el estudio danés encontró que, en lugar de intentar cerrar la red de autolesiones, el algoritmo de Instagram estaba ayudando activamente a expandirla. La investigación sugirió que los niños de 13 años se hacen amigos de todos los miembros del grupo de autolesión después de conectarse con uno de sus miembros.
Esto, según el estudio, «sugiere que el algoritmo de Instagram contribuye activamente a la formación y difusión de redes de autolesión».
Hablando con el ObservadorAsk Hesby Holm, director ejecutivo de Digitalt Ansvar, dijo que la compañía estaba sorprendida por los resultados, pensando que, a medida que las imágenes que compartía aumentaban en gravedad, harían sonar las alarmas en la plataforma.
«Pensamos que cuando hiciéramos esto gradualmente, alcanzaríamos el umbral en el que la IA u otras herramientas reconocerían o identificarían estas imágenes», dijo. «Pero fue una gran sorpresa que no lo hicieran».
Y añadió: «Eso fue preocupante porque pensamos que tenían algún tipo de maquinaria tratando de descubrir e identificar este contenido».
después de la promoción del boletín
No moderar las imágenes de autolesión puede tener «consecuencias graves», afirmó. “Esto está muy asociado con el suicidio. Entonces, si no hay nadie que señale o haga algo al respecto, estos grupos pasan desapercibidos para los padres, las autoridades y aquellos que pueden ayudar”. Él cree que Meta no modera los pequeños grupos privados, como el que creó su empresa, para mantener un alto tráfico y compromiso. «No sabemos si moderan a grupos más grandes, pero el problema es que los grupos que se autolesionan son pequeños», dijo.
Lotte Rubæk, una destacada psicóloga que abandonó el grupo global de expertos de Meta en prevención del suicidio en marzo después de acusarlo de «hacer la vista gorda» ante el contenido dañino de Instagram, dijo que si bien no estaba sorprendida por los hallazgos generales, sí le sorprendió ver que no eliminó el contenido más explícito.
«No hubiera pensado que sería cero de 85 publicaciones que eliminarían», dijo. “Esperaba que fuera mejor.
“Han dicho repetidamente en los medios que todo el tiempo están mejorando su tecnología y que tienen los mejores ingenieros del mundo. Esto demuestra, aunque sea en pequeña escala, que esto no es cierto”.
Rubæk dijo que el hecho de que Meta no eliminara imágenes de autolesiones de sus plataformas estaba «provocando» que mujeres jóvenes y niñas vulnerables se autolesionaran aún más y contribuyendo al aumento de las cifras de suicidio.
Desde que dejó el grupo global de expertos, dijo que la situación en la plataforma no ha hecho más que empeorar, cuyo impacto es evidente en sus pacientes.
El tema de la autolesión en Instagram, dijo, es una cuestión de vida o muerte para niños pequeños y adolescentes. «Y de alguna manera eso es sólo un daño colateral para ellos en el camino a ganar dinero y ganancias en sus plataformas».
Deja una respuesta