Si ha pasado tiempo en Facebook durante los últimos seis meses, es posible que haya notado imágenes fotorrealistas que son demasiado buenas para ser verdad: niños sosteniendo pinturas que parecen obras de artistas profesionales, o majestuosos interiores de cabañas de madera que son cosa de Sueños de Airbnb.

Otros, como las representaciones de Jesús hechas con crustáceos, son simplemente extrañas.

Al igual que la imagen del Papa con una chaqueta acolchada que se volvió viral en mayo de 2023, estas imágenes generadas por IA son cada vez más frecuentes (y populares) en las plataformas de redes sociales. Aunque muchos de ellos rayan en lo surrealista, a menudo se utilizan para atraer la participación de los usuarios comunes.

Nuestro equipo de investigadores del Observatorio de Internet de Stanford y el Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown investigó más de 100 páginas de Facebook que publicaban grandes volúmenes de contenido generado por IA. Publicamos los resultados en marzo de 2024 como un artículo preimpreso, lo que significa que los hallazgos aún no han pasado por la revisión por pares.

Exploramos patrones de imágenes, desenterramos evidencia de coordinación entre algunas de las páginas y tratamos de discernir los objetivos probables de los carteles.

Los operadores de páginas parecían estar publicando fotografías de bebés, cocinas o pasteles de cumpleaños generados por IA por diversas razones.

Había creadores de contenido que buscaban inofensivamente aumentar su número de seguidores con contenido sintético estafadores que utilizan páginas robadas de pequeñas empresas para anunciar productos que parecen no existir y los spammers que comparten imágenes de animales generadas por IA mientras remiten a los usuarios a sitios net llenos de anuncios, que permiten a los propietarios recaudar ingresos por publicidad sin crear contenido de alta calidad.

Nuestros hallazgos sugieren que estas imágenes generadas por IA atraen a los usuarios, y el algoritmo de recomendación de Facebook puede estar promocionando orgánicamente estas publicaciones.

La IA generativa se encuentra con las estafas y el spam

Los spammers y estafadores de Online no son nada nuevo.

Durante más de dos décadas, han utilizado correo electrónico masivo no solicitado para promover esquemas piramidales. Se han dirigido a personas mayores haciéndose pasar por representantes de Medicare o técnicos informáticos.

En las redes sociales, los especuladores han utilizado artículos de clickbait para llevar a los usuarios a sitios net llenos de publicidad. Recordemos las elecciones presidenciales estadounidenses de 2016, cuando adolescentes macedonios compartieron memes políticos sensacionales en Facebook y recaudaron ingresos publicitarios después de que los usuarios visitaran las URL que publicaban. A los adolescentes no les importaba quién ganara las elecciones. Sólo querían ganar dinero.

A principios de la década de 2010, los spammers captaron la atención de la gente con anuncios que prometían que cualquiera podía perder grasa stomach o aprender un nuevo idioma con “un truco extraño”.

El contenido generado por IA se ha convertido en otro “truco extraño”.

Es visualmente atractivo y económico de producir, lo que permite a los estafadores y spammers generar grandes volúmenes de publicaciones atractivas. Algunas de las páginas que observamos cargaban docenas de imágenes únicas por día. Al hacerlo, siguieron los propios consejos de Meta para los creadores de páginas. La publicación frecuente, sugiere la compañía, ayuda a los creadores a obtener el tipo de recogida algorítmica que hace que su contenido aparezca en el “Feed”, anteriormente conocido como “News Feed”.

Gran parte del contenido sigue siendo, en cierto sentido, clickbait: Shrimp Jesus hace que la gente se detenga a mirar boquiabierta e inspira a compartir simplemente porque es muy extraño.

Una imagen de ‘Jesús camarón’ publicada en la página ‘Ama a Dios y Dios te ama’.

Muchos usuarios reaccionan dándole me gusta a la publicación o dejando un comentario. Esto indica a los curadores algorítmicos que tal vez el contenido debería incluirse en los feeds de aún más personas.

Algunos de los spammers más establecidos que observamos, probablemente reconociendo esto, mejoraron su participación al pasar de publicar URL a publicar imágenes generadas por IA. Luego comentaban la publicación de las imágenes generadas por IA con las URL de las granjas de contenido cargado de anuncios en las que querían que los usuarios hicieran clic.

Pero los creadores más comunes también aprovecharon la participación de imágenes generadas por IA, sin violar obviamente las políticas de la plataforma.

¡Califica ‘mi’ trabajo!

Cuando buscamos los subtítulos de las publicaciones en CrowdTangle, una plataforma de monitoreo de redes sociales propiedad de Meta y que finalizará en agosto, descubrimos que eran subtítulos “copypasta”, lo que significa que se repetían en todas las publicaciones.

Algunos de los subtítulos de copypasta provocaron la interacción al pedir directamente a los usuarios que, por ejemplo, calificaran una “pintura” de un artista primerizo –incluso cuando la imagen fue generada por IA– o que le desearan un feliz cumpleaños a una persona mayor. Los usuarios de Fb a menudo respondían a las imágenes generadas por IA con comentarios de aliento y felicitaciones.

Una publicación de la página de Facebook ‘Life Nature’ con una imagen probablemente generada por IA. Según los informes, Existence Nature fue robado de una banda y ya no estaba disponible en Meta después de que los autores de este artículo publicaran su investigación.

Los algoritmos impulsan el contenido generado por IA

Nuestra investigación alteró notablemente nuestras propias fuentes de Facebook: a los pocos días de visitar las páginas, y sin comentar, dar me gusta o seguir ningún product, el algoritmo de Fb recomendó una gran cantidad de otros contenidos generados por IA.

Curiosamente, el hecho de que hayamos visto grupos de, por ejemplo, páginas de vacas en miniatura generadas por IA no condujo a un aumento a corto plazo en las recomendaciones de páginas centradas en vacas en miniatura reales, vacas de tamaño usual u otros animales de granja. Más bien, el algoritmo recomendaba páginas sobre una variedad de temas y temas, pero con una cosa en común: contenían imágenes generadas por IA.

En 2022, el sitio internet de tecnología Verge detalló un memorando interno de Fb sobre los cambios propuestos en el algoritmo de la empresa.

El algoritmo, según el memorando, se convertiría en un “motor de descubrimiento”, que permitiría a los usuarios entrar en contacto con publicaciones de personas y páginas que no buscaron explícitamente, similar a la página “Para ti” de TikTok.

Analizamos los “Informes de contenido ampliamente vistos” de Facebook, que enumeran el contenido, dominios, enlaces, páginas y publicaciones más populares en la plataforma por trimestre.

Demostró que la proporción de contenido que los usuarios vieron en páginas y personas a las que no siguen aumentó constantemente entre 2021 y 2023. Los cambios en el algoritmo han permitido más espacio para que el contenido generado por IA se recomiende orgánicamente sin una participación previa, lo que tal vez explique nuestra experiencias y las de otros usuarios.

‘Esta publicación fue presentada por AI’

Dado que Meta actualmente no marca el contenido generado por IA de forma predeterminada, a veces observamos que los usuarios advierten a otros sobre estafas o spam sobre contenido de IA con infografías.

Un ejemplo de una infografía publicada por usuarios en publicaciones de Facebook con imágenes generadas por IA.

Meta, sin embargo, parece ser consciente de los posibles problemas si el contenido generado por IA se mezcla con el entorno de información sin previo aviso. La compañía ha publicado varios anuncios sobre cómo planea abordar el contenido generado por IA.

En mayo de 2024, Facebook comenzará a aplicar una etiqueta “Hecho con IA” al contenido que pueda detectar de manera confiable como sintético.

Pero el diablo está en los detalles. ¿Qué precisión tendrán los modelos de detección? ¿Qué contenido generado por IA se escapará? ¿Qué contenido se marcará de forma inapropiada? ¿Y qué pensará el público de esas etiquetas?

Si bien nuestro trabajo se centró en el spam y las estafas de Fb, existen implicaciones más amplias.

Los periodistas han escrito sobre movies generados por IA dirigidos a niños en YouTube y personas influyentes en TikTok que utilizan IA generativa para obtener ganancias.

Las plataformas de redes sociales tendrán que considerar cómo tratar el contenido generado por IA Es ciertamente posible que la participación de los usuarios disminuya si los mundos en línea se llenan de publicaciones, imágenes y video clips generados artificialmente.

El Jesús de los camarones puede ser una falsificación obvia. Pero el desafío de evaluar qué es true sólo se está calentando.