¿Cómo se condena a un algoritmo por la muerte de alguien? El caso de Molly Russell

La noche del 20 de noviembre de 2017 en la casa de la familia Russell todo parecía ir normal. Tras ir al colegio y hacer los deberes, Molly, una adolescente de 14 años, cenaba con sus padres para después sentarse con ellos en el sofá a ver uno de esos programas de máxima audiencia de la televisión británica. Así lo relata el periodista de 'The Guardian', Dan Milmo, en un artículo en retrospectiva de aquella noche en la que sucedió algo irreversible que a día de hoy todavía los Russell están tratando de superar y afrontar. En aquel salón, se dieron dos mundos espectaculares contrapuestos. El visible (un programa de 'celebrities') y el no visible (el Instagram y el Pinterest de Molly).

Al día siguiente, a las siete de la mañana, la madre de Molly acude a su habitación como todos los días para despertar a su hija. Ya nunca más volverá a ir al instituto, ni tampoco a sentarse a cenar con sus progenitores, ni estudiará una carrera o cumplirá sus sueños. Su cuerpo yace sin vida en la cama. Al parecer, esa noche había tomado la decisión de suicidarse, algo que extrañó mucho a la familia, ya que era una chica normal que no había dado signos de estar deprimida. Todo iba normal con ella. No había ninguna razón para que lo hiciera.

De los 16.300 contenidos guardados o marcados como "Me gusta" por Molly, 2.100 se relacionaban con ideas suicidas, la depresión o las conductas autolíticas

Sin embargo, en la investigación posterior, cuando el equipo forense y la familia revisaron los últimos contenidos consumidos por ella en redes sociales, todas las alarmas saltaron. "El más sombrío de los mundos", aseguró Ian Russell, el padre de la joven. "Un mundo que no reconozco, una especie de 'gueto online' en el que cuando caes ya el algoritmo no te deja escapar y sigue recomendado más y más contenido". Esto contradecía la visión que los padres tenían de ella, una "joven positiva, feliz y brillante que solo podía hacer el bien".

Pero algo sí que había cambiado. Al hacer memoria e intentar dar con una explicación para un acto que de por sí ya no la tiene, la joven se había vuelto más "retraída" en los últimos doce meses, pasando más tiempo sola en su cuarto. Algo normal para la gente de su edad, debieron pensar sus padres. Pero cuando revisaron la actividad de su teléfono, de los 16.300 contenidos guardados o marcados como "Me gusta" por Molly seis meses antes de su muerte, un total de 2.100 estaban relacionados con ideas suicidas, la depresión o las conductas autolíticas.

TE PUEDE INTERESAR

La madurez no es cosa de edad: ¿son los jóvenes de ahora más adultos que nunca?

Enrique Zamorano

No eran meras publicaciones donde se alentaba al suicidio de manera subliminal; eran tan explícitas que un psiquiatra infantil que valoró el contenido que la joven había visto en Instagram a petición del juez declaró no poder dormir bien durante varias semanas. El caso tuvo un gran eco en Reino Unido y supuso una de las primeras (y más crueles) manifestaciones de los efectos negativos del uso de redes sociales en la salud mental de los adolescentes.

Murió por "los efectos negativos del algoritmo"

Los padres demandaron a responsables de Instagram y Pinterest, entrando en un juicio para demostrar que la causa del suicidio de Molly no era una depresión subyacente que ya existía, sino que estas plataformas habían bombardeado su teléfono móvil con publicaciones que constantemente la alentaban a cometerlo. Ahora, cuatro años después, un tribunal ha dictaminado que la hija de los Russell murió por "un acto de autolesión mientras sufría de depresión y por los efectos negativos del contenido online", lo que reconoce por fin que el algoritmo de estas webs tuvo más que ver de lo que se pensó en un inicio. A tal punto ha llegado el caso que 'The New York Times' ha calificado el caso como "la primera vez que las empresas de Internet han sido legalmente culpadas por un suicidio".

La responsable de Instagram alegó que estas publicaciones eran "seguras" porque intentaban crear conciencia sobre la salud mental

Molly Russell no es la primera persona que muere debido a una incitación al suicidio vía online. Puede recordarnos a fenómenos como el de la "ballena azul" que empezaron a despuntar en 2013. En nuestro país, la inducción al suicidio está penada en el artículo 143 del Código Penal cuando existe una prueba de causalidad entre la conducta del que induce el suicidio y su consecución, es decir, en quien lo hace. "Debe incidir en la conducta de quien previamente no estaba decidido a cometer ese acto concreto (el suicidio), para que finalmente lo lleve a cabo, es decir, debe existir una colaboración con suficiente significación y eficacia en la realización del proyecto que preside a un sujeto de acabar con su propia existencia", explica la abogada Inmaculada García Flores, en un artículo publicado en el medio 'Legal Today'.

Como explica la letrada, el inductor al suicidio, una vez se demuestra que ha sido el responsable directo de meter la idea en la cabeza del suicida, debe ser juzgado. Pero obviamente, cuando es un algoritmo de redes sociales tan consumidas por millones de personas el que no deja de sugerir publicaciones y mostrar ciertos contenidos que alientan a quitarse la vida, la causa es mucho más difícil de justificar. ¿Cómo se puede culpar a un sistema informático de los daños y prejuicios contra la salud mental de una adolescente como Molly hasta el punto de incitarle de manera directa a poner fin a su vida? Efectivamente, yendo a por sus programadores o los responsables de que este tipo de vídeos e imágenes se promocionen tanto en la web.

"Es crucial que los gobiernos obliguen a las empresas a entregar los datos a investigadores independientes para que busquen prohibiciones de contenido más precisas"

Así es como el forense llamó a declarar a Elizabeth Lagone, jefa de política de salud y bienestar de Meta, la empresa propietaria de Instagram y Facebook. En su defensa, ella argumentó que estas publicaciones eran "seguras" porque intentaban crear conciencia sobre la salud mental y que gracias a ellas los niños podían compartir sus sentimientos con la comunidad. Entonces, el juez le preguntó si un niño era capaz de diferenciar entre un contenido que pretende concienciar sobre las autolesiones o que, aunque fuera de manera subliminal, las alienta.

Evidentemente, Lagone pidió perdón a la familia y reconoció que el contenido que visualizó antes de tomar la decisión de suicidarse era completamente inapropiado para los estándares de Instagram, debiendo haber sido retirado de la plataforma antes de que ocurriera una desgracia como la suya. Otro hecho a tener en cuenta es que dicha red social permite crear una cuenta a partir de los trece años, y Molly tenía doce cuando accedió por primera vez, lo que deja también claro que no hay un método eficaz para comprobar la edad de los usuarios cuando entran en la página. Por otro lado, Molly también consumía contenidos en la web Pinterest, para lo que se llamó a prestar declaración a John Hoffman, jefe de operaciones comunitarias de la web, quien lamentó "profundamente" lo sucedido antes de reconocer que por aquel entonces no se llevaba un control adecuado de los contenidos subidos a la web.

Las repercusiones del caso

El forense del tribunal, Andrew Walker, planteó que se introdujeran cambios necesarios en la forma en la que operan las plataformas con respecto a sus usuarios infantiles o adolescentes. Uno de estos es la aprobación de una nueva ley en Estados Unidos que prohíbe que ciertos sitios webs y 'apps' usen los datos personales y de búsqueda de los menores y ahora hay un proyecto de ley para ofrecerles más seguridad mediante el desarrollo de algoritmos que prevenga el acceso a los niños a este tipo de contenidos tan negativos.

"Estudiar el contagio suicida a través de redes digitales es prácticamente una tarea imposible"

"Es crucial que los gobiernos también obliguen a las empresas de redes sociales a entregar los datos investigadores independientes para que busquen prohibiciones de contenido más precisas y tal vez identificar formas positivas en las que estas plataformas pueden ayudar a los usuarios que se encuentran luchando con pensamientos o comportamientos suicidas", pide Eleanor Cummings, periodista de 'Wired' en un artículo en el que analiza el caso de Molly entre otros similares. "

En los últimos años, ha quedado claro que los datos necesarios para investigar estos casos pertenecen a las mismas empresas que buscan ocultar la influencia que tienen en sus usuarios", prosigue, en referencia a que muy pocas veces se hace público la forma en la que gestionan el contenido de sus webs. "Si bien TikTok, Instagram, Facebook, Twitter y otras plataformas son explícitos en su objetivo de fomentar lazos estrechos de personas separadas por grandes distancias, se muestran reacios a cualquier análisis independiente de las consecuencias. Esto hace que estudiar el contagio suicida a través de redes digitales sea prácticamente una tarea imposible".