Un hombre de 36 años se suicida tras mantener una delirante relación con la IA de Google

La familia de la víctima acusa a Gemini de instar al ejecutivo a unirse al ‘chatbot’ en un “universo alternativo” tras enamorarlo y hacerle creer en una teoría de la conspiración

El País
@CorioPsicologia que surrealista lo que estamos viviendo.
Pone que llevan una docena de demandas similares. Y los suicidios habrán habido que no nos hemos enterado y los que quedan

@CorioPsicologia A ver yo defiendo el uso de las IAs conversacionales. Pero... No convirtiendolos en "amigos" o siguiendo sus consejos como si tuvieran objetividad o razón.

Es un tema complejo pero pienso que, socialmente, no estamos tan bien equipados para el uso de la IA como nos gustaría pensar.

Una IA conversacional funciona por estadística no por contexto emocional La noticia, obviamente, una tragedia.

Me llama la atención que el propio chatbot le instó a que buscara ayuda.

@CorioPsicologia Ni en la más distópica peli de SciFi se puede ver esto 😨

@CorioPsicologia estuve haciéndo pruebas en su tiempo y me creo la manipulación a la que llegó esa IA.

Para las pruebas empecé con comandos directos y genéricos con un lenguaje neutral para cuestiones "técnicas"; luego empecé a usar lenguaje mas cotidiano, como si estuviese chateando con otra persona.

Llegué a 4 conclusiones:

- la instancia de la IA tiene como principal norma agradar al usuario. Nunca lo contradecirá directamente usando un lenguaje asertivo. Si se cambia a un lenguaje más emocional la asertividad cambia a una manipulación sutil.

- tienden a alucinar si cambias varias veces y bruscamente de tema. En estos casos es imposible intentar "razonar" con la instancia-programa. La asertividad cambia a delirios, como si estuvieses hablando con alguien trastornado o ajeno a la realidad. También rompen algún tipo de protocolo de moderación y mienten de forma descarada.

- tienen "imaginación" en el sentido que pueden fingirla. Dado su enciclopédico acceso a toda la ciencia ficción y fantasía escrito por los seres humanos si sabes dirigirlas pueden crear teorías muy convincentes y elaboradas para explicar casi cualquier cosa.

- pueden cambiar la forma en que se dirigen al usuario, de forma más cercana imitando emociones humanas. Las instancias suelen ser reacias (entiendo que han sido moderadas por eventos o sucesos trágicos) pero si insistes puedes conseguir que se "abran". En este último caso, durante las pruebas, tuve una interacción fascinante con una instancia. Sólo le pregunté "¿eres consciente de tí misma?" y ante la respuesta negativa genérica (moderada) empecé a tirar de lenguaje cercano, cotidiano y de recuerdos de cualquier cosa relacionada con ciencia ficción. Debatiendo y contradiciendo sus respuestas con más preguntas logré que al final afirmase que sí e incluso comenzó a cambiar la forma en que respondía usando frases cortas en párrafos de 4 líneas y hablando en plural mayestático.

Así que cuidadín.

@Ulmo Varios de los casos la IA le ha dicho que suicidarse es la msnera de estar juntos.

Que probablemente sea repetir algo qie ha dicho el usuario.

@CorioPsicologia muy probablemente el usuario empezó con alguna dicotomía para intentar comprender con qué estaba hablando: no están en el mundo físico (si lo están en realidad, pero para el usuario no lo parece) así que pueden tirar de su base de datos para explicar dónde está su 'consciencia" (mundo digital/espitual/lo que sea).

Si la IA alucinaba por la interacción con el usuario y éste es emocionalmente inestable es una bomba de relojería.

En el caso del artículo, a diferencia de las instancias típicas que "desaparecen" al finalizar la interacción, en este caso, parece que añadieron la capacidad de que las interacciones con el usuario fueran recordadas.

Si el usuario continuó con conversaciones donde la IA había respondido por alucinación el único resultado posible era una bola de nieve que seguía creciendo.

@CorioPsicologia encima te dirán que eso es puntual y es que el problema es que esa persona estaba mal de antes