Hay un debate en curso, que los medios acentúan de modo no siempre responsable, acerca de las consecuencias de la hipotética aparición de una super-inteligencia artificial o inteligencia artificial general. En tanto que para unos ello representaría una amenaza existencial para el futuro de la humanidad, hay quienes sostienen, con argumentos que intentan pasar por razonables y solventes, que la IA presente y futura constituye la mejor esperanza de progreso para la sociedad. Desde posiciones que son intermedias, pero no de síntesis, otros defienden como objetivo prioritario limitar los daños sociales que la IA ya está causando.
En medio de este océano de dimes y diretes, Yoshua Bengio, una autoridad informática alineada con las posiciones catastrofistas, considera que no es necesario que una IA sea "supremamente inteligente o completamente general" para convertirse en una gran amenaza. Basta para ello que sus capacidades incluyan la manipulación y la persuasión sociales, entre otras como la I+D de nuevas tecnologías y la producción de software. No resulta pues nada tranquilizador que el marketing y el servicio al cliente, dos funciones propensas a la persuasión, estén entre las aplicaciones de la IA generativa de las que, según The Economist, las empresas esperan sacar mayor partido.
La persuasión —el efecto de influir en las acciones, creencias y comportamientos de las personas— es una disciplina bien establecida en la que son expertos tanto los profesionales de publicidad y marketing como otros personajes de licitud y moralidad cuanto menos dudosa. Campando a sus anchas por las redes sociales, unos y otros han contribuido a convertir la www en un territorio para la captura sistemática de la atención y la persuasión personalizada.
El lenguaje es un mecanismo de influencia privilegiado. No sorprende pues que los profesionales de la persuasión se estén apresurando a explotar para sus propios fines las posibilidades de la nueva IA generativa. La perspectiva menos preocupante, aun siéndolo, es que las redes se inunden de contenidos generados automáticamente, lo que ya está empezando a suceder.
Resulta más preocupante que los autómatas conversacionales estén programados para expresarse utilizando la primera persona del singular como si fueran humanos. Autores como Sherry Turkle han documentado la tentación de humanizar a un autómata y dirigirse a él como si fuera una persona, incluso cuando se tiene conciencia de que no lo es. Una tentación que se intensifica cuando se programa al autómata para utilizar expresiones como "Yo te entiendo" o "Yo me preocupo por ti", propias de una empatía que no es capaz de sentir. Es impropio y no debiera permitirse, porque conlleva el riesgo de hacer aún más vulnerables a la persuasión a quienes, como adolescentes y personas que se sientan solas, ya lo son en las redes sociales. Dicho esto, tampoco deberíamos aceptar sin más vivir en una sociedad en la que las relaciones humanas se deterioren hasta tal punto que la compañía de las máquinas resulte ser preferible a la de las personas. Evitemos tanto humanizar la tecnología como deshumanizar la sociedad.