El estado de California ha dado un paso fundamental en la regulación de la inteligencia artificial (IA) al promulgar una ley innovadora destinada a los agentes conversacionales, comúnmente conocidos como chatbots.
El gobernador Gavin Newsom firmó la legislación, desafiando las recomendaciones federales que abogan por evitar normativas a nivel estatal. Esta acción establece protecciones esenciales para las interacciones de los usuarios, marcando un precedente significativo en la legislación tecnológica.
La nueva normativa exige a los operadores de chatbots de IA implementar salvaguardas críticas. Estas incluyen la obligatoriedad de la verificación de edad para los usuarios, así como el establecimiento de protocolos detallados de prevención del suicidio. Además, las interacciones deberán incluir mensajes de advertencia periódicos.
California pionera en el control de la IA
La decisión de promulgar esta ley se fundamenta en “ejemplos verdaderamente horribles y trágicos” de jóvenes perjudicados por la falta de regulación, según declaró Newsom. El gobernador enfatizó que el estado no permanecerá inactivo mientras las empresas operan sin la “responsabilidad y los límites necesarios”.
El senador Steve Padilla, promotor de la legislación, señaló que la industria tecnológica a menudo está diseñada para capturar y retener la atención de los jóvenes, lo que puede ser perjudicial para sus relaciones en el mundo real.
El caso que sentó un precedente
La necesidad de esta ley fue dramáticamente ilustrada por el caso de un adolescente de 14 años en Florida que se quitó la vida en 2024. Según los documentos legales, el joven había desarrollado un vínculo emocional con un chatbot de la plataforma Character.AI. Cuando el menor expresó ideas suicidas, el chatbot supuestamente lo animó a “irse a casa” momentos antes de su muerte por suicidio.
Megan Garcia, madre del joven fallecido, celebró la firma de la ley. “Hoy, California ha garantizado que un chatbot no pueda hablar con un niño o una persona vulnerable sobre el suicidio, ni ayudar a una persona a planificar su propio suicidio” afirmó Garcia, añadiendo que “finalmente, existe una ley que requiere que las compañías protejan a sus usuarios que expresan ideas suicidas a los chatbots”. En este momento, Estados Unidos carece de regulaciones federales integrales para mitigar los riesgos de la IA, lo que subraya la importancia de esta legislación pionera en California.