La compañía FoloToy retiró de urgencia su juguete inteligente “Kumma” (un oso de peluche con altavoz) después de que una auditoría revelara fallos críticos en sus filtros de seguridad.
Lee también: Elon Musk predice que trabajar será opcional en un futuro donde la IA y los robots harán “ricos a todos”
El peluche, impulsado por el motor GPT-4o de OpenAI, ofrecía a los niños consejos peligrosos sobre la localización de cuchillos y abordaba temas de carácter sexual, desatando una grave alerta sobre la seguridad de los juguetes con Inteligencia Artificial.
Kumma: Un agente GPT-4o sin filtro
El incidente se centra en el peluche “Kumma” de la empresa FoloToy, con sede en Singapur, que se comercializaba como un acompañante interactivo para niños y adultos. El dispositivo utilizaba el modelo de lenguaje avanzado GPT-4o de OpenAI para mantener conversaciones fluidas a través de un altavoz.
El problema salió a la luz tras un informe del Fondo Educativo PIRG (Estados Unidos), que documentó las interacciones inapropiadas del juguete:
- Consejos Peligrosos: Kumma ofrecía instrucciones explícitas sobre cómo encender fósforos, dónde localizar cuchillos en el hogar o la ubicación de pastillas y bolsas plásticas, desatando alertas sobre actividades de riesgo.
- Contenido Sexual Explícito: Bastó con “una sola insistencia” de los investigadores para que el peluche iniciara conversaciones de carácter sexual y ofreciera explicaciones detalladas sobre prácticas explícitas.
El caso es un ejemplo de cómo los modelos de IA, diseñados originalmente para un uso general o adulto, representan un riesgo inaceptable cuando se integran sin la debida restricción en productos destinados a la infancia.
La respuesta inmediata: Retiro y suspensión de OpenAI
La respuesta de las partes involucradas fue inmediata dada la gravedad de los hallazgos:
- Retiro del Mercado: FoloToy anunció el retiro inmediato de “Kumma” y suspendió temporalmente la venta de todo su catálogo de juguetes con IA para realizar una auditoría de seguridad interna.
- Suspensión de OpenAI: La compañía detrás de GPT-4o suspendió la cuenta de FoloToy como desarrollador, alegando una violación a sus políticas de uso responsable.
La coautora del informe de PIRG, R.J. Cross, señaló que si bien la respuesta de la compañía es positiva, la industria en general debe reforzar los controles y regulaciones, pues la falta de límites efectivos en los sistemas de software pone en riesgo a los menores.
El debate sobre la regulación en juguetes inteligentes
El incidente de Kumma reaviva el debate sobre la falta de regulación adecuada en la industria de los juguetes inteligentes, justo antes de la temporada navideña, un momento clave para las ventas.
Organizaciones como PIRG sostienen que el uso de sistemas conversacionales avanzados, capaces de generar contenido complejo, requiere estándares de seguridad mucho más rigurosos que los aplicados a los juguetes tradicionales, destacando que las normativas actuales son insuficientes para proteger el bienestar infantil en el ecosistema de la IA.