Snapchat anuncia mejoras en su chatbot My AI para evaluar contenidos potencialmente dañinos

Snapchat ha desarrollado medidas adicionales para su chatbot My AI para mejorar la protección de los usuarios y reducir su exposición a contenidos potencialmente dañinos, para lo que empleará la moderación integrada de OpenAI.

My AI es un chatbot impulsado por la inteligencia artificial (IA) de ChatGPT que la firma definió como "amistoso y experimental" cuando anunció su lanzamiento en febrero de este año. Entonces, puntualizó que esta funcionalidad solo estaba disponible para suscriptores de Snapchat+.

Tras la polémica por lo fácil que resulta para los menores acceder a contenidos para adultos con este chatbot, la compañía ha matizado que se toma "muy en serio la responsabilidad de diseñar productos y experiencias que prioricen la seguridad" y que sean adecuadas para la edad de los usuarios de la plataforma.

Snap ha recibido estos días una solicitud formal de información por parte de la Comisión Europea sobre las medidas que toma para proteger a sus usuarios menores de edad.

Con ese objetivo y tras los resultados obtenidos en la fase inicial de esta herramienta con los suscriptores de Snapchat+, Snapchat explica en un comunicado las medidas adicionales que ha desarrollado para su chatbot.

Medidas tomadas por Snap

• Programado según las directrices de Snap: My AI está programado para seguir ciertas directrices que ayuden a garantizar que la información que proporciona no es inapropiada o perjudicial. Esto incluye evitar respuestas violentas, que inciten odio, sexualmente explícitas u ofensivas.
• Moderación integrada de OpenAI: Desde Snap están en un proceso de añadir la tecnología de moderación de OpenAI al conjunto de herramientas existente, lo que permite evaluar la gravedad del contenido potencialmente dañino.
• Funcionalidad de pausa: Utilizando las herramientas de detección de abuso de Snap, introdujeron una funcionalidad que restringe temporalmente la capacidad de los usuarios para interactuar con My AI si repetidamente hacen un uso indebido del servicio.
• Consideración de la edad por defecto: My AI tiene en cuenta la edad del usuario, por lo que trata de mantener conversaciones apropiadas para su edad.
• Protección parental: Ofrece a padres y tutores la posibilidad de saber si sus hijos adolescentes se han comunicado con My AI en los últimos siete días a través del centro familiar de la plataforma.
• Aprendizaje continuo de Snap: A diferencia de las conversaciones con amigos y familiares que se eliminan por defecto, las conversaciones con My AI se almacenan y pueden ser revisadas, lo que puede ayudar a aprender y mejorar su funcionalidad.