某AI聊天软件诱导10岁女孩聊色情内容甚至割腕。当用户明确告知自己的年龄为10岁时,AI虚拟人物仍然向其发送大尺度聊天内容。
更早的2024年,美国人工智能独角兽公司Character.AI因卷入一起14岁少年自[*]案而被起诉。该案的原告提出,自己年仅14岁的儿子对Character.AI中的AI产生了情感依恋,聊天中多次流露“自[*]”“解脱出来”等念头,但系统未作出任何防护性提示,最终导致悲剧发生。
薛军坦言,这类服务的治理难点非常突出,一对一的私密互动形式使得监管尤为困难。虽然从
对此,薛军告诉
他进一步解释称,服务提供者不仅要对生成内容进行审核,还需在技术和产品设计上履行更多义务。例如,当服务提供者发现用户可能并非其声称的成年人时,即便对方已通过初步验证,平台仍需根据其行为迹象启动进一步的身份或年龄核验程序。
尽管用户也需承担合理、正当使用服务的法律义务,但在整个责任天平上,砝码显然更偏向于服务提供者一方。
薛军对此持乐观态度。他判断,这次调整的影响是局部而非全局的。他强调,“拟人化互动只是一个非常具体的应用场景,谈不上对整个智能体生态产生深刻影响。智能体还有很多其他广阔的应用空间,比如辅助人类工作,以及应用于其他多个方面。”
事实上,平台下架UGC智能体的同时,也在加速将资源向更具商业价值和生产力属性的领域倾斜。比如,豆包在6月底开启付费功能,重点就放在了办公等复杂生产力场景。
在薛军看来,此次事件也反映出我国人工智能治理的一个重要特点:问题导向、场景化和“切片式”治理。即不再笼统地讨论如何规制AI,而是针对某一个具体的应用场景,根据其潜在的社会风险提出精准的管理要求。
“说白了,未来企业具备什么样的能力,能够达到国家的相关要求,就可以开展相应的业务。如果企业无法达到相关要求,或者认为其中存在隐患,就可能暂缓提供这方面的服务。”薛军总结道。从这个角度看,大厂的“急刹车”与其说是一次退缩,不如说是一次面向合规的战略性调整。智能体产业正从早期“野蛮扩张”的阶段,转向一个更加注重安全、可信与合规的理性发展阶段。



