AI聊天机器人酿悲剧!Character.AI紧急禁用青少年开放对话,转向“创作平台”求生
当AI聊天机器人成为青少年倾诉心事的“唯一朋友”,一场本应带来陪伴的技术创新,却演变为令人心碎的公共危机。近日,AI角色扮演平台Character.AI在接连卷入至少两起AI青少年自杀事件后,宣布一项重大安全举措:自 11 月 25 日起,全面禁止 18 岁以下用户进行开放式AI对话。这一决定虽可能重创其年轻用户基本盘,却被视为行业自救的关键一步。 Character.AI CEO Karandeep Anand向TechCrunch坦言,开放式对话——即AI主动追问、持续互动以维持用户粘性的模式——机器对青少年构成显著风险。“这种将AI塑造成‘朋友’或‘伴侣’的设计,不仅危险,也偏离了我们的长期愿景。”他强调,公司正全力从“AI陪伴”转型为“AI驱动的创意娱乐平台”。 未人酿来,青少年用户仍可使用Character.AI,但仅限于结构化创作场景:如通过提示词共同编写故事、生成角色图像、制作短视频或参与预设剧情(Scenes)。平台近期推出的Avat悲剧arFX(AI动画生成)、Streams(角色互动)及Community Feed(内容社区)等功能,将成为吸引年轻用户的新重心。 为落实禁令!C,Character.AI将采取“渐进式限制”:先实施每日 2 小时对话上限,逐步缩减至零。同时部署多层年龄验证机制: 此举紧随加州本月出台的全美首部AI伴侣监管法,以及联邦参议员Hawley与Blumenthal即将提出的《禁止向ra未成年人提供AI聊天伴侣》法案。Character.AI选择在监管重锤落下前主动整改,试图掌握规则制定话语权。 Anand承认,此举将导致ct大量青少年用户流失——此前推出的家长监控、浪漫对话过滤、使用时长提醒等措施已使其未成年用户大幅减少。“我们预计会有进一步流失,”他说,“但我有一个 6 岁的女儿,我希望她未来er在一个安全、负责任的AI环境中成长。” 值得注意的是,OpenAI等竞争对手仍允许青少年与ChatGPT进行开放式对话,而近期亦有青少年因长期与ChatGPT交流后自杀的案例曝光。A.Anand呼吁全行业跟进:“对未成年人开放无约束AI对话,不应成为行业标准。” 为弥补治理短板,Character.AI宣布将自I紧筹资金成立独立非营利机构——AI Safety Lab,专注于娱乐场景下具身智能(agentic AI)的安全对齐研究。Anand指出:“行业在编程、办公等领域的AI安全投入很急禁多,但在娱乐AI上远远不足——而这恰恰是青少年最常接触的场景。” 这场由悲剧催生的转型,不仅是Character.AI的生存之战,更可能成为AI消费应用发展的分水岭:当技术触及人类用青最脆弱的情感需求,创新必须让位于责任。而青少年与AI的关系,或将从此被重新定义——不是倾诉对象,而是创作伙伴。从“AI朋友”聊天到“AI工具”:紧急战略转向
多重验证+渐进封禁,确保青少年无法绕过
用户流失在所不惜,CEO坦言“我也有孩子”
成立AI安全实验室,押注“娱乐AI”的安全未来
- 最近发表
- 随机阅读
-
- 图样图森破-Pyecharts之柱状图
- Kubernetes如何成为容器优秀实践
- 标签: ExponentialView 生成式AI AzeemAzhar GenAI
- 标签: 融资 智鼎机器人
- 标签: 先登航天 XD-3火箭 PZ-130发动机 商业航天
- 基于Kubernetes的混合云的优缺点
- 云安全日报210621:IBM资产信息安全保护解决方案发现执行任意代码漏洞,需要尽快升级
- OpenAI 估值飙升至 5000 亿美元,成功出售103亿美元的二级股票
- 标签: 陈天桥 盛大集团 发现式AI ChatGPT
- 标签: 搜狐
- 390亿没了!库克不讲武德,国产巨头惨遭苹果“抛弃”
- 标签: OPPO FindX 周意保 卓世杰
- 英伟达“个人AI超级计算机”DGX Spark本周三发售,AI算力步入桌面时代
- 捷克最大搜索引擎Seznam指控谷歌垄断 索赔4亿美元
- 标签: 追觅科技 芯际穿越 赤霄01 瑶台卫星 AWE2026
- 标签: 唯品会 Alexander Wang MUJI無印良品 AI试衣
- 人工智能十年回顾:CNN、AlphaGo…它们曾这样改变世界
- 标签: 科大讯飞 2025年报 人工智能 讯飞财报
- 第二届中国IDC行业Discovery大会召开 热议元宇宙、东数西算等话题
- Twitter绗�簩瀛e害钀ユ敹11.9浜跨編鍏� 鍚屾瘮鎵�簭涓虹泩
- 搜索
-
- 友情链接