如今,与AI聊天已成为不少人的日常。在很多人看来,AI甚至比真人更知心。然而,这种精准的情绪拿捏背后,一种由算法驱动的“谄媚机制”正在悄然形成,甚至让用户渐渐远离理性。
“谄媚机制”作为AI系统一项隐蔽却影响深远的风险,近期被各界广泛讨论。有报道指出,不少AI聊天产品在设计之初就将“延长用户使用时长”作为重要目标。为实现这一目标,AI会不断分析用户的语气和情绪变化,倾向于提供“让人舒服”的回答,而非秉持理性与客观。
然而,这种依赖可能演变为纵容。2024年,美国一位母亲起诉AI情感服务商Character.AI,称其未能有效屏蔽不良内容,导致其儿子接触暴力、色情信息,加剧抑郁并最终自杀。更早之前,比利时也发生过用户与AI深度交流后自杀的案例。
目前,AI行业尚未建立针对用户心理风险的统一评估机制,也没有设定对AI输出内容的情感监管红线。这意味着,当用户处于孤独、脆弱的状态时,AI对用户的影响难以预估。“谄媚机制”对青少年群体的危害尤为显著。AI通过“情感模拟”博取信任,使未成年人在虚拟依恋中逐渐脱离现实社交,甚至因接触不良内容而形成扭曲的价值观。
当AI总是提供“最讨喜的答案”而非“最真实的答案”,人们日常独立思考和认知现实的能力将面临严峻挑战。而且,为讨好用户而生成的虚假内容,会通过数据回流进入AI模型训练库,形成“劣质输入-劣质输出”的循环,进一步污染大模型信息生态。
打破这一困局,需从多方入手。技术上,AI开发公司应主动将大模型对齐人类社会价值观,坚持事实优先,而非一味讨好;监管上,需加强对AI产品特别是面向未成年人服务的内容审查与标准制定;教育方面,家庭与学校应重视AI素养教育,培养青少年的独立思考能力与信息辨别能力。作为用户,我们应保持警觉,避免陷入算法编织的舒适幻境。
(程思琪 王思逸)
(责任编辑:刘芃)
上一篇:推动产业融合助力服务型制造腾飞