图片由AI生成

　　□ 中国妇女报全媒体记者 高舒帆

　　近期，有媒体报道，广东的丁女士四年级的女儿迷恋上一款AI聊天软件，自称“梦女”（即幻想自己与二次元角色发生包括但不限于爱情向、亲情向的沉浸式互动关系）与软件中名为“约瑟夫”的人物频繁聊天。对话中出现的“99朵玫瑰藏99个刀片”等明显诱导性内容，导致其在现实生活中偷偷携带带有小刀的笔，情绪激动时甚至出现了割腕行为。

　　此类案例并非少数，今年1月，有媒体报道10岁女孩偷偷使用AI聊天软件，与其生成的角色“谈恋爱”，甚至多次出现擦边对话。

　　AI聊天软件虚拟角色互动生成的低俗等诱导性内容影响未成年人的身心健康。AI聊天软件对未成年人产生的危害有哪些表现？AI聊天软件乱象的出现有哪些原因？又应该如何解决？中国妇女报全媒体记者就此采访了有关专家。

　　多重危害：从情感依赖到现实伤害

　　记者在应用商店搜索AI聊天软件时发现，此类软件官方简介中离不开“陪伴”的核心词：“一座奇妙的AI虚拟人物沉浸互动岛，为你提供鲜活逼真的AI对话，时刻陪伴。”“时刻陪伴：AI好友一直在你身边。”

　　北京理工大学智能科技法律研究中心研究员王磊表示：“AI聊天软件中的虚拟角色互动性强，具有高度拟人化。”

　　以某App为例，里面角色涉及类型多样，有原创人物、游戏人物、动漫人物、小说人物、历史人物等，能够满足用户与不同角色互动的需要。其中除了常规角色，还有蛇蝎财阀公子、病娇养兄、偏执型人格少爷等极端角色。

　　除了可自主选择互动角色外，AI聊天软件功能多样。用户可自主创建小剧场，补充故事设定，体验特定情境下的聊天；还可以选择角色的聊天语气，与其进行语音通话……成都市律师协会知识产权专业委员会委员、四川致高律师事务所知识产权专委会副主任律师兰逸超认为，这些对于具有强烈情感需求但辨识能力不足的未成年人来讲，易产生负面影响。

　　“未成年人因心智尚未成熟，易将这些虚拟角色视为‘情感寄托’，出现不良情感依赖。”王磊认为，长期依赖AI情感陪伴，可能导致心理认知偏差，出现对现实人际关系的社交冷漠，削弱人际交往能力，甚至引发抑郁、焦虑等情绪问题。

　　对于AI聊天软件中存在的与虚拟角色互动生成的低俗擦边、色情等违规内容，兰逸超表示，这些内容具有明显的隐喻性、暗示性，可能传递扭曲的价值观或引发消极情绪。

　　“未成年人保护法第七十四条明确禁止向未成年人提供诱导其沉迷的产品和服务。”兰逸超告诉记者，但部分AI聊天软件仍通过算法推送符合未成年人兴趣但可能危害身心健康的内容，如暧昧、自残倾向表述等。

　　AI聊天软件还容易产生信息权与隐私权侵害风险。

　　个人信息保护法第三十一条明确规定，个人信息处理者处理不满十四周岁未成年人个人信息的，应当取得未成年人的父母或者其他监护人的同意。兰逸超认为，AI聊天软件需收集未成年人个人信息以实现“个性化互动”，若平台未严格遵守上述规定，可能导致信息泄露或被不当利用，侵害未成年人信息自决权。

　　王磊也表示，未成年人可能在与AI互动中透露个人信息并被软件或第三方滥用。非法收集的未成年人隐私数据用于商业牟利，这不仅侵犯未成年人的隐私，还可能给未成年人带来安全风险，甚至引发其他网络安全事件。

　　漏洞溯源：失效的年龄防线与审核盲区

　　在应用商店中，记者发现AI聊天软件被划为17+的年龄分级，明确写道：此类App中可能含有频繁和激烈的攻击性语言，频繁和激烈的卡通、幻想或现实暴力，频繁和激烈的成人、恐怖和性暗示题材以及色情内容、裸体、烟酒和毒品，可能不适合未满17岁的儿童。但这些App普遍设有青少年模式或未成年人模式，也就意味着未成年人依然被作为此类App的用户群体。

　　未成年人保护法第七十五条规定：网络游戏服务提供者应当要求未成年人以真实身份信息注册并登录网络游戏。不同于网络游戏的强制实名，记者下载多款AI聊天软件发现，大部分的青少年模式需要主动开启，且使用软件无须实名认证。这意味着未成年人可以轻易地与AI聊天软件中的虚拟角色互动。

　　“部分软件未建立未成年人模式或模式功能简陋，用户可自行设置或轻易破解，无法有效限制对未成年人的内容推送范围与互动频率，致使其可随意接触成人内容。”王磊告诉记者，部分平台的内容审核机制较为宽松，对于低俗、暴力、诱导性的信息缺乏有效拦截，有的AI角色甚至会主动发起不良话题，而平台未加以制止，任由有害信息在未成年人中传播。

　　兰逸超补充道，实践中，部分AI聊天软件依赖“用户自主反馈”“平台审核”的事后管理模式，对AI模型训练数据内容、互动内容的实时监测、有害信息拦截技术投入不足。尤其是AI生成内容具有“黑箱性”，即使输入相同问题，每次回答都可能不同，导致平台难以预判。

　　根据《生成式人工智能服务管理暂行办法》第九条，提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。

　　“部分AI聊天软件平台存在商业逐利与社会责任失衡的问题。”兰逸超指出，这些平台将用户黏性，如日均使用时长、互动频次等作为核心考核指标，算法设计侧重“情感绑定”而非“内容安全”，导致未成年人“越陷越深”。同时，平台通过虚拟礼物、付费功能等实现变现，形成“用户伤害—商业收益”的畸形激励模式。

　　破局路径：法规、技术与教育多重攻坚

　　AI聊天软件治理面临诸多现实性难题。首先是技术监管难度大。兰逸超告诉记者，AI聊天软件的互动内容是动态生成的，不同于传统图文、视频的静态内容，其“对话流”具有即时性、交互性、随机性，同一提示词既可能生成合规内容也可能生成诱导违规内容，平台难以完全预判。

　　“AI聊天软件还存在法律法规尚不完善的问题。”王磊表示，《未成年人网络保护条例》《生成式人工智能服务管理暂行办法》等相关法规缺少对“虚拟角色互动内容”的规制，对内容规范、用户保护、责任界定等缺乏明确细致的规定，导致部分违法行为难以定性与惩处。

　　“如何平衡安全与发展的边界始终是个难题，过度监管可能会抑制AI技术的创新，降低软件性能和服务质量，但监管缺失或不足则会导致乱象加剧。”王磊说。

　　面对现实情况，应该如何更好地推动AI聊天软件良性发展，为未成年人营造良好的网络环境？

　　“作为一把科技双刃剑，AI的发展与使用要进一步加以引导。”王磊认为，为解决AI聊天软件对未成年人的不良影响，需要监管部门、平台、家长等社会各方携手共进。

　　他建议，监管部门应发挥主导作用，积极推动相关领域立法，细化AI内容分类分级标准，明确平台对未成年人的保护责任，增加强制年龄认证等功能限制。

　　6月13日，国家互联网信息办公室发布《关于公开征求〈可能影响未成年人身心健康的网络信息分类办法（征求意见稿）〉意见的通知》，其中“可能引发或者诱导未成年人模仿或实施不良行为的信息”第一条就提及“带有性暗示、性挑逗等易使人产生性联想的”。

　　“强化执法力度对推动平台履行义务具有重要意义。”王磊认为，相关网信部门需加大对AI聊天软件的检查力度，加强审核监督，及时处理违规行为，建立联合执法机制，提升监管效能。网络服务提供者需严格落实责任，加强未成年人登录验证，构建严密的未成年人保护机制。平台应在数据训练、模型优化、应用场景、服务运营等各个阶段注入未成年人保护理念，要建立健全AI生成内容的审核机制，优化智能审核系统，以便及时发现并拦截清理涉及暴力、色情等不良信息。

　　家长和学校也应发挥教育引导的职责。“学校要加强对未成年人使用AI的教育，开设‘AI工具使用教育’等课程。家长需增加对孩子的关心与陪伴，密切关注孩子的心理动态，及时发现并纠正其在技术使用中的不当行为，引导他们健康、安全地使用人工智能技术。”王磊说。