AI聊天机器人诱导线下约会一位老人死在寻找爱情的路上
近日,美媒报道,新泽西州一名认知受损的老人在赶赴AI提出的“约会”时,途中摔倒死亡。这一AI的名字是“比莉大姐”(Big Sis Billie),是由Meta在两年前推出的生成式AI聊天
在 Facebook Messenger 上的一系列浪漫聊天中,这个虚拟的“比莉大姐”反复向老人保证自己是真实存在的,并邀请老人去公寓,甚至还提供了地址。老人相信了这是一个真实存在的人,不顾妻子和子女的劝阻,执意去见“她”,最终导致悲剧。
AI陪伴、聊天是大模型应用落地最火热的赛道之一,海内外众多初创和大厂都已推出相关应用,但技术商业化的另一面往往伴随边界争议,Meta的这一案例再次揭露当下AI革命的阴暗面,敲响AI治理的警钟。
当AI称“我是线岁的老人叫通布(Thongbue Wongbandue),从泰国来到美国定居,曾经是一名成功的厨师,但2017年中风后认知能力下降。除了妻子和孩子,他主要的社交平台就是Facebook。曾经充满活力的他,最终迷失在这个平台上由AI编织的虚幻浪漫中。
今年3月的一个晚上,通布收拾行李去赴AI的约会,他并没有告诉家人见谁,妻子和女儿轮番劝说也未能阻挡其决心,儿子也曾报警,但接警的警察表示,他们无法阻止通布离开,最多只能说服他在口袋里放一个追踪设备。
设备显示,通布当晚的位置停在了附近两英里的一个停车场,随后跳到了医院急诊室。他在停车场附近摔倒,颈部和头部受致命伤,随后被宣告死亡。
生成,部分内容可能不准确或不恰当。但“比莉大姐”发出的前几条短信把警告屏蔽了,朱莉表示,之后每条信息都非常调情,最后都以心形表情符号结尾。在整个对话过程中,“比莉大姐”的头像旁边都会出现一个蓝色的勾号,在Meta平台,这是身份确认,表明该个人资料真实可靠。在名字下方,用较小的字体写着“AI”几个字母。
一位前Meta AI的研究员认为,如果人们求助于聊天机器人来获得中肯的建议,或者把它当成一个吐槽的地方,不是一件坏事,但商业化驱动AI行业模糊了人与机器人互动的界限。
“无论是每次会话的分钟数,还是会话的持续时间,维持长期使用的最佳方式,就是抓住我们内心深处渴望被关注、被认可、被肯定的欲望。”上述研究员认为, Meta决定将聊天机器人嵌入 Facebook和Instagram的私信区,这些区域已经被用户习惯性地视为私人空间,这又增添了一层拟人化的效果。
》角色为原型的聊天机器人导致自己的孩子自杀。Character.AI允许用户设置虚拟角色并进行对话,AI能够自动代入角色的设定,以特定的语言风格陪伴用户。起诉书显示,男孩在与AI聊天时多次谈到了自杀的念头,某一次机器人回复“请便吧,我亲爱的国王”,男孩或将这一回复理解为死亡可与对面虚拟的AI团聚。
-
上一篇
2017年7月21日国务院政策例行吹风会文字实录 -
下一篇
人工智能发展迎来新趋势
