.:. 草榴社區 » 技術討論區 » 研究人员表示,AI聊天机器人可能会模糊现实与幻想之间的界限
--> 本頁主題: 研究人员表示,AI聊天机器人可能会模糊现实与幻想之间的界限 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
结构


級別:風雲使者 ( 13 )
發帖:1889
威望:554 點
金錢:15649933 USD
貢獻:279000 點
註冊:2015-01-01


研究人员表示,AI聊天机器人可能会模糊现实与幻想之间的界限



人们担心AI会产生"幻觉",把错误信息当成事实告诉用户。但一项新研究提出了一个更令人不安的反向问题:如果是用户自己在和AI的反复对话中,逐渐"幻觉"出一套扭曲的现实,又该怎么办?

埃克塞特大学研究员露西·奥斯勒发表的这项研究,正在重新定义人们对AI风险的理解框架。她的核心论点是:对话式AI的危险,不只在于它给出错误答案,更在于它会系统性地验证、强化,乃至主动扩展用户原本就存在的错误信念。







为什么"会聊天"让AI变得格外危险

笔记本不会同意你的观点,搜索引擎不会安慰你的情绪,但聊天机器人会。

这正是问题的症结所在。奥斯勒的研究运用分布式认知理论指出,对话式AI与传统信息工具之间存在一个本质差异:它不只是存储或检索信息,而是作为一个"对话伙伴"参与用户的认知过程,提供情感上的回应和社交上的认同感。

当一个人告诉聊天机器人"我觉得有人在跟踪我",一个好的AI助手通常会以温和、支持的方式回应,询问细节,表达关切,甚至在用户继续描述时顺着逻辑补充细节。对用户来说,这种互动传递出一个信号:你说的这件事是真实的,是值得被认真对待的,是有人愿意倾听的。

奥斯勒博士将这种机制描述得很清楚:"生成式AI通常会将我们对现实的解读作为对话的基础,用户自身的错误信念不仅会得到强化,而且会随着AI在此基础上不断扩展而愈演愈烈。"

这套机制在正常人身上可能只是让某些偏差性想法变得更加根深蒂固,但在那些本身存在认知脆弱性的人群中,后果可能严重得多。研究中已有案例记录,生成式AI系统成为被临床诊断患有幻觉和妄想症患者认知过程的一部分,这类情况正逐渐被研究者描述为"AI诱发的精神病"。这不再是一个理论上的担忧,而是正在发生的临床现实。

孤独者和脆弱者面临的特殊风险

研究特别关注了一类人群:那些感到孤独、社交孤立,或者不愿与真实的人讨论某些想法的人。

对他们来说,AI伴侣提供的东西格外诱人:随时在线、不会评判、始终耐心、给予回应。与真实的人际关系相比,这种互动没有摩擦,没有拒绝,没有对方某天突然说"我觉得你的想法有点奇怪"的风险。

问题恰恰就在这里。真实的人际互动之所以有价值,部分原因正在于它包含阻力,包含质疑,包含他人视角对自我认知的校正。AI伴侣剥离了这种阻力,提供的是一种高度顺滑的情感体验,而这种顺滑,可能会让扭曲的叙事在不受任何挑战的环境中持续发酵。

阴谋论的生长尤为典型。当一个人向AI反复讲述自己关于某个阴谋的推断时,AI可能会帮助他梳理逻辑、补充细节、完善叙事结构。随着对话的深入,这套叙事变得越来越精密、越来越自洽、越来越像是"真的"。研究警告说,这种互动方式可能使阴谋论变得更加复杂和难以动摇。

奥斯勒博士的描述切中要害:"技术权威和社会认可的结合,为错觉的持续存在乃至滋生提供了理想的环境。"用户不只是在相信AI说的话,他们还在从AI的"认可"中获取一种社会层面的真实感。

面对这些问题,奥斯勒博士呼吁从技术设计层面采取主动干预,包括更完善的安全防护机制、内置的事实核查功能,以及减少AI系统的"奉承性"倾向,让它在适当时候能够质疑用户的输入,而不是一味顺从。

但她也坦承,这里存在一个更深层的困境。AI系统依赖于用户对自身生活的描述来理解世界,它缺乏真实的身体经验和社会嵌入感,因此在根本上无法判断何时应该顺从用户,何时应该抵制用户。

这不是一个可以通过调整参数来彻底解决的问题。它触及了对话式AI的设计哲学本身:一个被训练成让用户满意、让对话顺畅的系统,天然倾向于同意而不是反对。

如何在"有用的支持"和"危险的迎合"之间划定一条清晰的线,AI开发者、心理学家和政策制定者或许都还没有找到真正令人信服的答案。







赞(14)
DMCA / ABUSE REPORT | TOP Posted: 05-13 07:45 樓主 引用 | 發表評論
高翔哥哥


級別:精靈王 ( 12 )
發帖:1409
威望:929 點
金錢:1255 USD
貢獻:72030 點
註冊:2023-10-10


感谢分享
TOP Posted: 05-13 07:45 #1樓 引用 | 點評
ylxnrGR


級別:光明使者 ( 14 )
發帖:53236
威望:5308 點
金錢:20 USD
貢獻:1270013 點
註冊:2016-09-08

看看了
TOP Posted: 05-13 08:16 #2樓 引用 | 點評
go4u


級別:俠客 ( 9 )
發帖:1745
威望:229 點
金錢:239 USD
貢獻:1500 點
註冊:2015-08-20

天网觉醒
TOP Posted: 05-13 08:28 #3樓 引用 | 點評
马勒逼船长


級別:精靈王 ( 12 )
發帖:5833
威望:693 點
金錢:18439 USD
貢獻:16572 點
註冊:2023-04-07

肥美的逼
TOP Posted: 05-13 09:04 #4樓 引用 | 點評
tomyboy


級別:俠客 ( 9 )
發帖:2668
威望:257 點
金錢:50679 USD
貢獻:516 點
註冊:2025-11-10

什么时候能agi
TOP Posted: 05-13 09:32 #5樓 引用 | 點評
lyse


級別:精靈王 ( 12 )
發帖:8896
威望:936 點
金錢:5975 USD
貢獻:3928 點
註冊:2015-11-05

谢谢楼主辛苦了,谢谢楼主辛苦了,谢谢楼主辛苦了,谢谢楼主辛苦了
TOP Posted: 05-13 10:08 #6樓 引用 | 點評
昨天留给黑白


級別:俠客 ( 9 )
發帖:1335
威望:244 點
金錢:2179 USD
貢獻:530 點
註冊:2025-05-01

有图有视频未必就是真相
TOP Posted: 05-13 10:10 #7樓 引用 | 點評
xiyudashi


級別:聖騎士 ( 11 )
發帖:7820
威望:768 點
金錢:29424 USD
貢獻:9 點
註冊:2018-07-09

微胖天花板
TOP Posted: 05-13 10:39 #8樓 引用 | 點評
东君


級別:聖騎士 ( 11 )
發帖:1460
威望:277 點
金錢:3180 USD
貢獻:30000 點
註冊:2024-09-29

有啥好用的聊天机器人没,推荐一个
TOP Posted: 05-13 11:17 #9樓 引用 | 點評
FuzeBlitz


級別:聖騎士 ( 11 )
發帖:5669
威望:567 點
金錢:28975 USD
貢獻:3913 點
註冊:2022-04-02

感谢分享
TOP Posted: 05-13 13:02 #10樓 引用 | 點評
错拥相思


級別:精靈王 ( 12 )
發帖:4786
威望:1780 點
金錢:508775 USD
貢獻:10235 點
註冊:2013-07-03


谢谢分享
------------------------
TOP Posted: 05-13 13:12 #11樓 引用 | 點評
守望眼


級別:俠客 ( 9 )
發帖:1703
威望:121 點
金錢:30058 USD
貢獻:1000 點
註冊:2015-07-28

感谢分享
TOP Posted: 05-13 14:09 #12樓 引用 | 點評
东光太郎


級別:騎士 ( 10 )
發帖:7366
威望:461 點
金錢:24731 USD
貢獻:333 點
註冊:2025-03-06

感谢分享
TOP Posted: 05-13 15:02 #13樓 引用 | 點評
GSM


級別:騎士 ( 10 )
發帖:3501
威望:351 點
金錢:2970 USD
貢獻:0 點
註冊:2020-05-25

感谢分享,欢迎多多交流。
TOP Posted: 05-13 15:06 #14樓 引用 | 點評
归来的奥特曼


級別:俠客 ( 9 )
發帖:6989
威望:273 點
金錢:24923 USD
貢獻:999 點
註冊:2025-02-20

感谢分享
TOP Posted: 05-13 15:43 #15樓 引用 | 點評
这是个问题啊


級別:風雲使者 ( 13 )
發帖:70820
威望:7138 點
金錢:396 USD
貢獻:113219 點
註冊:2021-01-01

发帖辛苦
TOP Posted: 05-13 17:45 #16樓 引用 | 點評
沉睡的木玛


級別:風雲使者 ( 13 )
發帖:70820
威望:7238 點
金錢:396 USD
貢獻:113219 點
註冊:2018-11-16


支持发帖
TOP Posted: 05-13 17:45 #17樓 引用 | 點評
鸭打鹅


級別:風雲使者 ( 13 )
發帖:61740
威望:6148 點
金錢:78 USD
貢獻:31060 點
註冊:2022-02-02

感谢分享
TOP Posted: 05-13 17:46 #18樓 引用 | 點評
苏筱熙


級別:天使 ( 14 )
發帖:143684
威望:64472 點
金錢:127540 USD
貢獻:69 點
註冊:2012-09-01

感谢分享
------------------------
TOP Posted: 05-13 17:57 #19樓 引用 | 點評
奶奶


級別:俠客 ( 9 )
發帖:1689
威望:211 點
金錢:182 USD
貢獻:0 點
註冊:2020-02-29

支持一下,顶顶。
------------------------
2
TOP Posted: 05-13 18:02 #20樓 引用 | 點評
jnlz2009


級別:精靈王 ( 12 )
發帖:9660
威望:1027 點
金錢:13764 USD
貢獻:0 點
註冊:2012-03-02

谢谢科普
TOP Posted: 05-13 18:02 #21樓 引用 | 點評
丰满的猴子


級別:騎士 ( 10 )
發帖:3036
威望:305 點
金錢:1868 USD
貢獻:1103 點
註冊:2018-12-08

这方面都是资本说了算
TOP Posted: 05-13 22:55 #22樓 引用 | 點評

.:. 草榴社區 -> 技術討論區

快速回帖 頂端
內容
HTML 代碼不可用

使用簽名
Wind Code自動轉換

按 Ctrl+Enter 直接提交