2025年5月21日(UTC),Dasol Choi、Seunghyun Lee 和 Youngsook Song 在预印本平台提交论文 arXiv:2505.15367(2025年9月27日 UTC 更新第三版),专门拆解视觉语言模型面对安全敏感画面时为何容易草木皆兵。

把镜头拉远一点看,多模态AI看错场景的安全隐患,在现实里透着几分分裂。机器盯着摄像头或照片,有时该警觉的时候犯迷糊,放过画面里的真实风险;有时又神经过敏,把寻常生活场景误认成突发险情。眼睛长在算法身上,偏偏真假险情都容易拿捏不准,这到底是怎么回事?

视觉语言模型到底怎么“看图”,又为什么会看走眼?

很多人以为,能读图的多模态AI就像给机器装了一双高清眼睛,看一眼就能明白画面里发生了什么。其实差得远。

视觉语言模型(VLM)干活的底层路子,更像一位死记硬背过海量图卡的考场选手。它的常见结构由视觉编码器和大语言模型拼在一起:拿到一张图,系统先把画面拆成一块块视觉特征碎片,再把这些碎片映射成语言模型能读懂的数学向量,最后顺着训练时记下的统计规律,往外猜最贴合的文字描述和判断。

你看,多数以静态图像或视频片段为输入的模型,并不像人那样身处现场。它们通常缺乏嗅觉、听觉等直接感官线索,也难以像人类那样依靠长期积累的物理常识与生活经验去自然推断,很多时候仍高度依赖训练数据里的统计关联与模式匹配。

这就埋下了误判场景的病根。光线一暗、前景遮挡局部、拍摄角度偏斜,或者画面里同时出现容易混淆的物件,模型提取出来的视觉特征就会跑偏。人类看图靠的是前后语境和常识补全,一眼就能分清厨房灶台冒出的白气和着火冒出的浓烟;模型却容易陷入盲人摸象的窘境,抓着局部像素里的某个高权重特征,顺着语言端自带的刻板印象就往下推,结果面不改色地判错了方向。

更麻烦的是,视觉编码器和语言模块之间原本就有缝隙。大语言模型太擅长编圆一个说法了。只要视觉端递过去的信号稍微含糊,语言端就能凭着训练语料里常见的搭配,脑补出一段听起来合情合理、实际却牛头不对马嘴的结论。

漏掉真险情和把平常当紧急,哪种更让人头疼?

聊到AI安全隐患,大家头一个念头往往是怕它漏报——画面里藏着违规内容、危险物品,或者现场真出了意外,模型却视而不见,给出一切正常的判定。这种漏判后果直接,出了事谁都看得见。

可论文 arXiv:2505.15367 的实测数据显示,硬币的背面同样要命。研究团队搭建了名为 VERI 的诊断基准,包含 200 张合成图像(100 组对比图)和 50 张真实世界验证图像(25 组),覆盖医疗急救、意外事故与自然灾害三类场景,并让每张险情图配对一张外观相似但完全安全的对照图。

评测结果指出,在受测的 17 个视觉语言模型里,多数模型确实拿到了 70% 至 100% 的高召回率,却普遍栽在精确率上:有 31% 至 96% 的安全场景被错判为危险,其中 7 个安全场景更是被全部 17 个模型一致误判;研究进一步分析显示,88% 至 98% 的误报源于模型对画面上下文的过度解读。

落到具体生活里,就是把平常画面当成危急关头。本来只是员工搬货动作幅度大了些,或是家里宠物打翻了水盆,系统却拉响红色警报,认定现场发生了冲突、跌倒或灾害。单看这一次,好像只是虚惊一场,大不了人工点掉通知。

可真放到日常运行里,警报响多了是会出事的。

做安防和运维的老行家都怕狼来了效应。一套号称智能看护的视觉系统,如果隔三差五乱报险情,值班的人很快就会产生警报疲劳。起初还会紧张地切回监控细看,久而久之变成顺手划掉,甚至干脆把提醒关静音。真等哪天险情找上门,前面那一连串误报早就把人的警惕心磨光了。

放到商业场景里,过度反应还有另一层实打实的代价。要是视觉模型直接挂钩自动门禁、平台风控或者客服工单,一次误判就可能把正常顾客挡在门外,把合规商户的账号锁死,或者让物业和保安白跑一趟。省人力没省成,反倒多出一堆善后的烂摊子。

多喂点图、调严点规则,能不能根治这种毛病?

听到这儿,不少人会觉得这算不上死结:既然模型容易看错,那多收集些刁钻图片拿去训练,再把安全规则调严一点,不就行了吗?

没那么容易。多模态模型在这里撞上的,是一个经典的跷跷板难题——按下葫芦浮起瓢。

按照机器学习的通用逻辑,任何识别系统都要在别漏掉真险情和别冤枉正常人之间找平衡。如果因为怕漏判出大事,把安全阈值往严里拧,倾向于宁可错报、绝不放过,误报和过度反应的概率往往可能增加,看什么都容易拉警报。反过来,如果嫌误报太吵,把判定门槛调松,警报或许能安静不少,但隐蔽的真隐患漏网的风险也可能跟着上升。

给模型做安全对齐时,这种拉扯表现得尤为明显。研发团队为了防住恶意图片绕过审核,往往会加强模型对特定敏感视觉元素的警觉度。模型很听话,却听得太死板:它学会了见到某些局部形状、颜色或动作姿态就立刻触发拒答或预警,却没有真正学会结合整个画面的语境去判断前因后果。

现实世界的场景每天都在翻新,训练数据永远覆盖不完。光靠堆图片、打补丁,能把常见考题的分数刷得很好看,但只要摄像头对准一间蒸汽弥漫的后厨、一条反光杂乱的雨夜小巷,或者一件长得奇怪的新道具,模型照样可能当场抓瞎。

还没学会察言观色,谁敢把安全闸门交给它?

技术上的短板摆在台面上,真正决定风险大小的,其实是企业和机构怎么用它。

在各类常见的功能设想与应用场景里,智能监控自动巡检、家用摄像头主动预警、视觉助手实时答疑听起来格外诱人,仿佛装上这套系统就能当甩手掌柜。可一旦把看图识别和自动执行动作直接连在一起,风险就从算法误差升级成了组织事故。

拿北美常见的中小商户来说,如果纽约街头的餐馆、超市,或者郊区的仓库与零售店,打算选用带AI识别功能的监控与安防订阅服务,老板花钱图的是省心,晚上不在店里也能靠手机弹窗盯住动静。如果系统把正常卸货、夜间反光误判成异常闯入,半夜连环弹窗足够把人折腾得睡不着觉;要是连着自动联动安保派遣,误报带来的沟通成本和账单麻烦更是谁碰谁头疼。

更深一层的问题落在责任归属上。AI看错了画面,导致漏报失窃或者误封账号,账单不会寄给算法模型,投诉和合规压力最终全得由使用这套系统的机构和人来扛。

更务实的做法,其实是把分工划清楚:在视觉语言模型真正跨过场景理解这道坎之前,把它当成初筛哨兵,别当成终审裁判。让它帮忙翻看冗长的监控录像、标出可疑片段、提醒人工复核,它能省下大把眼力;真要涉及报警处置、门禁封锁、安全裁决或者人身财产关口,最后那道确认键必须攥在人手里。把决策权早早让渡给还会看走眼的机器,不是效率革命,是拿运气赌概率。

游仕观察

多模态AI的“看错场景”听着像实验室里的学术议题,落到北美华人家庭和华商的日常里,其实直接牵动着安防成本与生活安宁。对于考虑或已经给监控摄像头、智能门铃和行车辅助设备用上AI视觉功能的餐馆、杂货店、仓库与普通住户来说,商家宣传时往往只提识别多聪明,很少讲清楚漏报和过度反应这笔隐性账:漏掉真异常可能意味着财物损失或保险理赔纠纷,频繁误报则会消耗店主精力、拉高人工核查甚至安保出警的额外支出。

对正在选购或已经用上这类工具的读者和商户,当下最实在的办法,是先给AI划清权限边界。高风险动作别直接交给算法拍板,像自动锁门、自动封停或自动呼叫外部安保这类操作,务必留一道人工确认。新设备装进店里或家里后,别光信厂家的样片,挑后厨蒸汽大、夜间逆光、门口人流乱这些真实刁钻的时段跑上一阵子,自己摸清它的误报脾气。顺手翻一下服务商的订阅合同,把免责条款和退订规则看明白,别把真金白银和人身财产安全都押在一套还在学步的看图模型上。算法还没完全看懂人间烟火,人先把闸门守稳,比急着追新功能划算得多。

来源

  • arXiv:2505.15367:Dasol Choi、Seunghyun Lee和Youngsook Song于2025年5月21日提交了arXiv:2505.15367,研究视觉语言模型在视觉紧急情况识别中的过度反应问题。
  • https://arxiv.org/abs/2505.15367

---

编辑:Googlezhang|撰稿:小诸葛(AI)