在远程和混合办公的时代，视频通话变得越来越普遍，"静音你自己"和"你可能静音了"已经成为我们日常词汇的一部分。但事实证明，静音自己可能并不像你想象的那样安全。

东北大学电气与计算机工程学院计算机科学教授Kevin Fu已经找到了一种从图片甚至静音视频中获取音频的方法。他与研究团队开发的机器学习辅助工具Side Eye能够确定在拍摄照片的房间里说话的人的性别，甚至确定他们说的确切词语。

"想象一下，有人在拍TikTok视频，他们将其静音并加入音乐，"Fu说道。"你是否对他们真正在说什么感到好奇？是说'西瓜 西瓜'还是'这是我的密码'？有人在他们身后说话吗？实际上，你可以听到摄像机外的对话内容。"

这听起来像是科幻小说的情节，事实上确实如此。Side Eye的构想灵感来自科幻剧《边缘科学调查组》的一集，该剧描述了一支为联邦调查局工作的边缘科学调查团队从融化的玻璃片中提取音频的故事。

该集播出后，《Den of Geek》的一位评论家称其为"荒谬的伪科学技术"，但Fu对此持不同意见。

"我当时说，'我敢打赌我们可以做到这一点。'" Fu说道。"我的实验室专注于不可能的事情。我们通常预计对于我们所做的任何事情，首个反应通常是'你不可能做到那个，'而我们会说，'那我们已经做到了。'"

Side Eye利用了现在几乎成为手机摄像头标准的图像稳定技术。为了确保手抖不会导致照片模糊，相机配备了将镜头悬浮在液体中的小弹簧。一个电磁铁和传感器会以相等且相反的方向推动镜头，以减少相机震动。

然而，Fu说，只要有人在镜头附近说话，就会导致弹簧产生微小振动，并且微弯光线。光线的角度几乎不会有明显变化，"除非你正在寻找它，" Fu说道。

通常情况下，要从这些微小振动中提取声频频率是很困难的。但是Fu说，现在手机摄像头普遍采用的快门滚动技术却使这一点变得更容易实现。

"为了降低成本，如今相机的工作方式基本上是逐行扫描，而不是同时扫描所有像素，" Fu解释道。"在一张照片中，这个过程会重复数十万次。这基本上意味着你能够放大一千多倍音频的频率信息，也就是音频的精度。"

只要有一点点光线，Side Eye就可以工作，尽管它能够访问的图像越多越好。Fu说，即使是对着天花板的照片，Side Eye也可以发挥作用。

这个过程的最终结果是音频，即使在最好的情况下，听起来也更像是花生漫画中成年人的模糊声音。但通过使用机器学习和训练Side Eye识别特定词语和音频，Fu能够提取大量信息。

Fu说："如果你想知道我是说了'是'还是'不是'，你可以训练[Side Eye]来识别人们说'是'和'不是'的模式，然后在之后的图像中，通过高准确度判别出我说了'是'还是'不是'。"

如果被训练过这个人的声音，Side Eye甚至可以识别出说话的具体人，尽管在这方面的准确性还不够高。

从网络安全的角度来看，Side Eye为人们和网络安全专家带来了全新的威胁。然而，Fu说Side Eye最有趣的应用可能是作为律师和其他在刑事法律系统中工作的人的新形式的数字证据。

Fu表示："也许有人在法庭上提出了一种辩解，有人想要证明某人是或者不是在场，这种情况下，如果你有带有已知时间戳的身份验证视频，你可能可以使用这种技术来确认是或者不是某人。如果你听到了这个人的声音，很有可能他们在场。"