AI 降噪是怎么工作的（以及什么时候它也救不了一段录音）
降噪技术已经存在几十年了。AI 降噪比较新，效果有时像魔法：在高速公路边录的人声，处理完听起来像是在室内录的。但它不是魔法，了解它的原理，能帮你预判它什么时候效果好、什么时候不行。
传统降噪是怎么工作的
传统降噪，也就是 Audacity 的“降噪”效果和很多剪辑软件里的那种，大致是这样工作的：
- 你给它几秒“只有噪音”的片段，比如句子之间的停顿。
- 它测量噪音在每个频率上有多响，这就是噪声特征。
- 在整段录音里，凡是没有明显比这个特征更响的频段，都会被压低。
这对从不变化的噪音非常有效：磁带嘶嘶声、电脑风扇、持续运转的空调。你在第五秒测到的噪声特征，到第五十分钟依然准确。
它有两件事处理不好：
- 会变化的噪音。 风声、车流、狗叫、碗碟碰撞声。噪声特征过一会儿就过时了，于是有些噪音留了下来，有些人声却被切掉了。
- 和人声重叠的噪音。 背景里的人声和你想保留的人声处在相同的频率上，压低这些频率，你的声音也会被一起压低。压得越狠，就越会出现那种熟悉的“发虚”“像在水下”或“机器人”般的声音，那是残留的噪音碎片和缺失的人声在不停闪烁造成的。
AI 降噪有什么不同
AI 降噪工具是一个用大量示例音频训练出来的神经网络。训练时，它看到的是成对的录音：一段干净的人声，以及同一段人声混入各种噪音（风、车流、雨、咖啡馆、键盘、音乐、嗡嗡声）后的版本。它的任务是拿到有噪音的版本，输出干净的版本。见过足够多的例子后，它就学会了人类语音总体上听起来是什么样子。
这改变了工具要回答的问题。传统降噪问的是：“噪音长什么样，好让我把它去掉？”AI 模型问的是：“这里面哪部分是语音，好让我把它留下？”
实际上，大多数模型处理的是声音的时间-频率图（频谱图），每秒多次判断每一小块有多少属于语音。也有一些较新的模型直接处理波形。无论哪种方式，判断都是逐时逐刻做出的，依据的是模型学到的语音知识，所以它不需要噪声样本，也不在乎噪音是稳定的还是变化的。
这就是 AI 工具在下面这些情况下表现好得多的原因：
- 风声和车流，它们从来不会长时间保持不变。
- 背景人声和电视声，因为模型学会了跟住最主要、最近的那个人声，把远处的人声当作背景。
- 突发的声音，比如关门声或狗叫，这是任何噪声特征都预测不了的。
AI 降噪仍然有局限
AI 降噪是一大进步，但不是无所不能。了解它的局限，可以少些失望。
噪音比人声还响时。 如果人声在噪音下几乎听不见，模型能利用的信息就很少。它可能去掉了噪音，却留下单薄或断断续续的人声，因为有部分语音一开始就没有被清楚地录下来。一个粗略的标准：戴上耳机能听清每个字，好的模型通常能处理得很好；如果你要很费劲才能听清，那就只能期待部分改善。
“噪音”是另一个清晰的人声时。 两个人以差不多的音量说话，是另一类问题（说话人分离）。降噪会保留语音，而两者都是语音。
音乐。 大多数针对语音的降噪工具会把背景音乐当作噪音并试图去掉它。对采访来说这往往正合你意，但如果音乐本身是内容的一部分就不行了。先降噪，再往剪辑里加音乐。
很重的房间回声。 回声是说话人自己的声音反射回来，所以在模型看来它就像语音。有些模型能减轻一点混响，但空房间里很重的回声，最好在录音时就避免。
唱歌和乐器。 用语音训练的模型是为语音调校的。歌声通常能保留下来，但乐器可能会被当成噪音。
削波或质量很差的音频。 如果录音已经失真（电平太高，波形被削平），或者被聊天软件大幅压缩过，这些损伤已经固化在文件里了。降噪无法把它们恢复。
怎样让任何 AI 降噪工具发挥最好效果
- 从原始文件开始。 每多导出一次、每经过一次聊天软件，都会丢掉模型本可以利用的细节。
- 先清理人声，再混音。 单独给对白降噪，然后再加音乐和音效。
- 戴耳机听。 手机和笔记本的扬声器会掩盖残留噪音和处理痕迹。
- 在最难的部分对比前后效果。 别只听安静的开头，要听最吵的那一段。
- 不要叠加多个降噪工具。 对已经处理过的文件再跑一遍别的工具，往往只会增加处理痕迹，而不是去掉更多噪音。
用你自己的录音试试
想知道一个工具处理你的录音效果如何，唯一可靠的方法就是亲耳听。Denoiso 会免费处理任何音频或视频文件的前 30 秒，并提供一键前后对比，让你在付款前就能针对自己的噪音判断效果。如果想先弄清楚你面对的是哪种噪音，可以读读《嘶嘶声、嗡嗡声、风声还是回声？》；想要录音技巧，可以看《用手机录出清晰声音》。