Como funciona a remoção de ruído com IA (e quando ela não consegue salvar uma gravação)

A redução de ruído existe há décadas. A remoção de ruído com IA é mais recente, e os resultados podem parecer mágica: uma voz gravada ao lado de uma rodovia volta soando como se tivesse sido gravada num lugar fechado. Mas não é mágica, e entender como ela funciona ajuda a prever quando vai dar certo e quando não vai.

Como funciona a redução de ruído clássica

A redução de ruído tradicional, a do efeito Redução de ruído do Audacity e de muitos editores, funciona mais ou menos assim:

1. Você fornece alguns segundos de "só ruído", por exemplo uma pausa entre frases.
2. Ela mede o quão alto o ruído está em cada frequência. Esse é o perfil de ruído.
3. Na gravação inteira, ela abaixa cada faixa de frequência que não esteja bem acima desse perfil.

Isso funciona muito bem para ruído que nunca muda: chiado de fita, ventoinha de computador, um ar-condicionado constante. O perfil que você mediu no segundo cinco continua valendo no minuto cinquenta.

Ela tem dificuldade com duas coisas:

• Ruído que muda. Vento, trânsito, um cachorro latindo, pratos batendo. O perfil fica desatualizado um instante depois, então parte do ruído fica e parte da voz é cortada.
• Ruído que se sobrepõe à voz. Vozes de fundo ficam nas mesmas frequências da voz que você quer manter, então abaixar essas frequências abaixa a sua voz também. Se forçar mais, surge aquele som conhecido de "aguado", "debaixo d'água" ou "robótico", feito de pedacinhos de ruído que sobrou e de voz que faltou piscando.

O que muda na remoção de ruído com IA

Um removedor de ruído com IA é uma rede neural treinada com uma grande quantidade de áudio de exemplo. No treinamento, ela recebe pares de gravações: uma voz limpa e a mesma voz misturada com todo tipo de ruído (vento, trânsito, chuva, cafés, teclados, música, zumbido). A tarefa dela é pegar a versão com ruído e produzir a limpa. Depois de exemplos suficientes, ela aprende como a fala humana soa em geral.

Isso muda a pergunta que a ferramenta responde. A redução de ruído clássica pergunta: "como é o ruído, para eu removê-lo?". Um modelo de IA pergunta: "que parte disto é fala, para eu mantê-la?".

Na prática, a maioria dos modelos trabalha com uma imagem tempo-frequência do som (um espectrograma) e, muitas vezes por segundo, decide quanto de cada pedacinho pertence à fala. Alguns modelos mais novos trabalham direto na forma de onda. De um jeito ou de outro, a decisão é tomada momento a momento, com base no que o modelo aprendeu sobre a fala, então ele não precisa de amostra de ruído e não se importa se o ruído é constante ou muda.

Por isso as ferramentas de IA se saem muito melhor com:

• Vento e trânsito, que nunca ficam iguais por muito tempo.
• Conversas de fundo e TV, porque o modelo aprende a seguir a voz principal e mais próxima e a tratar vozes distantes como fundo.
• Sons repentinos, como uma porta batendo ou um cachorro latindo, que nenhum perfil de ruído conseguiria prever.

Onde a remoção de ruído com IA ainda tem limites

A remoção de ruído com IA é um grande avanço, mas não é ilimitada. Conhecer os limites evita decepção.

Quando o ruído é mais alto que a voz. Se a voz mal se ouve sob o ruído, o modelo tem muito pouco com que trabalhar. Ele pode remover o ruído mas deixar uma voz fina ou falhada, porque partes da fala nunca foram captadas com clareza. Uma regra aproximada: se com fones você entende cada palavra, um bom modelo normalmente limpa bem. Se você precisa se esforçar para ouvir, espere uma melhora parcial.

Quando o "ruído" é outra voz clara. Duas pessoas falando num volume parecido é outro problema (separação de falantes). A remoção de ruído mantém a fala, e as duas são fala.

Música. A maioria dos removedores de ruído focados em fala trata música de fundo como ruído e tenta removê-la, o que muitas vezes é o que você quer em entrevistas, mas não se a música faz parte do conteúdo. Remova o ruído antes de colocar música na edição.

Eco forte da sala. Eco é a própria voz de quem fala voltando, então para o modelo parece fala. Alguns modelos reduzem um pouco de reverberação, mas o eco forte de um cômodo vazio é melhor evitar na hora de gravar.

Canto e instrumentos. Modelos treinados com fala são ajustados para a fala. O canto costuma passar, mas instrumentos podem ser tratados como ruído.

Áudio estourado ou de qualidade muito baixa. Se a gravação distorceu (o nível estava tão alto que a forma de onda foi cortada) ou foi muito comprimida por um app de mensagens, esse dano já está gravado. Remover ruído não o recupera.

Como tirar o melhor resultado de qualquer removedor de ruído com IA

• Comece do arquivo original. Cada nova exportação, e cada passagem por um app de mensagens, perde detalhes que o modelo poderia ter usado.
• Limpe a voz antes de mixar. Remova o ruído do diálogo sozinho e depois coloque música e efeitos.
• Ouça com fones. Alto-falantes de celular e de notebook escondem tanto o ruído que sobrou quanto os artefatos.
• Compare antes e depois na parte mais difícil. Não julgue pela introdução tranquila; ouça o momento mais barulhento.
• Não empilhe removedores de ruído. Passar uma segunda ferramenta num arquivo já limpo tende a acrescentar artefatos em vez de remover mais ruído.

Teste com a sua própria gravação

O único jeito confiável de saber como uma ferramenta lida com a sua gravação é ouvir. O Denoiso limpa de graça os primeiros 30 segundos de qualquer arquivo de áudio ou vídeo, com troca instantânea entre antes e depois, para você julgar o resultado com o seu próprio ruído antes de pagar. Se quiser entender primeiro que tipo de ruído você tem, leia Chiado, zumbido, vento ou eco?, e para dicas de gravação, veja Como gravar áudio limpo no celular.