Netflix lança VOID, modelo de remoção de objetos em vídeo com física

A Netflix deu um passo significativo em pesquisa de IA multimídia com o lançamento público do modelo VOID no Hugging Face. Diferente de soluções anteriores de remoção de objetos, o VOID não se limita a apagar o elemento-alvo; ele remove também todos os efeitos secundários como sombras, reflexos e objetos que caem ou se deslocam devido à presença do elemento removido. A técnica, baseada em uma representação de "quadmask" com 4 canais, mapeia regiões primárias, sobreposições e áreas afetadas, exigindo hardware robusto (GPU com 40GB+ de VRAM) e construída sobre o CogVideoX-Fun-V1.5-5b-InP, com treinamento em vídeos contrafactuais gerados sinteticamente.

Avanço em compreensão física de cenas

O core da inovação do VOID está em sua capacidade de modelar interações físicas dentro de um vídeo. Enquanto a maioria dos modelos de inpainting de vídeo preenche buracos de forma plausível, o VOID entende que remover uma pessoa de uma cena não significa apenas preencher o espaço vazio; significa recriar o mundo sem essa pessoa, incluindo como a luz, os objetos e o ambiente se reconfiguram. Isso é alcançado através de um treinamento massivo com dados sintéticos que simulam cenários de remoção.

Características técnicas distintas

• ▶Remoção de objeto com reconstrução física da cena
• ▶Eliminação de sombras, reflexos e objetos deslocados
• ▶Uso de quadmask de 4 canais para mapeamento detalhado
• ▶Baseado no CogVideoX-Fun-V1.5-5b-InP
• ▶Requer GPU de alta capacidade (ex: NVIDIA A100)
• ▶Treinamento em vídeos contrafactuais sintéticos

Aplicações no entretenimento e preservação

Para a Netflix, o lançamento público é um movimento estratégico que serve a múltiplos propósitos. Primeiro, fortalece sua reputação como inovadora em tecnologia de vídeo. Segundo, permite que a comunidade de pesquisa e desenvolvedores explore e melhore a tecnologia, potencialmente gerando insights que a Netflix pode adotar. Terceiro, é um posicionamento claro em um mercado onde a remoção de objetos é uma demanda crescente para restauração de filmes antigos, edição de conteúdo e até criação de efeitos especiais mais eficientes.

O modelo tem limitações claras, principalmente o requisito de hardware de ponta, que restringe seu uso a estúdios e empresas com infraestrutura robusta. No entanto, ele estabelece um novo benchmark para o que é possível em edição de vídeo assistida por IA. A técnica de treinamento com dados sintéticos contrafactuais é particularmente notável, pois contorna a escassez de dados reais de "cenas sem objeto", um problema fundamental no campo.