Como a NVIDIA planeja gerar frames por meio de definições?

Pontos principais

• A NVIDIA e a AMD estão aprimorando a experiência de jogos por meio da tecnologia Frame Generation, que cria quadros adicionais para uma jogabilidade mais fluida. A NVIDIA utiliza métodos complexos e específicos para cada hardware, enquanto a tecnologia AFMF da AMD, mais simples, opera no nível do driver sem exigir intervenção dos desenvolvedores de jogos.
• Não está claro se a NVIDIA adotará uma tecnologia de geração de quadros baseada em parâmetros operacionais, como o AFMF da AMD. Sua tecnologia atual depende muito de GPUs mais recentes e combina diversos métodos para obter melhor qualidade, o que sugere uma possível resistência em mudar suas estratégias.
• Ambos os métodos melhoram as taxas de quadros, mas podem introduzir erros visuais ou atrasos. A tecnologia AFMF da AMD é mais flexível, mas pode ser menos precisa, enquanto a abordagem da NVIDIA prioriza a qualidade e pode evoluir com os lançamentos de novas GPUs.

A essa altura, provavelmente todos já ouvimos falar da nova palavra da moda no mundo dos jogos, cunhada pela NVIDIA e pela AMD: " Geração de Quadros ". Essa tecnologia, aclamada por críticos e entusiastas como o futuro dos jogos, precisa de alguns ajustes antes de se tornar a solução " ideal " para melhorar o desempenho.

Com a tecnologia AFMF da AMD estabelecendo um novo padrão para uma ferramenta simples de geração de frames do tipo " pressione e jogue ", será que a NVIDIA seguirá os passos da AMD e implementará uma solução universal de geração de frames baseada em definições de jogo? Vamos descobrir.

A NVIDIA criará uma solução de geração de frames baseada em definições operacionais?

Antes de abordarmos o tema principal, vamos revisar como funcionam as técnicas de Upscaling e Geração de Quadros, além de alguns termos importantes que precisam ser compreendidos.

DLSS significa Deep Learning Super Sampling e foi introduzido pela NVIDIA em 2018 como parte de sua série RTX de unidades de processamento gráfico (GPUs) . Simplificando, o DLSS escaneia e coleta dados de quadros anteriores e usa esses dados para preencher pixels ausentes no novo quadro. Com um toque de IA , você obtém uma imagem aprimorada (com resolução ampliada) com desempenho otimizado.

Em contraste, a tecnologia FSR ( Fidelity FX Super Resolution) da AMD funciona em praticamente qualquer processador gráfico. Ela utiliza um algoritmo proprietário de código aberto para aumentar a resolução de um jogo de uma resolução inferior para uma superior. É muito mais prática que o DLSS, pois não depende do hardware.

Alguns termos importantes e uma introdução à geração de frames.

Com a série RTX 40 vieram o DLSS 3.0 e a Geração de Quadros da NVIDIA . Mas o que significa exatamente "geração de quadros"? Em sua forma mais simples, geração de quadros é a inserção de um quadro entre outros dois. Esse processo é chamado de interpolação . Era uma técnica comum em televisores para aumentar a taxa de quadros do conteúdo exibido e igualá-la à taxa de atualização da TV.

O aumento de escala simplesmente melhora a qualidade da imagem e aumenta o desempenho. Em contraste, a geração de quadros (FG) cria um quadro totalmente novo entre dois quadros existentes, renderiza-o e tenta adivinhar o próximo quadro, tudo isso mantendo um tempo de resposta aceitável.

Essa técnica avançada requer a compreensão de dois conceitos fundamentais nessa área: Análise de Fluxo Óptico e Vetores de Movimento . Vamos examiná-los um por um:

1) Análise de fluxo óptico

Essa técnica utiliza uma série de imagens e estima como será a próxima versão da imagem. Essa estimativa é feita analisando a velocidade, a cor e o brilho dos objetos na imagem. Em vez de obter um resultado claro e específico, obtém-se apenas uma estimativa aproximada.

Imagine uma bola rolando no chão para a direita. A bola atinge seu destino em cinco etapas distintas. Supondo que seu movimento seja quase linear e em linha reta, você pode prever seu destino final. Se você já estudou geometria analítica , provavelmente já se deparou com a fórmula dos dois pontos:

y - y1 = (x-x1)(y2-y1) / (x2-x1)

A partir de apenas dois pontos, podemos determinar a equação da reta dada. Como a inclinação é constante, prever a próxima posição da imagem/ponto não é complicado. Deve-se notar que a técnica real é muito mais complexa do que isso.

O mais importante é que a análise de fluxo óptico não requer acesso aos dados do motor de jogo. Ela pode ser aplicada no nível do driver , onde o driver interpola (insere) quadros prevendo o movimento na tela. Em outras palavras, a análise de fluxo óptico não interage com o motor de jogo.

A desvantagem é que o driver não consegue distinguir entre a interface do usuário (UI) e o ambiente 3D real , podendo ocorrer distorções inesperadas. Além disso, a saída nunca será refinada, pois utiliza dados de quadro brutos.

2) Vetores de movimento no motor de jogo

Os vetores de movimento são vetores direcionais que indicam o deslocamento de objetos de um quadro para outro. Eles são um componente fundamental dos motores de jogos e representam a transformação e o movimento dos objetos. Essa é uma maneira mais poderosa de representar o movimento do que simplesmente "adivinhar" a posição de um objeto.

Caso esteja se perguntando, os vetores de movimento são uma parte vital da geração de frames. No entanto, esses dados exigem compatibilidade entre o driver e o motor do jogo. Alcançar essa compatibilidade requer implementação por parte dos desenvolvedores do jogo.

Portanto, embora superiores à Análise de Fluxo Óptico, os vetores de movimento têm escopo e escalabilidade muito limitados, o que significa que esse recurso não estará disponível em todos os jogos. Se você estiver jogando um título mais antigo da década de 2010 , é altamente improvável que soluções de geração de quadros (FG) compatíveis com vetores de movimento (como DLSS FG e FSR3 FG) estejam disponíveis.

Comparação entre a geração de quadros DLSS e a geração de quadros FSR.

Agora vamos ver como as tecnologias de geração de quadros atuais das equipes Verde e Vermelha se comparam.

↪ NVIDIA:

A versão da NVIDIA para geração de frames utiliza uma combinação de vetores de movimento e análise de fluxo óptico. O Acelerador de Fluxo Óptico (OFA) nas GPUs da série RTX 40 analisa dois frames. Em seguida, identifica informações não incluídas nos vetores de movimento do jogo, como partículas, reflexos, sombras e assim por diante. No exemplo abaixo, a análise de fluxo óptico permite o rastreamento preciso de sombras.

Em contraste, o componente de vetor de movimento rastreia o ambiente tridimensional e a geometria da cena. No exemplo da bicicleta, os vetores de movimento podem determinar matematicamente a posição futura precisa do ciclista ou da estrada. No entanto, eles não podem determinar a sombra, que é o foco da análise de fluxo óptico. Portanto, os dois devem trabalhar juntos para produzir uma imagem precisa.

• Requer Suporte ao desenvolvedor os jogos
• يستخدم Uma mistura De Análise de fluxo óptico وVetores de movimento
• restrito com hardware Em unidades de processamento gráfico RTX 40
• Não é possivel Implementando-o em Nível do programa de motoristas

↪ AMD:

A tecnologia de geração de quadros FSR 3 é muito semelhante à tecnologia de geração de quadros DLSS da NVIDIA. Além de algumas mudanças de nome, essa tecnologia também integra uma combinação de análise de fluxo visual e vetores de movimento . Por razões óbvias, ambas as tecnologias exigem suporte dos desenvolvedores de jogos.

• Requer Suporte ao desenvolvedor os jogos
• يستخدم Uma mistura De Análise de fluxo óptico وVetores de movimento
• Pode ser ativado em unidades de processamento gráfico da série RX 5000/6000 وRTX 20/30/40
• Não é possivel Implementando-o em Nível do programa de motoristas

Anomalia: Quadros de Movimento Fluido AMD (AFMF)

A ferramenta mais próxima que temos de uma ferramenta de geração de frames definida pelo jogador é o AMD Fluid Motion Frames ( AFMF). O AFMF não interage com o jogo de forma alguma. Ele se baseia puramente na análise do fluxo visual ou na previsão do próximo frame.

Isso permite que ele funcione com quase todos os títulos DirectX 11/12 , já que não requer nenhum suporte de software. O AFMF não aumenta a taxa de quadros em si, mas faz com que o jogo pareça mais fluido, pois você verá um "sinal de mais " de quadros na sua tela.

Então, qual é a desvantagem? Bem, o AFMF nem chega perto de igualar o DLSS FG ou o FSR FG. Além disso, os problemas na interface do usuário são algo com que os usuários terão que lidar. No entanto, como opera em nível de hardware, é uma ótima opção se você estiver preparado para lidar com quaisquer erros que possam ocorrer.

• لا يتطلب Apoio aos desenvolvedores de jogos
• يستخدم Análise de fluxo óptico apenas
• Suporta apenas unidades de processamento gráfico. RDNA2 ou mais tarde
• Trabalho puramente على Nível de definição do operador

A NVIDIA responderá à AFMF?

A resposta óbvia é " não sabemos ", pois a NVIDIA ainda não emitiu nenhum comunicado sobre essa opção. Aaron Steinman, da AMD, confirma que essa iniciativa pressionará a NVIDIA a desenvolver algo semelhante ao AFMF em breve.

"Estou curioso para ver se a NVIDIA agora acha que deve seguir o exemplo que nós fizemos ao tornar algumas dessas soluções definidas pelo driver."

Aaron Steinman , para PC Gamer

Curiosamente, não vimos uma versão da NVIDIA do AFMF, especialmente depois de ter sido anunciado com orgulho que a série RTX 40 tinha um acelerador de fluxo óptico melhor em comparação com a Ampere (RTX 30). Esta foi a principal razão pela qual o NVIDIA FG (usando fluxo óptico + vetores de movimento) só pôde ser ativado na Ada Lovelace.

Por outro lado, a NVIDIA pode precisar treinar outro modelo do zero para este projeto, o que acarretaria custos adicionais significativos.

Vale mesmo a pena?

A geração de frames usando análise de fluxo óptico e vetores de movimento não está isenta de desvantagens. A latência de entrada gerada por esses recursos os torna pouco atraentes para jogadores. Por outro lado, o AFMF baseado em driver não é melhor, pois consome sua taxa de quadros (FPS) devido à interpolação, além de ser inconsistente e propenso a falhas e erros visuais.

A pergunta mais pertinente seria: " A NVIDIA não deveria melhorar primeiro a geração de frames do DLSS ?" Dado que a IA tende a melhorar com o tempo, o problema de latência deveria estar amplamente resolvido. A menos que a NVIDIA esteja estritamente limitada por seus modelos de dados, criar uma solução de geração de frames (FG) em nível de driver não deveria ser difícil, mas será que vale a pena?

↪ Será inútil?

Por padrão, onde você usaria a versão da NVIDIA do AFMF? A NVIDIA provavelmente restringirá esse recurso às GPUs da série RTX 40 ou superiores, que já são potentes o suficiente para rodar jogos mais antigos com excelentes taxas de quadros. Jogos mais recentes geralmente incluem suporte a DLSS 3 FG/FSR 3 FG.

As GPUs móveis são um caso diferente, mas uma abordagem em nível de driver seria muito útil para arquiteturas mais antigas como Pascal , Maxwell , Kepler e Fermi . Infelizmente, por razões técnicas, seria quase impossível estender esse recurso a essas unidades. Elas não possuem Tensor Cores e o CUDA não consegue fazer muita coisa com elas. Mesmo o AFMF só funciona com arquiteturas RDNA2 ou posteriores.

Expectativas para a RTX 50 'Blackwell'

Segundo rumores, a série RTX 50 será lançada no quarto trimestre de 2024. Espere uma série de anúncios, que podem ou não incluir uma solução universal de geração de quadros. Apesar da esperada fixação de hardware nas séries RTX 40/50, a NVIDIA não é conhecida por ficar para trás em nenhuma área. No entanto, isso é pura especulação e não há rumores que indiquem tais planos por parte da NVIDIA.

Conclusão

Embora a inteligência artificial (IA) tenha apresentado um crescimento sem precedentes, é necessário hardware suficiente para inferir e acelerar a IA. Se os núcleos da sua GPU não forem rápidos o bastante, a interpolação de quadros em tempo real torna-se simplesmente impossível. Você poderia transferir esse processamento para um servidor, mas isso exigiria uma assinatura e resultaria em uma latência muito alta. É importante que os fabricantes de GPUs encontrem um equilíbrio. Qual a sua opinião sobre isso? Deixe seu comentário.

perguntas comuns

O que é a geração de quadros baseada em driver, em termos simples?

Em termos simples, a geração de frames em nível de definição é uma solução universal para gerar frames dentro de frames sem a necessidade de suporte por parte dos desenvolvedores de jogos.

Caso seja lançado, o recurso de geração de quadros (FG) em nível de driver da NVIDIA será restrito às GPUs da série RTX 40 ou superiores?

Muito provavelmente, sim. Como o DLSS 3 FG exige GPUs da série RTX 40 devido ao seu novo "Acelerador de Fluxo Óptico", espere que as soluções oficiais baseadas em drivers tenham requisitos semelhantes.

Será que a linha RTX 50 revolucionará a tecnologia de geração de quadros como a conhecemos?

Não há rumores confirmados sobre isso. Só o tempo dirá, especialmente porque a maioria de nós não estava familiarizada com a tecnologia Frame Generation antes do anúncio da NVIDIA, há dois anos.