Como a NVIDIA planeja gerar frames por meio de definições?

Pontos principais

• A NVIDIA e a AMD estão aprimorando a experiência de jogos por meio da tecnologia Frame Generation, que cria quadros adicionais para uma jogabilidade mais fluida. A NVIDIA utiliza métodos complexos e específicos para cada hardware, enquanto a tecnologia AFMF da AMD, mais simples, opera no nível do driver sem exigir intervenção dos desenvolvedores de jogos.
• Não está claro se a NVIDIA adotará uma tecnologia de geração de quadros baseada em parâmetros operacionais, como o AFMF da AMD. Sua tecnologia atual depende muito de GPUs mais recentes e combina diversos métodos para obter melhor qualidade, o que sugere uma possível resistência em mudar suas estratégias.
• Ambos os métodos melhoram as taxas de quadros, mas podem introduzir erros visuais ou atrasos. A tecnologia AFMF da AMD é mais flexível, mas pode ser menos precisa, enquanto a abordagem da NVIDIA prioriza a qualidade e pode evoluir com os lançamentos de novas GPUs.

A essa altura, provavelmente todos já ouvimos falar da nova palavra da moda no mundo dos jogos, cunhada pela NVIDIA e pela AMD:Geração de quadros“(Geração de frames). Essa tecnologia, que críticos e defensores descrevem como o futuro dos jogos, precisa de alguns aprimoramentos antes de se tornar a solução.”ideal"Para melhorar seu desempenho."

Com a tecnologia AFMF da AMD estabelecendo um novo padrão para uma ferramenta simples de geração de quadros baseada em “Pressão e operaçãoEntão, será que a NVIDIA seguirá os passos da AMD e implementará uma solução universal de geração de frames baseada em definições operacionais? Vamos descobrir.

A NVIDIA criará uma solução de geração de frames baseada em definições operacionais?

Antes de abordarmos o tema principal, vamos revisar como funcionam as técnicas de Upscaling e Geração de Quadros, além de alguns termos importantes que precisam ser compreendidos.

Técnica DLSS É uma abreviação de Super Amostragem de Deep Learning Foi lançado pela NVIDIA em 2017. 2018 Como parte da série de unidades de processamento gráfico (GPUs) Extensão RTXEm termos simples, o DLSS escaneia e coleta dados de quadros anteriores e usa esses dados para preencher pixels ausentes no novo quadro. Com um toque de AIVocê obtém uma imagem aprimorada (ampliada) com Desempenho aprimorado.

Em contraste, a tecnologia pode FSR Da AMD ou Fidelity FX Super Resolução Funciona em praticamente todos os processadores gráficos. Utiliza um algoritmo proprietário de ampliação espacial. Código aberto Aumentar a resolução do jogo de uma resolução inferior para uma superior é muito mais prático do que usar o DLSS, pois não depende do hardware.

Alguns termos importantes e uma introdução à geração de frames.

Com a série RTX 40, a tecnologia chegou DLSS-3.0 وGeração de quadros NVIDIAO que exatamente significa 'geração de quadros'? A geração de quadros, em sua forma mais simples, consiste em inserir um quadro entre outros dois quadros. Esse processo é chamado de... InterpolaçãoEssa era uma técnica comum em televisores para aumentar a taxa de quadros do conteúdo exibido, de modo a corresponder à taxa de atualização da televisão.

O aumento de escala simplesmente melhora a qualidade da imagem e aumenta o desempenho. Em contraste, a geração de quadros (FG) cria um quadro totalmente novo entre dois quadros existentes, renderiza-o e tenta adivinhar o próximo quadro, tudo isso mantendo um tempo de resposta aceitável.

Essa tecnologia avançada exige compreensão. Dois conceitos Principais intervenientes nesta área: Análise de fluxo óptico وVetores de movimentoVamos analisá-los um por um:

1) Análise de fluxo óptico

Essa técnica utiliza uma série de imagens e estima como será a próxima versão da imagem. Essa estimativa é feita por meio de análise. Velocidade, cor, brilho Os objetos na imagem. Em vez de obter um resultado claro e específico, você obtém apenas uma estimativa aproximada.

Vamos imaginar uma bola rolando no chão para a direita. A bola atinge seu destino em 5 Etapas separadas. Supondo que seu movimento seja quase linear e em linha reta, você pode prever seu destino final. Se você estudou Geometria AnalíticaVocê certamente já se deparou com o formato de dois pontos:

y - y1 = (x-x1)(y2-y1) / (x2-x1)

A partir de apenas dois pontos, podemos determinar a equação da reta dada. Como a inclinação é constante, prever a próxima posição da imagem/ponto não é complicado. Deve-se notar que a técnica real é muito mais complexa do que isso.

Mais importante ainda, a análise de fluxo óptico. لا يتطلب Acessando dados do motor de jogo. Isso pode ser aplicado a Nível do motoristaO software do driver interpola (insere) quadros prevendo o movimento na tela. Simplificando, a análise de fluxo visual não interage com o motor do jogo.

A desvantagem é que o motorista não consegue distinguir entre interface de usuário e o meio ambiente 3D Os dados reais são utilizados, portanto, distorções inesperadas podem ocorrer. Além disso, a saída nunca será refinada, pois utiliza dados brutos dos quadros.

2) Vetores de movimento no motor de jogo

Os vetores de movimento são vetores direcionais que indicam deslocamento Os objetos se movem de um quadro para o outro. Eles são um componente fundamental do motor do jogo e representam a transformação e o movimento dos objetos. Essa é uma maneira mais eficaz de representar o movimento do que simplesmente "adivinhar" a posição do objeto.

Caso esteja se perguntando, os vetores de movimento são uma parte vital da geração de frames. No entanto, esses dados exigem compatibilidade entre o driver e o motor do jogo. Alcançar essa compatibilidade requer implementação por parte dos desenvolvedores do jogo.

Portanto, embora superiores à análise de fluxo óptico, os vetores de movimento têm escopo e escalabilidade muito limitados, e esse recurso não estará disponível em todos os jogos. Se você estiver jogando um título mais antigo da anos 2010É muito provável que as soluções não sejam Geração de pneus (FG) Há suporte para vetores de movimento (como DLSS FG e FSR 3 FG).

Comparação entre a geração de quadros DLSS e a geração de quadros FSR.

Agora vamos ver como as tecnologias de geração de quadros atuais das equipes Verde e Vermelha se comparam.

↪ NVIDIA:

A versão da NVIDIA para geração de quadros utiliza uma combinação de vetores de movimento e análise de fluxo óptico. Acelerador de fluxo óptico Nas GPUs RTX 40, dois quadros são analisados. Esse processo identifica informações não incluídas nos vetores de movimento do jogo, como partículas, reflexos, sombras e assim por diante. No exemplo abaixo, a análise de fluxo óptico permite um rastreamento preciso de sombras.

Em contraste, trilhas parciais vetor de movimento O ambiente tridimensional e a geometria da cena. No exemplo da bicicleta, os vetores de movimento podem determinar matematicamente a posição futura precisa do ciclista ou da estrada. No entanto, eles não conseguem determinar a sombra, que é o objetivo da análise de fluxo óptico. Portanto, os dois devem trabalhar juntos para produzir uma imagem precisa.

• Requer Suporte ao desenvolvedor os jogos
• يستخدم Uma mistura De Análise de fluxo óptico وVetores de movimento
• restrito com hardware Em unidades de processamento gráfico RTX 40
• Não é possivel Implementando-o em Nível do programa de motoristas

↪ AMD:

Tecnologia FSR 3 Geração de Pneus É muito semelhante à tecnologia de geração de quadros DLSS da NVIDIA. Além de algumas mudanças de nome, essa tecnologia também incorpora uma combinação de Análise de fluxo óptico وVetores de movimentoPor razões óbvias, ambas as tecnologias requerem o apoio dos desenvolvedores de jogos.

• Requer Suporte ao desenvolvedor os jogos
• يستخدم Uma mistura De Análise de fluxo óptico وVetores de movimento
• Pode ser ativado em unidades de processamento gráfico da série RX 5000/6000 وRTX 20/30/40
• Não é possivel Implementando-o em Nível do programa de motoristas

Anomalia: Quadros de Movimento Fluido AMD (AFMF)

O mais próximo que temos de um gerador de quadros definido pelo operador é Quadros AMD Fluid MotionAFMF não interage com o jogo de forma alguma. É independente. puramente على Análise de fluxo ópticoOu prevendo o próximo quadro.

Isso permite que funcione com todos os endereços. DirectX 11/12 Na prática, não requer nenhum suporte de software. O AFMF não aumenta a taxa de quadros, mas faz com que o jogo pareça mais fluido, já que você verá um "sinal de mais" de quadros na sua tela.

Então, qual é a desvantagem? Bem, o AFMF nem chega perto de igualar o DLSS FG ou o FSR FG. Além disso, os problemas na interface do usuário são algo com que os usuários terão que lidar. No entanto, como opera em nível de hardware, é uma ótima opção se você estiver preparado para lidar com quaisquer erros que possam ocorrer.

• لا يتطلب Apoio aos desenvolvedores de jogos
• يستخدم Análise de fluxo óptico apenas
• Suporta apenas unidades de processamento gráfico. RDNA2 ou mais tarde
• Trabalho puramente على Nível de definição do operador

A NVIDIA responderá à AFMF?

A resposta óbvia é 'Nós não sabemos'Porque a NVIDIA ainda não emitiu nenhum comunicado sobre essa opção.' Aaron Steinman A AMD acredita que essa iniciativa pressionará a NVIDIA a desenvolver algo semelhante ao AFMF em breve.

"Estou curioso para ver se a NVIDIA agora acha que deve seguir o exemplo que nós fizemos ao tornar algumas dessas soluções definidas pelo driver."

Aaron Steinmanpara PC Gamer

Curiosamente, não vimos uma versão da NVIDIA do AFMF, especialmente depois do anúncio orgulhoso de que a série RTX 40 conteria esse recurso. Acelerador de fluxo óptico Melhor em comparação com ampére (RTX 30). Este foi o principal motivo pelo qual o NVIDIA FG (usando fluxo óptico + vetores de movimento) só pôde ser ativado em Ada Lovelace.

Por outro lado, a NVIDIA pode precisar treinar outro modelo do zero para este projeto, o que acarretaria custos adicionais significativos.

Vale mesmo a pena?

A geração de frames usando tanto a análise de fluxo óptico quanto vetores de movimento não está isenta de desvantagens. Latência de entrada Os efeitos dessas características tornam esses recursos extremamente pouco atraentes para os jogadores. Por outro lado, o AFMF baseado em driver não é melhor, pois consome sua taxa de quadros (FPS) devido à interpolação, além de ser inconsistente e propenso a problemas e erros visuais.

A pergunta mais pertinente seria:A NVIDIA não deveria melhorar primeiro a geração de quadros do DLSS?Considerando que a IA tende a melhorar com o tempo, o problema de latência deve estar amplamente resolvido. A menos que a NVIDIA esteja estritamente limitada por seus modelos de dados, criar uma solução de geração de quadros (FG) em nível de driver não deve ser difícil, mas vale o esforço?

↪ Será inútil?

Por padrão, onde a NVIDIA usaria sua versão do AFMF? Provavelmente, a NVIDIA restringirá esse recurso às GPUs da série 500. RTX 40 Ou superior, que por si só já é potente o suficiente para rodar jogos mais antigos com excelentes taxas de quadros. Frequentemente. Os jogos mais recentes incluem Suporte para DLSS 3 FG / FSR 3 FG.

تعد Unidades de processamento gráfico (GPUs) móveis Um caso diferente, mas uma abordagem em nível de driver seria muito útil para arquiteturas legadas como... Pascal و Maxwell و Kepler و FermiInfelizmente, por razões técnicas, será praticamente impossível estender esse recurso a essas unidades. Elas não possuem essa funcionalidade. Núcleos TensoresEntretanto, o CUDA não consegue fazer muita coisa. Mesmo o AFMF só funciona com RDNA2 ou versões posteriores.

Expectativas para a RTX 50 'Blackwell'

Segundo rumores, uma série será lançada. RTX 50 Pela primeira vez em Quarto trimestre de 2024Espere um grande número de anúncios, que podem ou não incluir uma solução universal para geração de frames. Apesar da esperada fixação de hardware na série RTX 40/50, a NVIDIA não é conhecida por ficar para trás em nenhuma área. No entanto, isso é pura especulação, eNão há rumores. Isso se refere a planos da NVIDIA.

Conclusão

Embora a inteligência artificial (IA) tenha apresentado um crescimento sem precedentes, é necessário hardware suficiente para inferir e acelerar a IA. Se os núcleos da sua GPU não forem rápidos o bastante, a interpolação de quadros em tempo real torna-se simplesmente impossível. Você poderia transferir esse processamento para um servidor, mas isso exigiria uma assinatura e resultaria em uma latência muito alta. É importante que os fabricantes de GPUs encontrem um equilíbrio. Qual a sua opinião sobre isso? Deixe seu comentário.

perguntas comuns

O que é a geração de quadros baseada em driver, em termos simples?

Em termos simples, a geração de frames em nível de definição é uma solução universal para gerar frames dentro de frames sem a necessidade de suporte por parte dos desenvolvedores de jogos.

Caso seja lançado, o recurso de geração de quadros (FG) em nível de driver da NVIDIA será restrito às GPUs da série RTX 40 ou superiores?

Muito provavelmente, sim. Como o DLSS 3 FG exige GPUs da série RTX 40 devido ao seu novo "Acelerador de Fluxo Óptico", espere que as soluções oficiais baseadas em drivers tenham requisitos semelhantes.

Será que a linha RTX 50 revolucionará a tecnologia de geração de quadros como a conhecemos?

Não há rumores confirmados sobre isso. Só o tempo dirá, especialmente porque a maioria de nós não estava familiarizada com a tecnologia Frame Generation antes do anúncio da NVIDIA, há dois anos.