NTC è il nuovo algoritmo di Nvidia per la compressione delle texture

Sul suo blog Nvidia ha pubblicato il documento ‘‘Random-Access Neural Compression of Material Textures’’ per presentare l’NTC, il suo nuovo algoritmo per la compressione delle texture. Il lavoro si rivolge ai crescenti requisiti di memoria dei PC, che ora immagazzinano texture ad alta risoluzione e molte proprietà e attributi ad esse collegate per renderizzare materiali ad alta fedeltà e dall’aspetto naturale.

L’algoritmo rappresenta le texture come tensori in 3D, presupponendo che ogni texture abbia la stessa dimensione. Dovrebbe essere in grado di garantire una risoluzione 4 volte superiore (16 texel in più) rispetto alla compressione a blocchi (BC), che è uno standard di compressione delle texture basato su GPU disponibile in molti formati.

L’accesso casuale e locale è una caratteristica fondamentale dell’NTC: per consentire la compressione delle texture su GPU, è cruciale che l’accesso alle stesse avvenga senza ritardi, anche quando si applicano tassi di compressione elevati. Focalizzandosi sulla compressione di molti canali e mipmap (texture di dimensioni diverse) insieme, la qualità ed il bitrate sono migliori rispetto ai formati JPEG XL o AVIF.

Il continuo progresso del fotorealismo nel rendering è accompagnato da una crescita dei dati delle texture e, di conseguenza, da un aumento delle richieste di memoria e di archiviazione. Per affrontare questo problema, proponiamo una nuova tecnica di compressione neurale progettata specificamente per le texture dei materiali. viene riportato sul documento della Casa verde.

Sblocchiamo due livelli di dettaglio in più, cioè 16 volte più texel, utilizzando una compressione a basso bitrate, con una qualità dell’immagine migliore rispetto alle tecniche avanzate di compressione delle immagini, come AVIF e JPEG XL. Allo stesso tempo, il nostro metodo consente una decompressione on-demand e in tempo reale con accesso casuale simile alla compressione di texture a blocchi sulle GPU. Questo estende i vantaggi della compressione dall’archiviazione su disco alla memoria.

L’idea chiave del nostro approccio consiste nel comprimere insieme più texture di materiali e le loro catene di mipmap e nell’utilizzare una piccola rete neurale, ottimizzata per ciascun materiale, per decomprimerle. Infine, utilizziamo un’implementazione di addestramento personalizzata per ottenere velocità di compressione pratiche, le cui prestazioni superano di un ordine di grandezza quelle di framework generali, come PyTorch.

Per i più curiosi e per approfondire ulteriormente, il paper è consultabile direttamente cliccando qui.

Fonti: VideoCardz, Nvidia