レイトレーシングにDLSS、RTコアやTensorコアの役割、自動OCテスト機能まで！

Turingコアの構造も謎の指標「RTX-OPS」の計算方法も明らかに！徐々に見えてきたGeForce RTX 20シリーズの全貌

AIでアンチエイリアスを高効率化

　RTXテクノロジーを支えるのはRTコアのほかに、Voltaから継承したAI処理向けのTensorコアがある。レイトレーシングのデノイズ処理にも利用できる部分だが、NVIDIAはTensorコアとDNN（ディープ・ニューラル・ネットワーク）を組み合わせたAPI「NGX（Neural Graphics Acceleration）」を投入してきた。NGXはTuringでのみ動作するテクノロジーでもある。

　NGXはTuringベースのGPUとドライバー、そしてGeForce Experience（GFE）の三者が揃って初めて機能する。Tensorコアを備えたTuringベースのGPU、そしてNVIDIAのスパコンで学習したデータを盛り込んだGeForce用ドライバーが揃った環境であることをGFEが検知すると、NGXがインストールされる。

　GFEを必要とする理由は、NGXの機能を使うにはゲームやアプリごとの個別学習データが必要であり、それを判断する役目をGFEに負担させているのだろう。

NGXで提供される「Inpainting」、つまり写真から電線を削除したり、欠損したイメージから元のイメージを推察して復元したり、といったものだ。

NGXで提供される超解像処理「AI Super Rez」。普通に画像を拡大するとドット感が出てしまう（図左及び中央）が、DLSS（後述）を使って処理するとより自然なアウトプットが得られる。30fpsのフルHD動画もリアルタイムで4Kアップスケーリングが可能なほど高速。

　NGXが提供する機能の中で最もゲーミングに近い技術はディープラーニングを利用した新しいアンチエイリアス技法「DLSS」、すなわちDeep Learning Super Samplingだ。

　従来のアンチエイリアス技法には、軽快だがアラを見つけやすい「FXAA」、高解像度でレンダリングした画像を縮小表示するので重い「SSAA」、SSAAを改良した「MSAA」、そして前フレームの情報も加味した高性能な「TAA（TXAA）」、といったものがある。

　高性能なアンチエイリアスはジャギーが目立たなくなるぶんVRAMの消費量が多かったり、GPU自体への負荷も高いというデメリットも出てくる。そこをDNNとTensorコアを利用して解決しようというのがDLSSだ。

　具体的にはDLSSゲームのレンダリング結果を、NVIDIAのスーパーコンピューターを用いて機械学習させる。この時の学習イメージはPC上よりもずっと高い解像度（64xのSSAA相当）でレンダリングされ、機械学習で言うところの真の正解、いわゆる“Ground Truth”なイメージになる。

　この真の正解と、実際に64x SSAAでレンダリングさせた結果を突き合わせ、ベストなアンチエイリアスのかけ方を学習させていく。この学習結果がドライバーを通じてRTX 20シリーズ搭載PCに送り込まれるのだ。

　DLSSは映像のクオリティー低下を最低限に抑えつつも、TAAよりも軽快に動作する、ということを売りにしている。4K環境でTAAを使う時よりも、DLSSのほうが2倍のパフォーマンスが出せる。あるいはTAAではディテールが崩れてしまうようなシチュエーション（前フレームとの差を見ながら処理をするため、輪郭が崩れるのは避けられない）でも、崩れずに高品位なアンチエイリアス画像が得られる。

ゲームをDLSS対応にするには、超高解像度でレンダリングした画像と、同じシーンで超高設定のSSAAをかけた画像を突き合わせ、どのようにアンチエイリアスをかければGround Truthイメージに近くなるかをディープラーニングさせる。その結果がAIモデルとなり、ドライバーに組み込まれてユーザーの元に届けられるのだ。

左が64x SSAA、つまり本来解像度の64倍でレンダリングしたものを縮小してアンチエイリアスとしたもの。右が2x DLSS。DLSSならアンチエイリアスの設定が低くても、超高SSAA設定と同等の画質が得られるらしい。ちなみにこれはUE4で作られた「Infiltrator」というデモのからの引用だ。

TAAとDLSSの比較。TAAでは細かいディテールが潰れてしまうが、DLSSならそれを損なわずに表現できる。

GTX 1080 TiでTAAをかけた状態と、RTX 2080 TiでDLSSをかけた状態（解像度は4K、AAの設定値は不明）。TAAでは動きのある物体の輪郭が崩れて表示されることがあるが、DLSSでは崩れが発生しない。DLSSを使ったRTX 2080 Tiは、4K環境でGTX 1080 Tiの2倍のフレームレートが出せるという。

TAAはHUDのような表現でボロが出やすい反面、DLSSなら表示の崩れもなく高クオリティーなアンチエイリアスになる。

　アンチエイリアスの比較になぜTAAを持ち出すのか？ と疑問を持つ人もいることだろう。

　最近のゲームでは軽快なFXAAがデフォルトになっていることも多いし、SSAAやMSAAはGPUの負荷が高い。TAAはNVIDIAがKeplerから導入した技術なので手前味噌感もあるが、MSAAより高画質というメリットがある。かつてNVIDIAは（主観的な評価ではあるが）TAA2x TAAでも8x MSAAより高画質と言っていたので、画質はMSAA＜TAA＜DLSSという序列になる。

　このDLSSを使うにはゲーム側もDLSSに対応する必要がある（ゲームごとにDLSS用の学習データが異なるためでもある）。DLSS対応ゲームは描画の仕組みそのものを変えてしまうリアルタイムレイトレーシングと違い、ゲーム側でも対応しやすいメリットがある。

　ただし、現時点ではリアルタイムレイトレーシングもDLSS対応も区別なく「RTX対応ゲーム」として括られるため、実際にどちらの技術を活用しているかは自分で確認しておく必要があるだろう。

DLSS対応を表明したゲームは本稿公開時点では25タイトル。レイトレーシングと違い、既存のゲームにも組み込みやすいのがDLSSのメリットと言える。

●DLSS対応を表明したゲームタイトル（9月14日時点）
Ark: Survival Evolved
Atomic Heart
Darksiders III
Dauntless
Deliver Us The Moon: Fortuna
Fear The Wolves
Final Fantasy XV: Windows Edition
Fractured Lands
Hellblade: Senua's Sacrifice
Hitman 2
Islands of Nyne
JX3
Justice
KINETIK
Mechwarrior 5: Mercenaries
Outpost Zero
Overkill's The Walking Dead
PLAYERUNKNOWN'S BATTLEGROUNDS
Remnant: From The Ashes
Serious Sam 4: Planet Badass
Shadow of the Tomb Raider
Stormdivers
The Forge Arena
We Happy Few