DLSS 3.0 چیست و چه قابلیت‌هایی ارائه می‌دهد؟

انویدیا در جریان رویداد معرفی پردازنده‌های گرافیکی سری RTX 4000 مبتنی بر معماری Ada Lovelace، از نسخه جدید فناوری DLSS نیز رونمایی کرد. این فناوری بر هوش مصنوعی هسته‌های Tensor نسل چهارم و معماری Ada Lovelace مبتنی است و با بهبود نرخ فریم اجرای بازی‌ها، کیفیت بالایی را برای تصاویر به ارمغان می‌آورد. DLSS 3 را می‌توان ترکیبی از سه فناوری Super Resolution، Frame Generation و Reflex انویدیا دانست.

فناوری Super Resolution، یکی از تکنیک‌های افزایش کیفیت تصویر در بُعد نرم‌افزاری است که در آن چندین تصویر با رزولوشن پایین‌ تلفیق شده و تصویری با رزولوشن بالاتر را تشکیل می‌دهند، Frame Generation که همان قابلیت تولید فریم به کمک هوش مصنوعی است و فناوری Reflex هم راه‌حلی نرم‌افزاری برای دور زدن صف رندر است که با بهبود ارتباط بین پردازنده و پردازنده‌ی گرافیکی، تأخیر را کاهش داده و به گیمرها کمک می‌کند تا در بازی‌های رقابتی بهتر و سریع‌تر واکنش نشان دهند.

DLSS چیست؟

DLSS یا نمونه‌گیری فوق‌العاده‌ی یادگیری عمیق (Deep Learning Super Sampling)، فناوری معرفی شده توسط انویدیا و حاصل ترکیب رزولوشن فوق‌العاده‌ی هوش مصنوعی و هسته‌های Tensor در پردازنده‌های گرافیکی RTX است. این فناوری از زمان انتشار دنیای گیمینگ را متحول کرده و امکان ساخت بازی‌هایی روان‌تر با جزئیات بالا را برای توسعه‌دهندگان فراهم می‌کند. این فناوری انقلابی پیشگامانه در گرافیک‌های مبتنی بر هوش مصنوعی است که عملکرد پردازنده‌های گرافیکی GeForce RTX را با استفاده از هسته‌های Tensor اختصاصی افزایش می‌دهد و در عین حال تصاویری زیبا و واضح تولید می‌کند.

DLSS اساساً تصاویر را با وضوح پایین‌تری تولید می‌کند تا فشار روی پردازنده‌ی گرافیکی را کاهش داده و درنتیجه امکان افزایش نرخ فریم را فراهم کند. به این معنی که وضوح را فدای کارایی کرده و سپس به کمک هوش مصنوعی پیکسل‌های بیشتری را به بازی اضافه می‌کند تا فریم‌ها به رزولوشن دلخواه‌ ارتقا یابند و هم‌زمان از نرخ فریم بالاتری هم بهره ببرند. در واقع DLSS، به جای پیکسل‌ها، فریم‌های کاملاً جدیدی با کیفیت بالا تولید کرده و ضمن حفظ کیفیت تصویر و نرخ پاسخ‌دهی، عملکرد را به‌ شکل چشمگیری افزایش می‌دهد.

DLSS درمقابل DSR و DLDSR

به‌طور کلی DSR و DLDSR تکنیک‌هایی برای کاهش مقیاس هستند، اما DLSS تکنیکی است که با بهره‌‌مندی از هوش مصنوعی برای افزایش مقیاس استفاده می‌شود.

در بازی‌های سازگار با فناوری DLSS، تصاویر ابتدا به فریم‌های مناسب برای تحلیل و بررسی توسط شبکه عصبی انویدیا تبدیل می‌شوند و سپس فرایند ساخت فریم جدید با رزولوشن پایین‌تر شروع شده و با کمک روش Anti-Aliasing، پیکسل‌های اضافی برای افزایش وضوح ساخته شده و هم‌زمان با فریم‌های معمولی بعدی نیز مقایسه می‌شوند.

درواقع DLSS هم‌زمان با افزایش کیفیت تصاویر خروجی و کاهش فشار روی پردازنده‌ی گرافیکی، نرخ فریم را نیز افزایش می‌دهد؛ بااین‌حال، این فناوری هنوز برای همه‌ی بازی‌ها دردسترس نیست؛ سیستم کاربر باید به گرافیک‌های سری 20، 30 یا 40 RTX با هسته‌های Tensor مجهز باشند و توسعه‌دهنده هم این قابلیت را در بازی خود ارائه دهد.

DSR یا Dynamic Super Resolution یکی از فناوری‌هایی است که حدود هفت سال پیش در کنار پردازنده‌های گرافیکی مکسول (Maxwell) توسط انویدیا معرفی شد و این امکان را فراهم کرد تا فریم‌های ارائه شده در بافر گرافیک وضوح بالاتری (تا چهار برابر بیشتر) را ارائه دهند و سپس وضوح را متناسب با توان نمایشگر کاهش دهند؛ وضوح بالاتر، حتی پس از فیلتر، هم خروجی بهتری را نمایش می‌دهد.

DSR در سطح درایور مدیریت می‌شود و بهترین حالت برای استفاده از آن، زمانی است که گرافیک می‌تواند محاسبات سنگین را پردازش کند؛ بااین‌حال، اگر پردازنده‌ی گرافیکی سیستمی خیلی قدرتمند نباشد و فریم‌ها با رزولوشن 1080p را به سختی رندر کند، رندر فریم‌ها در رزولوشن‌های 2K یا 4K می‌تواند آسیب جدی به نرخ فریم خروجی وارد کند. DSR با تمام گرافیک‌های جدید انویدیا سازگار است و می‌‌توان آن را در کنار DLSS نیز فعال کرد؛ این فناوری به سخت‌افزار خاصی نیاز ندارد.

DLDSR یا Deep Learning Dynamic Super Resolution انویدیا، نسخه‌ی ارتقایافته‌ی DSR است که قبل از کوچک کردن فریم‌ها مطابق با وضوح نمایشگر، از هوش مصنوعی برای کاهش مؤثرتر مقیاس تصاویر استفاده می‌کند. به ادعای انویدیا وضوح 4x که با DSR به دست می‌‌آید با وضوح 2.25x به دست آمده از DLDSR برابری می‌کند؛ به این معنی که DLDSR حدود ۲٫۲۵ برابر از DSR کارآمدتر است.

ازآنجاکه DLDSR به هسته‌های Tensor متکی است، تنها در گرافیک‌های سری 20 و 30 RTX دردسترس خواهد بود؛ این فناوری با DLSS سازگار است و تصاویر را قبل از شروع فرایند DLDSR ارتقاء داده تا رزولوشن بالا با هم کاهش یابد. این فناوری، بهتر است مانند DSR در گرافیک‌هایی با عملکرد قدرتمند به کار گرفته شود.

تاریخچه‌ی DLSS

انویدیا DLSS را در سپتامبر ۲۰۱۸ و به‌عنوان یکی از فناوری کلیدی گرافیک‌های RTX 20 معرفی کرد. در این فناوری از هسته‌های Tensor استفاده شده بود و ازآنجاکه الگوریتم این فناوری باید به‌طور خاص و جداگانه روی هر بازی اعمال می‌شد، در آن زمان، چند بازی ویدیویی محدود، مانند Battlefield V و Metro Exodus از این فناوری پشتیبانی می‌کردند. یک سال پس از آن، بازی ویدیویی Control با پشتیبانی از قابلیت ردیابی پرتو و نسخه‌ای بهبود‌یافته از DLSS که از هسته‌های Tensor استفاده نمی‌کرد، منتشر شد.

انویدیا در آوریل ۲۰۲۰، استفاده از هسته‌های تنسور را به این نسخه‌ی بهبودیافته اضافه کرد؛ فناوری جدید، DLSS 2.0 نام‌گذاری شد و برای بازی‌های بیشتری مانند Wolfenstein: Youngblood، Unreal Engine و Unity دردسترس قرار گرفت.

انویدیا در سپتامبر ۲۰۲۲ و در جریان رویداد GTC 2022 از نسل سوم فناوری DLSS رونمایی کرد که منحصراً روی گرافیک‌های سری RTX 4000 و معماری Ada Lovelace عمل می‌کرد. تیم سبز هم‌زمان با DLSS 3.0، فناوری مرتبط DLDSR (مخفف Deep Learning Dynamic Super Resolution) را نیز معرفی کرد؛ DLDSR تنها برای گرافیک‌های مجهز به هسته‌های Tensor (یعنی سری RTX 4000، RTX 3000 و RTX 2000) منتشر شده و با استفاده از یادگیری عمیق و هوش مصنوعی نرخ فریم را افزایش می‌دهد. تا به حال سه نسخه از فناوری DLSS انویدیا ارائه شده است که هر کدام نسبت به قبلی با بهبود‌های قابلی توجهی همراه است.

DLSS 1.0

اولین نسخه از فناوری DLSS‌، فرایندی دو مرحله‌ای برای ارتقا‌ی تصویر بود. هر دوی این مراحل بر شبکه‌های عصبی پیچشی مصنوعی یا خودرمزگذار وابسته هستند.

*شبکه‌ی عصبی پیچشی، رده‌ای از شبکه‌های عصبی ژرف است که از یک لایه‌ی ورودی، یک لایه‌ی خروجی و تعدادی لایه‌ی پنهان تشکیل شده‌ و معمولاً برای انجام تحلیل‌های تصویری یا گفتاری در یادگیری ماشینی به‌کار می‌رود. شبکه عصبی خودرمزگذار نیز به شبکه‌ای می‌گویند که قادر به یادگیری بدون معلم (ناظر) باشد.

یک شبکه‌ی بهبودِ تصویر در اولین گام از فریم‌ها و بردار‌ها برای Edge Enhancement (بهبود وضوح) و Spatial Anti-Aliasing (حذف پله‌پلگی) استفاده می‌کند و در مرحله دوم نیز از یک فریم خام و با وضوح پایین برای ارتقای تصویر به وضوح خروجی مورد نظر استفاده می‌کند. استفاده از تنها یک فریم برای افزایش مقیاس به این معنی است که مقدار زیادی از اطلاعات جدید توسط خود شبکه‌ی عصبی تولید می‌شود که ‌می‌تواند روی دقت خروجی تأثیر بگذارد.

شبکه‌های عصبی بسته به هر بازی و با روش سنتی نمونه‌گیری (۶۴ نمونه به ازای هر پیکسل و ۶۴ بردار حرکتی به ازای هر فریم)، فریم‌هایی مناسب ایجاد می‌کنند. داده‌های جمع‌آوری‌شده در نمونه‌ها باید تا حد امکان جامع باشد و تمام اطلاعات مربوط به سطوح، ساعات روز، تنظیمات گرافیکی، وضوح‌ها و … را در بر داشته باشند.

DLSS 1.0 با بازخورد‌های ضد و نقیضی مواجه شد و بسیاری از انتقادات هم به اغراق بیش از حد در حذف نویز و نتایجی مصنوعی مربوط می‌شد. این اتفاق را می‌توان درنتیجه‌ی استفاده از داده‌هایی محدود برای یک واحد نمونه‌گیری در شبکه‌ی عصبی دانست؛ چراکه شبکه‌‌های عصبی نمی‌توانند با داده‌های محدود خود را برای عملکرد بهینه آموزش دهند.

DLSS 2.0

نسخه‌ی دوم DLSS را می‌توان یک پیاده‌سازی برای آنتی آلیاسینگ زمانی (TAA) دانست که از داده‌ها و اطلاعات فریم‌های قبلی و فریم‌های فعلی برای از بین بردن مشکلات، هنگام نمایش جزئیات استفاده می‌کند.

Anti-Aliasing چیست؟

آنتی آلیاسینگ تکنیکی برای گول زدن چشم است که با فریب چشم کاربر، لبه‌های دندانه‌دار اجسام موجود در تصاویر را به شکلی صاف‌تر و نرم‌تر نشان می‌دهد. این تکنیک در بازی‌ها و گرافیک‌های کامپیوتری کاربرد زیادی دارد:

ابعاد حرف a در سمت چپ تصویر بدون استفاده از تکنیک Anti-Aliasing بزرگ شده و می‌توان لبه‌های دندانه‌دار آن را به‌راحتی مشاهده کرد؛ حرف a در سمت راست تصویر بعد از اعمال تکنیک Anti-Aliasing به دست آمده و همان‌طور که مشاهده می‌کنید، تصویری نرم‌تر و مات‌تر حاصل شده است. حال اگر سایز حروف را به حالت نرمال برگردانیم، تفاوت را بهتر احساس خواهید کرد:

حرف a در سمت چپ هنوز لبه‌های دندانه‌دار دارد، اما حرف a در سمت راست، نرم‌تر و به چشم زیباتر است.

در ادامه، برخی از روش‌های رایج Anti-Aliasing را در بازی‌های مدرن معرفی می‌کنیم:

SSAA

در روش سوپر سمپلینگ آنتی آلیاسینگ (Super Sampling Anti-Aliasing) فریم‌ها در رزولوشن‌های بالاتری ( 2x، 4x و 8x) نسبت به رزولوشن اجرایی رندر می‌شوند و سپس به اندازه‌ای مورد نظر برگردانده شده (DownSampling) و نمایش داده می‌شوند. ازآنجاکه سیستم برای رندر فریم‌های در رزولوشن‌های بالا به سخت‌افزاری قدرتمند نیاز دارد، این روش از نظر محاسباتی و پردازشی، بسیار سنگین و پرمصرف است. به همین دلیل توسعه‌دهندگان روش‌های دیگری را برای پیاده‌سازی Anti Aliasing ابداع کردند.

MSAA

روش مولتی سمپلینگ آنتی آلیاسینگ (Multi Sampling Anti-Aliasing) در مقایسه با روش سوپر سمپلینگ مؤثرتر و رایج‌تر است. این روش با کنار هم گذاشتن چند نمونه از دو یا چند پیکسل (2x، 4x، 8x و حتی 16x برای بعضی بازی‌ها)، تصویری باکیفیت‌تر تولید می‌کند؛ هرچه تعداد نمونه‌ها بیشتر باشد، سطوح در تصویر صاف‌تر نمایش داده می‌شوند، البته این کار به قیمت پردازش سنگین گرافیک سیستم تمام شده و روی عملکرد بازی نیز تأثیر می‌گذارد.

FXAA

روش Fast Approximate Anti-Aliasing یکی از روش‌های هوشمندانه‌ی آنتی آلیاسینگ و توسعه داده شده توسط انویدیا برای سیستم‌های نسبتاً ضعیف‌ است، چراکه کمترین فشار را به گرافیک وارد می‌کند و تأثیر چندانی روی عملکرد گیمینگ نمی‌گذارد.

FXAA به جای تحلیل و بررسی مدل‌های سه‌بعدی و محاسبه‌ی سطوح و گوشه چند‌ضلعی‌ها (Polygon)، از فیلتر پساپردازشی (post-processing) استفاده کرده و تمام عملیات پس از رندر و روی تصویر خروجی دوبعدی اعمال می‌شود؛ با استفاده از این روش، لبه‌های داخل بافت‌ها که MSAA در برطرف کردن آن‌ها ناتوان است، صاف می‌شوند و با اینکه وضوح تصویر در این روش پایین‌تر از برخی روش‌های دیگر است، اما بار پردازشی کمتری دارد و فشار کمتری به گرافیک وارد می‌کند.

MLAA

روش Morphological Anti-Aliasing در گرافیک‌های AMD است که فشار چندانی روی سخت‌افزار وارد نکرده و مانند FXAA با رد شدن از مرحله‌ی رندرینگ، در فریم خروجی به‌دنبال Aliasing (یا پله‌پلگی) می‌گردد و با در هم آمیختن پیکسل‌ها و تار کردن تصویر خروجی، ناصافی‌ها را (شاید حتی بیش از حد و اغراق شده) برطرف می‌کند.

SMAA

روش Subpixel Morphological Anti-Aliasing هم روش پساپردازش برای پیاده‌سازی آنتی آلیاسینگ است که از ترکیب روش‌های MLAA و MSAA و SSAA به دست آمده است. بسیاری از بازی‌های مدرن به صورت بومی (Native) از SMAA پشتیبانی می‌کنند؛ برای فعال کردن SMAA آن در دیگر بازی‌ها می‌توان از نرم‌افزار SweetFX کمک گرفت.

TXAA

در نهایت به روش محبوب و متداول Temporal Anti-Aliasing یا TAA می‌رسیم که مانند FXAA توسط انویدیا توسعه داده شده و از ادغام چندین روش مختلف برای مقابله با لبه لبه شدن استفاده می‌کند. این روش فریم قبلی را با فریم فعلی مقایسه کرده و با پیدا کردن لبه‌ها، ناصافی‌ها را برطرف می‌کند. TAA یا TXAA در طی چند فیلتر مختلف انجام می‌شود و می‌تواند حرکات موجود در لبه‌ها را برطرف کند.

***

فناوری DLSS هم یکی از روش‌های آنتی آلیاسینگ است که از هوش مصنوعی یا روش یادگیری ماشینی برای تولید تصویری با رزولوشن و وضوح بالاتری نسبت به رزولوشن و وضوح تصویر واقعی استفاده می‌کند. در واقع همان‌طور که گفته شد دومین نسخه از DLSS را می‌توان یک پیاده‌سازی برای آنتی آلیاسینگ زمانی (TAA) دانست که ورودی خام با وضوح پایین، بردارهای حرکت، بافرهای عمق و اطلاعات مربوط به نوردهی و روشنایی را جمع‌‌آوری می‌کند و تصویر خروجی را با وضوح صددرصد نمایش می‌دهد.

DLSS 2.0 از یک شبکه‌ی عصبی خودرمزگذار استفاده می‌کند که به جای شناسایی دستی مشکلات و قسمت‌های پله‌پله، به صورت خودکار این کار را انجام داده و آن‌ها را رفع می‌کند. به همین دلیل، DLSS 2.0 می‌تواند جزئیات را بهتر از سایر پیاده‌سازی‌ها نمایش دهد. بااین‌حال، این نسخه‌ هم راه‌حلی کامل ارائه نمی‌داد و در برخی از سناریو‌ها هنگام استفاده از DLSS 2.0 ردپایی از پله‌پلگی مشاهده می‌شود.

ازآنجاکه مشکلات موجود در برخی تصاویر در اکثر موارد به یک شکل اتفاق می‌افتند، شبکه‌ی عصبی DLSS 2.0 هنگام استفاده در بازی‌های مختلف نیازی به آموزش مجدد ندارد. با این وجود، انویدیا هر چند وقت یک بار بدون ارائه‌ی تاریخچهٔ تغییرات، به‌روزرسانی‌هایی جزئی برای این نسخه منتشر می‌کند.

پیشرفت‌های اصلی DLSS 2.0 در مقایسه با DLSS 1.0 عبارت‌اند از:

• بهبود قابل‌توجه حفظ جزئیات
• شبکه‌ی عصبی تعمیم‌یافته (که نیازی به آموزش مجدد برای هر بازی ندارد)
• نصف شدن زمان محاسبات

DLSS 3.0

جدیدترین نسخه از فناوری DLSS است که در اواخر شهریور ۱۴۰۱ منتشر شد و نرخ فریم‌ بالاتر و عملکرد بهتری را در ری‌تریسینگ آنی (رهگیری پرتو) بازی‌های ویدئویی ارائه می‌کند. DLSS 3.0 را می‌توان نسخه‌ی بهبودیافته‌ی همان مفهوم پایه‌ای نسخه‌ی اصلی دانست که تا چهار برابر رندر تمام جایگشت‌های ممکن را سرعت می‌بخشد. انویدیا در نسخه‌ی جدید DLSS با بهره‌مندی از فناوری جدید Ada Lovelace، هسته‌های Tensor نسل چهارم و ترکیبی از فناوری‌های OFA (شتاب‌دهنده‌ی جریان نوری)، Super Resolution، Frame Generation و Reflex قابلیت جدیدی به نام Optical Multi Frame Generation را ارائه می‌دهد.

قابلیت Optical Multi Frame Generation دو فریم متوالی از یک بازی را تحلیل کرده و جزئیات پیکسل‌های آن از جمله ذرات، بازتاب‌ها، نورپردازی‌ها و سایه‌ها را ثبت می‌کند، سپس این دو فریم رندر شده را گرفته و فریمی جدید ایجاد می‌کند؛ بنابراین برای هر فریم ارائه شده، یک فریم اضافی تولید می‌شود.

طبق ادعای انویدیا DLSS 3.0 می‌تواند سه‌چهارم فریم اول را با DLSS Super Resolution و فریم کامل دوم را با کمک فناوری DLSS Frame Generation بازسازی کند. پس DLSS 3 در مجموع می‌تواند هفت‌هشتم یک فریم کامل را به کمک دو فریم بسازد. نسخه‌ی جدید DLSS علاوه بر افزایش ۴ برابری عملکرد، به کمک قابلیت Reflex تأخیر را هم تا ۲ برابر کاهش می‌دهد.

در وب‌سایت انویدیا نام بیش از ۳۵ بازی و اپلیکیشن آورده شده که از DLSS 3 پشتیبانی می‌کنند و اگر بازی یا اپلیکیشنی هم از نسخه‌ی DLSS 2.0 پشتیبانی کند، ارتقای آن به نسخه‌ی سوم فرایندی ساده خواهد بود و طی آن دو قابلیت Super Resolution و Frame Generation هم دردسترس قرار می‌گیرد. درواقع DLSS 3.0 از همان تنظیمات DLSS 2.0 (بافر رنگ، بافر عمق، بردارهای حرکت موتور و بافرهای خروجی)‌ استفاده می‌کند و ارتقای آن نیز خیلی ساده و به کمک افزونه‌‌ی Streamline انجام می‌شود.

DLSS 3 همچنین برای محبوب‌ترین ابزار‌ها و سیستم‌های توسعه‌دهنده‌ی بازی جهان، مانند Unity، Unreal Engine و Frostbite Engine دردسترس قرار دارد و این پلتفرم‌ها می‌توانند بازی‌های خود را با قابلیت DLSS 3.0 منتشر کنند. نسل جدید DLSS حتی محدودیت‌های عملکردی پردازنده‌ را هم کاهش می‌دهد و در بازی‌های متکی بر پردازنده‌‌، عملکرد را تا ۲ برابر بهبود می‌بخشد.