엔비디아가 미국 새너제이에서 열린 세계 최대 AI·가속 컴퓨팅 콘퍼런스인 ‘엔비디아(NVIDIA) GTC 2026’에서 DLSS 5를 공개했다. DLSS 5는 2018년 발표된 실시간 레이 트레이싱 기술에 이어 엔비디아가 선보이는 차세대 컴퓨터 그래픽 혁신이다. 

DLSS 5는 픽셀에 사실적인 조명과 재질을 더하는 실시간 뉴럴 렌더링 모델을 도입한다. 이를 통해 렌더링과 현실 사이의 간극을 좁히며, 덕분에 게임 개발자들은 그동안 할리우드(Hollywood) 시각 효과에서만 가능했던 새로운 수준의 사실적인 컴퓨터 그래픽을 구현할 수 있다.

엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “엔비디아가 프로그래머블 셰이더(programmable shader)를 발명한 지 25년이 지난 지금, 우리는 컴퓨터 그래픽을 다시 한 번 재창조하고 있다. DLSS 5는 그래픽 분야의 ‘GPT 모멘트’로, 수작업 렌더링과 생성형 AI를 결합해 시각적 사실성을 비약적으로 끌어올린다. 동시에 아티스트가 창의적 표현에 필요한 제어력을 유지할 수 있도록 한다”고 말했다.

시네마틱 격차 해소

엔비디아 지포스(GeForce™) 출시 이후 엔비디아는 게임 개발자들이 생생하고 사실적인 세계를 구현할 수 있도록 그래픽 성능을 제공해 왔다. 이러한 세계에서는 조명, 반사, 그림자가 자연의 법칙에 따라 표현된다.

2001년 프로그래머블 셰이더를 탑재한 지포스 3, 2006년 쿠다(CUDA®)를 탑재한 지포스 8800 GTX™, 2018년 실시간 레이 트레이싱을 탑재한 지포스 RTX™ 2080 Ti, 2025년 패스 트레이싱과 뉴럴 셰이더를 탑재한 지포스 RTX 5090에 이르기까지 엔비디아는 주요 아키텍처 혁신과 함께 컴퓨팅 성능을 37만 5,000배 이상 끌어올리며 이러한 도전에 대응해 왔다.

그러나 약 16밀리초의 게임 프레임에 사용할 수 있는 렌더링 성능은 렌더링에 수분에서 수 시간이 걸리는 할리우드의 사실적인 VFX 프레임과 비교하면 극히 일부에 불과하다. 실시간 렌더링은 단순한 컴퓨팅 성능만으로는 사실성의 격차를 메울 수 없다.

DLSS는 성능 향상을 위한 AI 기술로, 2018년 처음 공개됐다. 초기에는 해상도를 업스케일링하는 방식으로 시작해 이후에는 완전히 새로운 프레임을 생성하는 방식으로 발전했다. 현재 DLSS는 750개 이상의 게임에 도입되며 업계 표준 기술로 자리 잡았다.

올해 CES에서 공개된 DLSS 4.5는 AI를 활용해 화면에 표시되는 픽셀 24개 중 23개를 생성한다. 이제 DLSS는 단순한 성능 향상을 넘어 게임의 시각적 충실도를 혁신하는 방향으로 진화하고 있다.

비디오 AI 모델은 빠르게 발전해 사실적인 픽셀을 생성할 수 있지만 대부분 오프라인 환경에서 작동한다. 따라서 정밀한 제어가 어렵고 예측 가능성이 낮으며, 새로운 프롬프트를 입력할 때마다 결과가 달라지는 경우도 많다. 그러나 게임에서는 픽셀이 결정론적(deterministic)으로 생성돼야 하며, 실시간으로 제공돼야 한다. 동시에 게임 개발자가 구축한 3D 월드와 예술적 의도를 충실히 반영해야 한다.

DLSS 5는 각 프레임의 색상과 모션 벡터를 입력으로 받아, AI 모델을 통해 장면에 사실적인 조명과 재질을 더한다. 이 조명과 재질은 원본 3D 콘텐츠에 기반하며, 프레임 간 일관성을 유지한다. DLSS 5는 최대 4K 해상도에서 실시간으로 구동돼 부드럽고 인터랙티브한 게임플레이를 지원한다.

AI 모델은 단일 프레임 분석만으로도 캐릭터, 머리카락, 직물, 반투명 피부 등 복잡한 장면 요소와 정면 조명, 역광, 흐린 날씨와 같은 환경 조명 조건을 이해하도록 엔드투엔드 방식으로 훈련됐다. 이를 바탕으로 DLSS 5는 피부의 서브서피스 스캐터링(subsurface scattering, SSS), 직물의 섬세한 광택, 머리카락에서의 빛과 재질 간 상호작용 등 복잡한 요소를 처리하면서도 원본 장면의 구조와 의미를 유지한 정밀한 이미지를 생성한다.

DLSS 5는 강도, 컬러 그레이딩(color grading), 마스킹(masking) 등 세밀한 제어 기능을 제공한다. 덕분에 아티스트는 각 게임의 고유한 미적 감각을 유지하면서도 효과가 적용될 위치와 방식을 결정할 수 있다. 또한 기존 DLSS와 엔비디아 리플렉스(Reflex) 기술에 사용되는 동일한 엔비디아 스트림라인(Streamline) 프레임워크를 통해 통합은 손쉽게 이뤄질 수 있다.

출시 정보·게임 개발사 지원

DLSS 5는 베데스다(Bethesda), 캡콤(CAPCOM), 호타 스튜디오(Hotta Studio), 넷이즈(NetEase), 엔씨소프트(NCSOFT), S-GAME, 텐센트(Tencent), 유비소프트(Ubisoft), 워너 브라더스 게임즈(Warner Bros. Games) 등 주요 배급사·개발사에서 지원할 예정이다.

베데스다 게임 스튜디오(Bethesda Game Studios) 대표 겸 총괄 프로듀서 토드 하워드(Todd Howard)는 “엔비디아와 베데스다는 게임 그래픽과 혁신을 발전시키는 데 있어 오랜 역사를 함께해 왔으며, DLSS 5는 그 여정의 다음 주요 단계이다. DLSS 5를 통해 실시간 렌더링의 기존 한계에 제약받지 않고 예술적 스타일과 디테일이 그대로 표현된다. 우리는 이 새로운 기술과 협력하게 돼 기쁘며, ‘스타필드(Starfield)’와 향후 베데스다 타이틀에 DLSS 5를 적용하기를 기대하고 있다”고 말했다.

캡콤 총괄 프로듀서 겸 전무 타케우치 준(Jun Takeuchi)은 “캡콤은 영화 같은 몰입감과 깊은 설득력을 갖춘 경험을 만드는 데 노력하고 있다. 모든 그림자, 텍스처, 한 줄기의 빛까지도 분위기와 감정적 몰입을 강화하기 위해 의도적으로 설계된다. DLSS 5는 시각적 충실도를 한 단계 끌어올리는 중요한 진전으로, 플레이어가 ‘바이오하자드(Resident Evil)’ 세계에 깊이 몰입할 수 있도록 도울 것”이라고 말했다.

밴티지 스튜디오(Vantage Studios) 공동 CEO 찰리 기예모(Charlie Guillemot)는 “몰입감이란 세계를 실제처럼 느끼게 만드는 것이다. DLSS 5는 그 목표를 향한 중요한 진전이다. DLSS 5가 조명과 재질, 캐릭터를 렌더링하는 방식은 플레이어에게 제공할 수 있는 경험의 수준을 바꿔 놓고 있다. DLSS 5는 ‘어쌔신 크리드 섀도우스(Assassin’s Creed Shadows)’에서 우리가 항상 만들고 싶었던 세계를 구현할 수 있게 지원하고 있다”고 말했다.

DLSS 5는 ‘아이온2(AION 2)’, ‘어쌔신 크리드 섀도우스’, ‘블랙 스테이트(Black State)’, ‘신더시티(CINDER CITY)’, ‘델타 포스(Delta Force)’, ‘호그와트 레거시(Hogwarts Legacy)’, ‘저스티스(Justice)’, ‘나라카: 블레이드포인트(NARAKA: BLADEPOINT)’, ‘이환(NTE: Neverness to Everness)’, ‘팬텀 블레이드 제로(Phantom Blade Zero)’, ‘바이오하자드 레퀴엠(Resident Evil Requiem)’, ‘렘넌트의 바다(Sea of Remnants)’, ‘스타필드’, ‘엘더스크롤 4: 오블리비언 리마스터(The Elder Scrolls IV: Oblivion Remastered)’, ‘연운(Where Winds Meet)’ 등 다양한 게임에 적용될 예정이다.

DLSS 5는 올가을 출시될 예정이다.

조건희 / desk@gameshot.net