"Black Myth: Wukong" 게임은 단지 하나의 괴물인가요?
친구가 나에게 이렇게 질문했을 때 나는 그 순간 방심했다.
Yang Jian이 Tiger Vanguard의 죽음에 사로잡혀야 한다는 것을 깨닫는 데 반나절도 채 걸리지 않았습니다. "Black Myth"를 클리어하려면 AI를 믿을 수 있습니까?
구르고 피하며 거리를 유지하면서 몬스터의 움직임을 선명하게 볼 수 있습니다.
때가 되자 운명의 사나이가 갑자기 무거운 지팡이를 휘둘렀다.
AI의 힘에 힘입어 일련의 비단 콤보가 이뤄졌고, 반격 능력도 없이 보스를 쓰러뜨린 게이머들이 얼마나 울었는지 모른다.
Alibaba 연구팀은 최근 VARP 에이전트 프레임워크를 제안했습니다. 그리고 이 AI "말"은 그들이 만든 것입니다.
플러그인은 아니지만 플러그인보다는 낫다고 할 수 있습니다.
대현자와 마주한 GPT들은 그야말로 인간들 못지않았다.
대현자를 상대하는 AI는 사실 그다지 복잡하지 않습니다.
전통적으로 게임 AI는 게임 API를 사용하여 환경 정보와 실행 가능한 동작 데이터를 얻습니다. 하지만 문제는 모든 게임이 오픈 API를 제공하려는 것은 아니며, 오픈 API를 제공하더라도 일부 API는 팔다리가 부족하여 실제 요구 사항을 충족하기 어렵다는 점입니다.
더욱이, 전통적인 방법은 항상 뭔가 빠진 것처럼 느껴지고 인간 플레이어의 실제 게임 경험을 완전히 시뮬레이션할 수 없습니다.
이를 기반으로 알리바바 연구진은 새로운 VARP(Vision Action Role-Playing) 에이전트 프레임워크를 제안했습니다.
VARP 에이전트 프레임워크는 입력 게임 스크린샷을 수신한 후 VLM 세트를 사용하여 추론을 수행하고 최종적으로 Python 형식의 코드를 생성하여 가벼운 공격, 회피, 강한 공격과 같은 일련의 원자 명령 조합을 포함하여 게임 캐릭터를 제어합니다. , 그리고 건강 회복을 기다리세요.
VARP에는 상황 기반, 행동 기반, 인간 유도 기반의 세 가지 지식 기반과 행동 계획 시스템, 인간 유도 궤도 시스템이라는 두 가지 시스템이 포함되어 있습니다.
간단히 말해서, 행동 계획 시스템은 상황 라이브러리와 업데이트 가능한 행동 라이브러리에서 가장 적절한 자료를 찾는 일을 담당하는 사서와 같습니다.
시스템은 입력된 게임 스크린샷을 기반으로 현재 상황에 맞는 액션을 선택하거나 생성하며, 이러한 액션과 상황은 이 두 라이브러리에 저장되거나 업데이트됩니다.
인간 유도 궤도 시스템은 인간 작동 데이터 세트를 사용하여 경로 찾기 작업 및 어려운 전투 작업과 같은 복잡한 작업에서 VARP의 성능을 향상시킵니다.
액션 라이브러리에서 "def new_func_a()"는 액션 계획 시스템에 의해 생성된 새로운 액션을 나타내고, "def new_func_h()"는 인간 유도 궤적 시스템에 의해 생성된 새로운 액션을 나타냅니다. "def pre_func()"는 미리 정의된 작업을 나타냅니다.
위에서 언급한 게임 'Black Myth Wukong'에서 연구팀은 12개의 작업을 설정했으며 그 중 75%가 전투와 관련되어 있으며 GPT-4o, Claude 3.5 Sonnet 및 Gemini 1.5 pro를 포함한 VLM을 사용하여 벤치마크 테스트를 수행했습니다.
결과에 따르면 VARP는 기본 작업과 단순~중간 난이도 전투에서 최대 90%의 승률을 보이는 것으로 나타났습니다. 그러나 어려운 작업에 직면하면 VARP의 성능이 쉽게 떨어지며 전반적인 수준도 여전히 인간 플레이어만큼 좋지 않습니다.
또한 VARP 에이전트는 게임 내 의사 결정을 처리할 때 VLM(시각 언어 모델)의 추론 속도에 의존하기 때문에 모든 게임 프레임(즉, 게임 화면)을 실시간으로 분석할 수 없습니다.
즉, 인간 플레이어처럼 화면에서 일어나는 모든 일에 거의 즉각적으로 반응할 수는 없습니다. 대신 분석 및 의사 결정을 위해 몇 가지 중요한 프레임(키프레임)을 선택하여 몇 초마다 게임 영상을 처리할 수 있습니다.
'검은 신화: 오공'은 출시 당시 명확한 지도가 없고 '공기벽'이 많다는 비판을 받았다. 따라서 연구원들의 도움이 없었다면 AI는 머리 없는 파리처럼 찾을 수 없을 것이다. 상사.
생성적 AI는 세계 변화의 불씨를 지폈고, 그것이 대중의 의식에 들어오기 전에는 일반인과 AI의 보다 직관적인 유대감이 대부분 게임에서 비롯되었을 수도 있습니다.
비디오 게임의 역사에서 AI는 우리가 생각하는 것보다 더 중요합니다.
많은 사람들은 AI 열차에 올라타는 최초의 게임 중 하나가 고전 아케이드 게임인 '팩맨'일 것이라고는 생각하지 않았을 것입니다.
플레이어의 승리를 위한 전제 조건은 미로 속의 콩을 모두 먹는 것이며, 얼핏 어리석어 보이는 다채로운 유령들은 서로 다른 추적 알고리즘을 가지고 있으며 서로 다른 경로와 방식으로 플레이어를 추적할 것입니다.
각 유령의 알고리즘 동작은 매우 간단하며 플레이어가 이러한 규칙을 이해하면 게임의 난이도가 급락합니다.
1987년 출시된 '메탈기어 솔리드'는 게임 AI 분야에서 또 하나의 중요한 이정표를 세웠다.
게임 속 AI 캐릭터는 더욱 복잡한 행동 패턴을 보이기 시작했고, 처음으로 플레이어에 대한 적대적인 대응 메커니즘이 도입됐다. 이 게임에서는 플레이어가 적에게 발각되면 적군이 경보 시스템을 작동시키고 지원군을 요청하며 순찰 경로를 변경하고 심지어 함정을 설치하기도 합니다.
이후 일련의 획기적인 사건을 통해 AI와 게임의 발전 과정을 간략히 나열하면 대략 다음과 같다.
- 1997년 IBM의 '딥 블루(Deep Blue)'는 체스 경기에서 인간 세계 챔피언을 물리치고 체스 게임에서 AI의 획기적인 발전을 이루었습니다.
- 2004년에는 '하프라이프 2'가 출시되면서 게임 속 AI 캐릭터가 더욱 복잡한 결정과 상호작용을 할 수 있게 되면서 게임의 몰입도가 높아졌다.
- 2011년 IBM의 '왓슨'은 자연어 처리 및 지식 추론 분야에서 AI의 발전을 보여주는 퀴즈쇼 '제퍼디!'에서 인간 챔피언을 물리쳤습니다.
- 2016년 알파고는 바둑에서 이세돌을 꺾으며 복잡한 전략 게임에서 AI의 획기적인 발전을 이루었습니다.
- 2018년에는 "Red Dead Redemption 2"가 출시되었습니다. 게임의 AI 캐릭터와 환경 간의 상호 작용 수준이 크게 향상되어 매우 현실적인 게임 경험을 제공했습니다.
- 2020년 NVIDIA는 AI를 사용하여 그래픽 렌더링을 가속화하고 게임 성능과 이미지 품질을 향상시키는 DLSS 기술을 출시했습니다.
현재 게임 환경을 보면 게임은 여전히 동료애에 초점을 맞추고 있으며, AI는 증폭기와 같아서 이 동료애를 수없이 증폭시키고 있습니다.
올해 CES 쇼에서 엔비디아는 아바타 클라우드 엔진(ACE)을 이용해 게임 NPC를 '살아있게' 만들어 업계에서 큰 인기를 끌었다.
Kairos라는 데모에서 플레이어는 라면 가게 주인인 진과 상호 작용할 수 있었습니다. 진은 NPC이지만 제너레이티브 AI의 도움을 받아 실제 사람처럼 질문에 답한다.
AI와 게임의 결합은 언제나 애증의 결합이었습니다.
경쟁 게임을 예로 들면, 예전에는 난이도를 엄격하게 조정하는 방식이었는데 이제는 인간의 조작을 모방하여 게임 경험을 더욱 현실적으로 만드는 것입니다.
지지자들은 인간을 시뮬레이션하는 AI가 상대 또는 팀원이 되면 실제 플레이어가 부족하여 게임의 경쟁심을 높일 수 있다고 믿습니다.
이것도 단점이다. 선수 유지율은 좋아졌지만, 시스템의 통제 하에 선수들은 AI에 조종당하는 소용돌이에서 벗어날 수 없다.
초반에는 과감한 말이 있었고, 중반에는 말도 안 되는 소리가 있었고, 후반에는 침묵이 있었다.
단지 또 다른 게임에서 이기기 위해 밤을 새울 때, 우리가 게임을 하고 있는지 아니면 게임이 우리를 놀리고 있는지 알기가 어렵습니다. 특히 팀원이 AI일지도 모른다는 사실을 깨달았을 때, 무력감은 마치 주먹으로 솜을 때리는 것과 같습니다.
마음이 부드러워지고 집중할 수가 없었습니다.
늙은 황 선지자! 미래의 게임은 AI로 만들어질까?
코딩 초보자도 AI를 활용해 게임을 즐길 수 있습니다.
몇 년 전만 해도 이는 꿈에서만 상상할 수 있는 일이었을 것입니다. 하지만 생성 AI의 등장으로 이 모든 것이 현실적으로 구현될 여지가 생겼습니다.
작은 규모에서는 GPT를 만들고 스토리텔링을 하는 것과 비슷합니다. 큰 규모에서는 AI 지원으로 생성된 작은 프로그램 게임이지만 상호작용성은 그다지 흥미롭지 않지만 아름답고 풍부한 그래픽보다는 낫습니다.
한 단계 더 나아가 앞으로는 3A급 게임도 AI 렌더링을 통해 직접 생성할 수도 있다.
작년에 Nvidia 설립자 Jensen Huang은 미래 게임의 모든 픽셀이 렌더링되는 것이 아니라 생성될 것이라고 예측했습니다. 당시에는 모두가 여전히 주저했을지 모르지만, 지금은 점점 더 많은 연구 결과에서 이 구현의 가능성을 발견하고 있습니다.
일반적으로 소규모 게임의 경우 환경을 만드는 데 일주일이 걸릴 수 있고, 스튜디오 프로젝트의 경우 디자인의 복잡성에 따라 더 오랜 시간이 걸릴 수 있습니다.
지난달 구글 딥마인드는 최초의 'AI 게임 엔진' GameNGen을 발표했다.
단일 TPU 칩에서 초당 20프레임 이상의 속도로 고전 슈팅 게임 '둠(Doom)'을 실시간으로 시뮬레이션할 수 있습니다. 이는 확산 모델을 사용하여 실시간으로 각 프레임을 예측하는 방식으로 작동합니다. 즉, 게임의 모든 순간이 플레이어의 행동과 환경의 복잡한 상호 작용을 기반으로 실시간으로 생성된다는 의미입니다.
당시 엔비디아 수석 과학자 짐 팬(Jim Fan)은 곳곳에서 해커들에 의해 마구잡이로 돌고 있던 '둠(Doom)'이 실제로 순수 확산 모델로 구현돼 모든 픽셀이 생성됐다고 한숨을 쉬지 못했다.
나중에 더 유사한 결과가 나타나고 있습니다.
얼마 전 Tencent는 AAA 오픈 월드 게임을 위한 대형 모델인 GameGen-O를 출시하면서 큰 진전을 이루었습니다.
GameGen-O는 "The Witcher 3", "Cyberpunk 2077", "Assassin's Creed" 및 "Black Myth: Wukong"과 같은 다양한 AAA 게임의 캐릭터, 동적 환경 및 복잡한 액션을 시뮬레이션할 수 있습니다. 게임 장면의 퀄리티도 매우 높습니다.
많은 돈을 들여 데이터셋을 구축하기 위해 텐센트는 32,000개 이상의 게임 영상을 수집했는데, 각각의 영상은 짧게는 몇 분, 길게는 몇 시간이었고, 이후 수동 데이터를 통해 사용 가능한 영상 15,000개를 선별했다. 주석.
이렇게 선별된 비디오는 장면 감지를 통해 세그먼트로 잘라낸 다음 미학, 광학 흐름 분석 및 의미론적 콘텐츠를 기반으로 엄격하게 정렬 및 필터링됩니다.
미국 게임 개발사 일렉트로닉 아츠(Electronic Arts)는 최근 '상상에서 창조까지(From Imagination to Creation)' 영상을 통해 게임 개발 분야 AI의 밝은 미래를 업계에 보여줬다.
영상에서 플레이어는 AI 도구를 사용해 간단한 지시만으로 게임 장면, 캐릭터, 기타 콘텐츠를 만들 수 있다.
앤드루 윌슨 CEO는 생성 AI가 향후 회사 개발 프로세스의 절반 이상을 개선할 수 있으며 3~5년 내에 더 크고 몰입도가 높은 게임 세계를 설계하고 생성할 것으로 예상된다고 말했습니다.
AI는 기존 게임의 개발 효율성을 향상시킬 수 있을 뿐만 아니라 잠재적으로 새로운 게임 경험을 창출할 수도 있습니다.
어쩌면 게임에 어떤 첨단 기술이 사용되더라도 최종 분석에서는 재미가 가장 중요하다고 말할 수도 있습니다.
그러나 GTA 6가 반복적으로 지연되고 흔적도 남지 않은 상황에서 우리는 스스로 그것을 하고 충분한 음식과 의복을 확보할 수 있다는 생각을 가질 수도 있습니다.
결국, 나중에 제가 직접 '죄도시'를 만들 수 있다면 꽤 기분이 좋을 것 같아요.
# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo