Machine Vision for Metaverse

Metaverse Services

Current (2021) Cyberspace landscape

현재 존재하는 각종 service들은 metaverse에서는 추구하는 것을 부분적으로만 구현하고 있다. 위 표에서는 각 service의 위치가 사용자들에게 어느 수준의 경험과 정보를 제공하는지 의미한다. x-축은 왼쪽에서 오른쪽으로 갈수록 정보의 양이 더 많아지고, y-축은 아래에서 위로 갈수록 실제와 가상이 더 근접하게 연결되어 더 몰입감이 크고, 오래 지속될 수 있는 경험을 제공한다. [3]

Bottom-to-top transition의 예시)

1) Making a call on Zoom: their experience is similar to their previous experiences, as well as these of all the other users. With personalisation 2) Navigating through Spotify/ Netflix: users can leverage their preference to explore cyberspaces 3) Custom-made games in Super Mario: Moving upward to the next level, users can proactively participate in content creation 4) Tiktok: Once a significant amount of user interaction records remain in the cyberspace, under the contexts of personalisation and content creation, the cyberspace evolves to a social community

Metaverse Projects

다음 Metaverse platforms/project들은 위 표에서 보이는 현존하는 cyberspace landscape의 여러 service들의 기능을 통합한 형태로 보인다.

Decentraland

Ethereum blockchain을 기반으로 만들어진 decentralized virtual reality platform이다. 이 platform상에서 사용자들이 assets, contents, application들을 경험하고, 만들고, 그를 통해 수익을 창출할 수 있다. (The native token, for in-world purchase goods and services, of Decentraland is MANA, a fungible token built on the ERC-20 (Ethereum Request for Comments 20) protocol)

이 가상 세계는 특정 centralized organization으로 control되지 않는다. (i.e., no single agent has a permission to modify the rules of software, content, economic of cryptocurrency, or prevent others from accessing the world, trading digital products, and experienced services.) Decentraland의 scripting programming 언어를 통해 개발자가 쉽게 AI-based service oriented application들을 만들고 새로운 contents를 생성해낼 수 있다.

주 목적: content curation, advertising, digital collectibles, social(education, virtual tourism, healthcare, virtual shopping, 등)

Decentraland의 architecture: protocol이 3개의 layers로 구성되어 있다.

• a consensus layer to track land ownership and its content,
• a land content layer to distribute the materials for rendering via a decentralized storage system,
• a real-time layer to establish peer-to-peer connections for world viewing.

Sandbox

Ethereum blockchain을 기반으로 만들어진 user-generated decentralized virtual world이다. 사용자/player가 gaming experience를 만들고, 소유하고, 수익을 생성할 수 있다. Minecraft로 부터 inspire되어 시작되어서 처음에는 2D mobile pixel game으로 시작되었다가, 3D world로 발전되었다.

Sandbox로 마찬가지로 central control이 없이, 사용자들이 play, share, collect, trade virtual goods & services 할 수 있다. Native token은 SAND이고 marketplace에서 사용자가 생성한 “creation”을 copyright ownership과 함께 판매할 수 있다. 이 ownership은 NFT로 associate되고 보장된다.

AI의 활용: 몰입감 향상을 위한 rendering 품질 향상 + error/crash 최소화

(gaming coders can deploy ML models to improve the intelligence of virtual agents/assistants and DL models to enhance the render quality, and developers can leverage different AI frameworks to minimize gaming crashes and errors. Building and training ML/DL models are trouble-free with intuitive high-level APIs)

Realy

“super-realistic”, “futuristic”, “technologically conscious”한 세상을 구현하는것으로 알려져 있다. E-commerce, social, gaming, trading이 가능하다. 사용자들은 이 metaverse 세계속에서 다양한 여행을 떠나거나, virtual clothes를 marketplace에서 구매하여 입을 수 있다.

Realy는 avatar control와 management procedure 관점에서 다른 metaverse와 다르다. 사용자가 online 일때에는 avatar를 통해 immersive experience를 할 수 있고, offline일때에는 avatar가 AI-based self-discipline system을 통해 운용된다. Decentralized DAO organization을 통해 virtual world가 운영되고 관리된다.

AI의 활용: VR과 blockchain외에도 AI 기술을 다양한 분야에 접목시켜서 사용자의 몰입감을 개선하고있다.

• enhancing 3D visual rendered effects,
• boosting the intelligence of avatars for realistic behaviors,
• integrating VR and holographic projection

Star Atlas

최근 metaverse project 중, 가장 innovative한 project중 하나로 손꼽힌다. 이 metaverse virtual gaming world는 다음 요소들의 integration으로 만들어진다:

• multiplayer video game platforms
• real-time immersive experience with 3D rendered visualization
• blockchain-based decentralized financial services
• AI-powered game engines

Star Atlas는 Solana blockchain 기반의 ecosystem을 통해 metaverse와 blockchain technology사이의 gap을 매꾸어준다. In the gaming metaverse of Star Atlas, users can trade digital assets like land, equipment, crew, ship, and components by using the in-game cryptocurrency token known as POLIS which can be used for multiple cross-metaverse games

AI의 활용: NPC와 AI agents들의 intelligence를 향상시키기 위해 ML algorithm을 활용하여서 gameplay가 더 logical하고 realistic하도록 개발되고 있다. 특히, tactical planning of actions & fighting strategy in player-NPC combats를 개선하기 위해 ML algorithm이 활용된다.

Bit.Country

사용자가 직접 3D virtual world를 생성하고 직접 rules, operations만들어서 followers와 contributors를 모집하여 자신의 community를 만들 수 있다. 이 metaverse는 두 가지 platform을 제공한다 - web과 VR.

• traditional web view for content creation and service provision
• 3D gaming view for VR-aided immersive experience

AI의 활용: Communities의 rules를 모두 관리하고 연결하기 위해 AI model이 활용되어서, community 구성원들 간의 충돌을 방지하고 논리에 맞게 community가 운용되도록 한다.

DeHealth

최초의 decentralized healthcare metaverse이다. (영국의 비영리단체에서 만듬.) 3D virtual world에서 의사들과 환자들이 interact할 수 있다. physical world와 같은 virtual space를 만들어서 의사와 환자가 소통할 수 있다.

이 metaverse에서 제공되는 heatlhcare services:

• health analytics on the go,
• recommendations from advanced AI-bot,
• real-time dialogues with doctors and health experts worldwide

이 metaverse의 사용자들은 익명의 medical data를 판매하면서 수익을 창출할 수 있다. 이렇게 decentralized network에서 수집한 medical data를 기반으로 AI-based diagnostic model이 개발된다.

또한, VR 기술을 접목하여서 교육 목적으로도 확장되는 방향이 고려되고 있다.

References

1. Artificial Intelligence for Metaverse (IEEE, 2022)
2. All One Needs to Know about Metaverse: A Complete Survey on Technological Singularity, Virtual Ecosystem, and Research Agenda (IEEE, Sept 2021)