❤️ 如果你也关注大模型与 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- Oasis 500M 是一款实时生成视频内容的 AI 模型。
- 模型基于用户输入生成交互式游戏画面。
- 提供了模型的权重和推理代码。
正文（附运行示例）
Oasis 是什么
Oasis 是一个由 Decart 和 Etched 联合推出的革命性 AI 技术，是世界上首个实时 AI 世界模型。它能够以每秒 20 帧的速度实时生成交互式视频内容，支持用户通过文字或语音命令控制游戏进程，开启了“生成式交互体验”的新纪元。Oasis 展示了 AI 在物理理解方面的能力，支持玩家在游戏中进行移动、跳跃、建造和破坏等操作，对游戏、教育、娱乐和社交等多个领域产生深远影响。
Oasis 的主要功能
- 实时视频内容生成：以每秒 20 帧的速度实时生成交互式视频内容，提供流畅的游戏体验。
- 交互式控制：支持键盘、鼠标、文字或语音命令控制游戏进程。
- 物理世界模拟：支持玩家在游戏中进行移动、跳跃、建造和破坏等操作，模拟真实世界的物理规则。
- 开放世界探索：支持玩家自由探索全新生成的地图和环境。
- 内容个性化：根据用户的喜好和行为即时创建个性化内容。
Oasis 的技术原理
- 模型架构：基于 Transformer 的模型架构，包括 Diffusion Transformer 骨干网络和 Transformer-based autoencoder。
- 低延迟设计：实现低动作到帧延迟的模型架构，快速响应玩家输入。
- 硬件优化：针对特定 GPU 和服务器硬件架构进行专有系统优化。
- Sohu 芯片：将在 Sohu 芯片上运行，支持 4K 分辨率下运行超过 1000 亿参数的模型。
如何运行 Oasis 500M
首先，克隆仓库并安装依赖：
git clone https://github.com/etched-ai/open-oasis.git
cd open-oasis
pip install -r requirements.txt
然后，下载模型权重：
huggingface-cli login
huggingface-cli download Etched/oasis-500m oasis500m.pt # DiT checkpoint
huggingface-cli download Etched/oasis-500m vit-l-20.pt # ViT VAE checkpoint
最后，运行推理脚本生成视频：
python generate.py
生成的视频将保存为 video.mp4。你可以尝试更改脚本中的 .mp4 输入文件来体验不同的环境。
资源
- 关注并回复公众号【61】或【Oasis】获取相关项目资源。
❤️ 如果你也关注大模型与 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
