对于外行来说，《我的世界》是一个开放的体素世界，您可以在其中做任何您想做的事情。你可以制作各种工具并进行冒险。我们从互联网上收集了大量数据，有人们玩《我的世界》的视频，有解释游戏机制的维基页面，这是多模式文档，还有像 Reddit 这样的《我的世界》子论坛，很多人在其中讨论游戏用自然语言。我们收集了这些多模式数据集并训练模型来玩 Minecraft。这个项目被称为Mind Dojo。后来，第二个项目被命名为 Voyager。
这个想法是在 GPT 发布 澳大利亚手机号码列表 后出现的——因为它是当时最好的编程模型。所以我们想，如果我们将编程作为一种行动呢？基于这个想法，我们开发了 Voyager 代理，它通过编写代码与 Minecraft 世界进行交互。我们使用 API 将 D Minecraft 世界转换为文本视图，然后让代理使用移动 API 编写代码。就像人类程序员一样，代理并不总是第一次就写出正确的代码。这就是为什么我们给它一个自我反思循环，所以如果它在 Minecraft 世界中遇到错误或做错了什么，它会得到反馈并纠正它的编程。
一旦它编写了正确的程序（我们称之为技能），它就会将其存储在技能库中。当代理今后遇到类似的情况时，不必再次经历试错过程，可以直接从技能库中调用技能。您可以将此技能库视为由 Voyager 本身交互式构建的代码库，完全不需要人工干预。整个代码库由 Voyager 自己开发。这是第二个机制，技能库。第三种机制就是我们所说的自动费率生成。代理人知道他知道什么和不知道什么。这样他就可以弄清楚他的下一个任务，既不太难也不太容易，然后他就可以沿着这条路去发现技能、工具，并在 Minecraft 的广阔世界中旅行。