exo分布式AI推理框架，用闲置设备组建家庭AI集群，低成本运行大模型

exo：用日常设备组建家庭AI集群

你是否曾经因为单个设备算力不足而无法运行大型AI模型？exo的出现，旨在彻底解决这个问题。它是一个用Python编写的分布式AI推理框架，可以将你家中闲置的iPhone、iPad、Android手机、Mac、NVIDIA显卡甚至树莓派等设备统一成一个强大的GPU集群。本文将带你全面了解这个潜力新星。

截至收录：
exo stars数：31202
exo forks数：2071

exo项目目录截图

exo核心亮点

🌟 设备平等架构：采用P2P连接而非传统的主从架构，任何接入网络的设备都能参与模型推理。
🎯 自动设备发现：零配置自动发现网络中可用设备，支持UDP、Tailscale等多种发现方式。
🔒 动态模型分区：根据网络拓扑和设备资源智能分割模型，让你能够运行比单设备更大的模型。
🧩 多引擎支持：支持MLX、tinygrad等多种推理引擎，未来还将支持PyTorch和llama.cpp。

exo快速开始

只需几步，你就能用家中的设备搭建AI集群：

1. 安装 prerequisites：

# 确保Python>=3.12.0
python --version

# 克隆项目
git clone https://github.com/exo-explore/exo.git
cd exo

1. 安装exo：

   # 从源码安装
   pip install -e .

1. 启动集群：

   # 在每个设备上运行相同命令
   exo

exo应用场景

场景一：家庭AI实验室：将家中闲置的手机、平板、电脑组成AI集群，运行LLaMA、Mistral等大语言模型。
场景二：教育研究：学生和研究人员可以用低成本设备搭建实验环境，学习分布式AI推理技术。
场景三：企业原型开发：中小企业可以利旧设备搭建测试环境，降低AI应用开发成本。
用户案例：目前已有多个开发者和研究团队使用exo搭建个人AI集群，充分利用闲置设备资源。

exo链接

exo-explore / exo项目地址：https://github.com/exo-explore/exo

本文地址：https://www.tgoos.com/11694