安装

*在线运行 vLLM 入门教程：零基础分步指南

vLLM 支持以下硬件平台：

GPU

• NVIDIA CUDA
• AMD ROCm
• Intel XPU

CPU

• Intel/AMD x86
• ARM AArch64
• Apple silicon

其他 AI 加速器

• Google TPU
• Intel Gaudi
• AWS Neuron
• OpenVINO