添加新模型

*在线运行 vLLM 入门教程：零基础分步指南

本节提供了更多关于如何将 PyTorch 模型集成到 vLLM 中的信息。

目录

• 实现基础模型
• 将模型注册到 vLLM
• 编写单元测试
• 多模态支持

注意 添加新模型的复杂性很大程度上取决于模型的架构。如果模型与 vLLM 中现有模型的架构相似，那么这个过程会相对简单。然而，对于包含新操作符（例如新的注意力机制）的模型，这个过程可能会稍微复杂一些。

提示 如果您在将模型集成到 vLLM 时遇到问题，请随时在 GitHub issue 中提出，或在我们的开发者 Slack 上提问。我们将很乐意为您提供帮助！