Version: Next

输入定义

*在线运行 vLLM 入门教程：零基础分步指南

面向用户的输入

vllm.multimodal.inputs.**MultiModalDataDict**

[source]

一个包含每种模态类型输入的字典。

内置的模态类型由 MultiModalDataBuiltins 定义。

别名为 Mapping[str, Union[Any, list[Any]]]

内部数据结构

*class***vllm.multimodal.inputs.**PlaceholderRange

[source]

基类：TypedDict

多模态数据的占位符位置信息。

示例

提示：AAAA BBBB What is in these images?

图像 A 和 B 将具有：

A: { "offset": 0, "length": 4 }
B: { "offset": 5, "length": 4 }

length***:***int

[source]

占位符的长度。

offset***:***int

[source]

占位符在提示中的起始索引。

vllm.multimodal.inputs.**NestedTensors**

[source]

如果每个元素的维度不匹配，则使用列表而不是张量。

别名为 Union[list[NestedTensors], list[Tensor], Tensor, tuple[Tensor, …]]

*class***vllm.multimodal.inputs.**MultiModalFieldElem**(*modality:*str,*key:*str,*data: list[typing.Union[list[ForwardRef('NestedTensors')], list[torch.Tensor], torch.Tensor, tuple[torch.Tensor, ...]]] | list[torch.Tensor] | torch.Tensor | tuple[torch.Tensor, ...]*,*field: BaseMultiModalField*****)**

[source]

表示 MultiModalKwargs 中多模态项的对应关键字参数。

data***: list[typing.Union[list[ForwardRef('NestedTensors')], list[torch.Tensor], torch.Tensor, tuple[torch.Tensor, ...]]] | list[torch.Tensor] | torch.Tensor | tuple[torch.Tensor, ...]***

[source]

该字段在 MultiModalKwargs 中的张量数据，即传递给模型的关键字参数的值。

field***: BaseMultiModalField***

[source]

定义如何将该字段的张量数据与其他字段组合，以便为模型推理批量处理多模态项。

key***:***str

[source]

该字段在 MultiModalKwargs 中的键，即传递给模型的关键字参数的名称。

modality***:***str

[source]

对应多模态项的模态类型。每个多模态项可以由多个关键字参数组成。

*class***vllm.multimodal.inputs.**MultiModalFieldConfig**(*field: BaseMultiModalField***,*modality:*str**)**

[source]

*static***batched**(***modality:*str)**

[source]

定义一个字段，其中批次中的元素通过索引底层数据的第一维获得。

参数:

modality – 使用此关键字参数的多模态项的模态类型。

示例

Input:
    Data: [[AAAA]
        [BBBB]
        [CCCC]]


Output:
    Element 1: [AAAA]
    Element 2: [BBBB]
    Element 3: [CCCC]

*static***flat**(***modality:*str,*slices:Sequence[slice]*)**

[source]

定义一个字段，其中批次中的元素通过沿底层数据的第一维切片获得。

参数:

modality – 使用此关键字参数的多模态项的模态类型。
slices – 对于每个多模态项，用于提取其对应数据的切片。

示例

Given:
    slices: [slice(0, 3), slice(3, 7), slice(7, 9)]


Input:
    Data: [AAABBBBCC]


Output:
    Element 1: [AAA]
    Element 2: [BBBB]
    Element 3: [CC]

*static***flat_from_sizes**(***modality:*str,*size_per_item:*torch.Tensor)**

[source]

定义一个字段，其中批次中的元素通过沿底层数据的第一维切片获得。

参数:

modality – 使用此关键字参数的多模态项的模态类型。
slices – 对于每个多模态项，用于提取其对应数据的切片大小。

示例

Given:
    size_per_item: [3, 4, 2]


Input:
    Data: [AAABBBBCC]


Output:
    Element 1: [AAA]
    Element 2: [BBBB]
    Element 3: [CC]

另请参阅 >MultiModalFieldConfig.flat()

*static***shared**(***modality:*str,*batch_size:*int)**

[source]

定义一个字段，其中批次中的元素通过获取底层数据的全部内容获得。

这意味着批次中的每个元素的数据是相同的。

参数:

modality – 使用此关键字参数的多模态项的模态类型。
batch_size – 共享此数据的多模态项的数量。

示例

Given:
    batch_size: 4


Input:
    Data: [XYZ]


Output:
    Element 1: [XYZ]
    Element 2: [XYZ]
    Element 3: [XYZ]
    Element 4: [XYZ]

*class***vllm.multimodal.inputs.**MultiModalKwargsItem**(*dict****=None*,*/*,*****kwargs***)**

[source]

基类：UserDict[str, MultiModalFieldElem]

与 MultiModalDataItems 中的数据项对应的 MultiModalFieldElem 集合。

*class***vllm.multimodal.inputs.**MultiModalKwargs**(*data: ]]*,*******,*items:Sequence[MultiModalKwargsItem] |_None _=* *None*****)**