内存分析

*在线运行 vLLM 入门教程：零基础分步指南

模块内容

class vllm.multimodal.profiling.ProcessorInputs(prompt_text: str, mm_data: ~collections.abc.Mapping[str, ~typing.Any | list[typing.Any]], hf_processor_mm_kwargs: ~collections.abc.Mapping[str, object] = <factory>)

[source]

表示 vllm.multimodal.processing.BaseMultiModalProcessor.apply() 的关键词参数。

class vllm.multimodal.profiling.DummyEncoderData(prompt_token_ids: list[int])

[source]

为分析多模态模型而构造虚拟数据的抽象基类。

prompt_token_ids_: list[int]

[source]#

字段编号 0 的别名。

class vllm.multimodal.profiling.DummyDecoderData(prompt_token_ids: list[int], multi_modal_data: MultiModalKwargs, multi_modal_placeholders: Mapping[str, Sequence[PlaceholderRange]])

[source]#

用于分析的虚拟数据。

prompt_token_ids_: list[int]

[source]#

字段编号 0 的别名。

multi_modal_data_: MultiModalKwargs

[source]#

字段编号 1 的别名。

multi_modal_placeholders_: Mapping[str, Sequence[PlaceholderRange]]

[source]#

字段编号 2 的别名。

class vllm.multimodal.profiling.BaseDummyInputsBuilder(info: _I)

[source]#

抽象基类，用于构造虚拟数据以分析多模态模型。

get_dummy_text(mm_counts: Mapping[str, int]) → str

[source]#

构建与 mm_counts 对应的文本输入。

get_dummy_mm_data(seq_len: int, mm_counts: Mapping[str, int]) → Mapping[str, Any | list[Any]]

[source]#

构建多模式输入，该输入在处理后会产生最大可能的占位符标记数。

get_dummy_processor_inputs(seq_len: int, mm_counts: Mapping[str, int]) → ProcessorInputs

[source]#

构建输入，该输入在处理后会产生最大可能的占位符 token 数。

class vllm.multimodal.profiling.MultiModalProfiler(processor: BaseMultiModalProcessor[_I])

[source]#

包含用于为多模态模型运行内存分析的代码。