内存分析

*在线运行 vLLM 入门教程：零基础分步指南

模块内容

*class***vllm.multimodal.profiling.**ProcessorInputs**(*prompt_text: str, mm_data: ~collections.abc.Mapping[str, ~typing.Any | list[typing.Any]], hf_processor_mm_kwargs: ~collections.abc.Mapping[str, object] = *)**

[source]

表示 vllm.multimodal.processing.BaseMultiModalProcessor.apply() 的关键词参数。

*class***vllm.multimodal.profiling.**BaseDummyInputsBuilder**(*info: _I*****)**

[source]

为分析多模态模型而构造虚拟数据的抽象基类。

*abstract***getdummy_processor_inputs**(***seq_len:*int,*mm_counts:**Mapping[str,int_]*)**→**ProcessorInputs

[source]

在处理后构建输入，结果位于 self.info.get_mm_max_tokens_per_item() 占位符 token 中。

*class***vllm.multimodal.profiling.**MultiModalProfiler**(*processor:BaseMultiModalProcessor[_I]*)**

[source]

包含运行多模态模型的内存分析的代码。