昇腾多模态生成套件 MindIE SD 开源

今朝，其已实现了对多模态生成模型（Stable Diffusion 系列、OpenSora、Hunyuan、Wan 等）的快速适配和昇腾加快，模型在 Modelers / ModelZoo 仓库中宣布，对接开源组件 vllm-omni，将来会进一步扩大到多模态懂得、全模态等场景的加快。

华为计算宣布昇腾多模态推理加快套件 MindIE SD 项目现已开源。MindIE SD 包含以下关键特点：

• 加快插件 多模态亲和加快插件才能，包含：稀少 Attn 插件（如：block-wise 稀少 Attention），融合插件（如：RoPE 等）。
• 以存代算 供给 DiT module, DiT block, attn 等多种粒度的 cache 算法，以支撑不合的视图场景加快，晋升模型运行时机能，支撑自定义加快比，支撑cache算法快速寻优。
• 多卡并行 供给 CFG, USP 等并行才能，融入加快算子的 API 中，实现接口调换后的主动使能，支撑用户快速适配生成类模型的通用并行算法优化框架。
• 量化 针对昇腾的数据类型和算力分布，供给亲和的量化算法，并经由过程 quantization 模块导入应用，进行量化加快，在包管模型后果的前提下，晋升模型推理效力并降低资本消费。
• 稀少Attention 供给亲和的稀少 Attn 算子，降低 Attention 计算的复杂度，支撑多模态FA算子快速寻优。