多模态理解领域当前已成了各家AI大模型公司“军备竞赛”的关键点之一，国内外知名AI大模型公司都争相通过发布最先进的多模态大语言模型展现其在多模态理解领域的前沿能力。近期，上海AI实验室推出了其最新的多模态大语言模型InternVL3系列，相比上一代InternVL2.5模型，该模型展现出卓越的多模态感知和推理能力，同时进一步扩展了其工具使用、GUI代理、工业图像分析等多模态能力。此前MindSpeed MM仓库一直同步开源InternVL2系列、InternVL2.5系列等模型，InternVL3系列一经发布开源，即在MindSpeed MM中开箱即用并同步开源，当前已支持在线推理功能并基于InternVL2.5给出参考的微调实践。MindSpeed MM是面向大规模分布式训练的昇腾多模态大模型套件，基于MindSpeed Core实现多模态模型的极致性能优化，为开发者提供高效易用的开发体验。

　　InternVL系列是多模态理解模型，基于其异构特点以及该模型存在明显的负载不均衡问题，MindSpeed MM对InternVL系列模型在使用了融合算子、分布式优化器及流水调度优化等常用特性的基础上，同时使能多模态异构流水线并行、动态流水线并行、数据分桶负载均衡、虚拟流水线并行、分离部署等优化加速特性，实现了极致性能优化。(其中多模态异构流水线并行、动态流水线并行、数据分桶负载均衡等特性的介绍，在之前的文章(多模态理解SOTA模型开箱即用，MindSpeed MM支持Qwen2.5-VL最佳实践)已有介绍)

　　常规的流水线并行切分粒度过大，运行过程中仍然有许多空泡(bubble)，计算资源利用率仍有提高空间。虚拟流水线并行（VPP）能够在设备数量不变的情况下，分出更多的流水线阶段，以更多的通信量，换取空泡比率降低。MindSpeed MM将虚拟流水线并行同时应用到视觉模块和语言模块，并支持自定义的非均匀切分，进一步减小空泡比率，提升性能5%。

　　多模态模型的训练中，由于不同模态模型对算力和内存需求的异构性，不同模态模型的最优并行配置往往不一致，如果全部使用同一种并行配置，会造成负载不均衡、资源利用不充分。MindSpeed MM支持Dist-train功能，通过对异构模型配置不同的计算资源和并行配置，减少冗余的静态资源和异构模型间的空泡(bubble)，使异构模型之间的运行速度达到最优匹配，提升性能15%。

　　(1) 由于当前官仓还未开源微调代码和脚本，正式版的微调功能后续跟进上线)用户想尝鲜微调功能，可参考InternVL2.5的微调实践

　　配置脚本前需要完成前置准备工作，包括：环境安装vnp服务器怎么购买、权重下载及转换，详情可查看对应章节。(当前支持8B单卡推理)

　　MindSpeed MM是面向大规模分布式训练的昇腾多模态大模型套件，同时支持多模态生成及多模态理解，旨在为华为 昇腾芯片 提供端到端的多模态训练解决方案, 包含预置业界主流模型，数据工程，分布式训练及加速，预训练、微调、在线推理任务等特性。

　　由于当前InternVL3系列模型的代码和训练微调功能等未完全发布开源，后续MindSpeed MM将基于InternVL3系列模型同步上线更加丰富的特性，敬请期待。

　　为了提升模型训练的稳定性和性能的提升，研发人员整合7个算法： 当然，在训练过程中也遇到了挑战——扩展SWE-Bench环境。除了强大的模型本身，DeepSWE还采用了「测试时扩展 (TTS)」这一评估策略…

　　比较让人惊喜的是，小米 16 Pro 系列首次推出 6.3 英寸小屏版本，这将是安卓阵营首款真正意义上的「小屏 Pro 旗舰」！ 爆料称Pro 系列或将采用全新的横向大矩阵 Deco 设计，模组面积约占机…

　　智通财经APP获悉，近日，有消息指，华为盘古大模型涉嫌抄袭阿里巴巴通义千问模型。对此，7月5日，华为盘古ProMoE技术开发团队发表声明称，盘古Pro MoE开源模型是基于昇腾硬件平台开发、训练的基础大模型…

　　智通财经APP获悉，近日，有消息指，华为盘古大模型涉嫌抄袭阿里巴巴通义千问模型。对此，7月5日，华为盘古ProMoE技术开发团队发表声明称，盘古Pro MoE开源模型是基于昇腾硬件平台开发、训练的基础大模型…

　　第二阶段由23位战略科学家组成终选学术委员会，从前沿性、引领性、创新性、战略性四个维度严格评议，评选出基于密码学视角的人工智能安全新理论和防护体系等10个前沿科学问题、面向通信与智能融合的智简网络技术体系等1…

　　比较让人惊喜的是，小米 16 Pro 系列首次推出 6.3 英寸小屏版本，这将是安卓阵营首款真正意义上的「小屏 Pro 旗舰」！ 爆料称Pro 系列或将采用全新的横向大矩阵 Deco 设计，模组面积约占机…

　　6月30日，智鉴未来·考立佳AI数字科技研讨峰会于郑州易元深航国际酒店盛大启幕，全国教育界专家学者与行业领袖齐聚，共探人工智能在应试教育中的创新实践；而紧随其后的高考答谢活动则以温情点燃盛夏——2025届…

　　客易云集团基于这一洞察，推出数字人API开放生态，通过“标准化接口+场景化工具链+全球化资源网络”，将数字人核心技术转化为可灵活调用的“商业连接器”，助力企业以最小成本实现用户触达、服务升级与生态共赢，重新定…

　　本网站LOGO小熊标志受版权保护，版权登记号：鲁作登字-2015-F-025467，未经ITBEAR官方许可，严禁使用。