登录

多模态大模型

概念 EN：Multimodal Large Language Model 别名：MLLM 发布：2026-08-23 浏览：0
摘要
多模态大模型（MLLM）指能同时理解并处理文本、图像、音频、视频等多种模态的大语言模型，以 GPT-4V、Gemini、Claude 3 为代表，是迈向通用人工智能的重要形态。

定义

多模态大模型（Multimodal Large Language Model, MLLM）在文本大语言模型基础上引入视觉/音频/视频编码器与跨模态对齐模块，实现「看得见图、听得见声、说得出话」的统一理解与生成。 齐e慧享

原理与结构

主流架构为「视觉编码器（如 ViT/CLIP 视觉塔）+ 投影适配器 + LLM 主干」：图像先经编码器与投影映射为与文本对齐的 token 序列，再与文本一起输入 LLM。代表方案：LLaVA（投影层）、BLIP-2（Q-Former）、Fuyu（无独立编码器）、Gemini（原生联合训练多模态）。 齐e慧享

关键事实

  • LLaVA：Liu et al.（2023, arXiv:2304.08485），开源 MLLM 标杆。
  • GPT-4V / GPT-4o：OpenAI 多模态版本（2023/2024）。
  • 评测：MMMU、MMBench、MathVista 等。

典型应用

图像问答、文档/图表理解、OCR、视频理解、具身智能感知与 Agent 的视觉工具。 齐e慧享

局限与争议

多模态「幻觉」（描述不存在的物体）；视觉 token 开销大；模态间对齐仍不充分。 齐e慧享

参考资料

[1] Liu et al. Visual Instruction Tuning (LLaVA). NeurIPS 2023. arXiv:2304.08485.

[2] OpenAI. GPT-4V(ision) System Card.

多模态大模型 MLLM 视觉语言模型 GPT-4V Gemini

相关词条

发现内容有误或想补充资料？ 贡献新词条 词条编辑指南 我要投稿（进入审核）