多模态大语言模型与大语言模型（LLMs）有何区别？

多模态大语言模型（Multimodal Large Language Models, MLLMs）代表了人工智能领域的一项重大进展，其将文本、图像、音频和视频等多种模态整合到一个统一的框架中。本综述全面概述了MLLMs，考察了其模型架构、训练方法、应用场景及所面临的挑战。我们探讨了实现跨模态能力的基础技术，包括自监督学习（Self-Supervised Learning, SSL）、混合专家模型（Mixture of Experts, MoE）、基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）以及思维链（Chain-of-Thought, CoT）提示等。此外，本文还梳理了MLLMs的发展历程，重点介绍了关键模型及其对领域的贡献。综述同时讨论了MLLMs当前的局限性与未来发展方向，强调了开发高效、可解释且具有良好泛化能力模型的必要性。

关键词：多模态大语言模型，视觉语言模型，大语言模型，自监督学习，混合专家模型，基于人类反馈的强化学习，思维链提示，跨模态能力，模型架构，训练方法，应用，挑战，未来方向。

引言人工智能（AI）领域随着大语言模型（Large Language Models, LLMs）的发展取得了显著进展，例如GPT-3和BERT等模型在理解和生成人类语言方面展现出卓越的能力［1］。这些模型主要聚焦于基于文本的任务，在自然语言处理（NLP）应用中表现优异，如文本生成、情感分析和语言翻译等。然而，其对文本的单一关注限制了它们在现实场景中的适用性——现实场景通常涉及多种模态，如图像、音频和视频。

为应对这些局限性，多模态大语言模型（Multimodal Large Language Models, MLLMs）的研发已成为一个关键研究方向。这类模型旨在通过将文本、视觉内容，甚至音频和视频整合到一个统一的框架中，弥合不同数据类型之间的鸿沟。通过融合来自多种模态的信息，MLLMs能够提供更全面的理解与生成能力，从而适用于更广泛的应用场景［2］。例如，视觉问答、图像描述生成和多模态对话系统等任务均受益于MLLMs处理和理解多模态数据的能力，不仅提升了模型响应的质量，也增强了交互式人工智能系统中的用户体验［3］。

MLLMs利用先进的架构和训练技术来应对多模态数据的复杂性。诸如Transformer和视觉Transformer（Vision Transformers, ViTs）等架构已被改进以同时处理文本和图像数据，使模型能够理解不同模态之间的关联［4］。此外，自监督学习（Self-Supervised Learning, SSL）和对比学习（contrastive learning）等技术被用于在大规模多模态数据集上对模型进行预训练，从而提升其在各类任务中的泛化能力［5］。

尽管潜力巨大，MLLMs在实现广泛应用之前仍面临若干挑战。其中一个主要障碍是缺乏大规模、多样化且高质量的多模态数据集，而这类数据集对于训练能够理解并处理多种信息来源的模型至关重要。此外，MLLMs的训练还面临高昂的计算成本问题，因为高效处理多模态数据需要大量计算资源。再者，模型的可解释性与公平性仍是关键关切点，尤其是在医疗健康和自动驾驶等敏感领域部署时尤为突出［6］。

架构基础
多模态大语言模型（Multimodal Large Language Models, MLLMs）的架构在高效整合与处理跨模态数据方面起着至关重要的作用。这些模型需要专门设计的架构，以应对多模态学习中固有的复杂性。下文将讨论已成为MLLMs发展核心的关键架构基础。

基于Transformer的架构

Transformer已成为自然语言处理（NLP）和计算机视觉（CV）领域众多最先进模型的骨干架构。最初由Vaswani等人提出用于机器翻译［7］，Transformer依赖于自注意力机制，使模型能够根据输入序列中不同部分的重要性进行加权，而不受其位置限制。该架构在处理序列数据方面极为有效，并显著推动了多模态模型的发展。

在MLLMs的背景下，Transformer通过提供一个可扩展且灵活的框架，促进了不同模态的融合。例如，Radford等人提出的CLIP模型（Contrastive Language–Image Pretraining）利用Transformer将视觉和文本信息投影到一个共享的潜在空间中，从而实现图像与文本的对齐，支持零样本图像分类和图文检索等任务。CLIP等基于Transformer的架构所取得的成功，凸显了其通过统一表征处理和理解多模态数据的潜力，并展示了其在图像描述生成、视觉问答和跨模态检索等多模态任务中的强大能力。

此外，Transformer还具备良好的可扩展性，使其能够利用大规模数据集进行预训练和微调，这对于MLLMs在多样化任务上实现高性能至关重要。掩码语言建模（masked language modeling）和对比学习（contrastive learning）等方法的引入，进一步拓展了Transformer从海量非结构化数据中学习的能力，增强了其多模态学习性能。

视觉Transformer（Vision Transformers, ViTs）

视觉Transformer（ViTs）通过将图像建模为图像块（patches）序列，为图像数据处理提供了一种新颖的方法——这与Transformer处理文本的方式类似。起初，卷积神经网络（CNNs）主导了图像相关任务，但ViTs通过捕捉图像块之间的长程依赖关系，在图像分类及其他计算机视觉任务中展现出卓越的性能［4］。

与CNN相比，ViTs具有显著优势，尤其是在建模图像中相距较远区域之间的全局关系方面。通过将图像块视为序列，ViTs能够学习比传统基于卷积的方法更丰富的表征，从而在需要捕捉复杂视觉模式的任务中实现更优性能。

在MLLMs的背景下，ViTs在处理和理解视觉信息方面发挥着关键作用，使得文本输入能够以提升整体多模态理解的方式被整合进来。例如，视觉-语言Transformer（Vision-and-Language Transformer, ViLT）等模型利用视觉Transformer同时处理图像和文本输入，从而在图像描述生成、视觉问答和视觉推理等任务上取得改进［8］。ViTs能够无缝集成到多模态框架中，显著提升了模型的整体效能，尤其在处理高分辨率图像和更复杂的视觉数据时表现突出。

统一架构近期的进展催生了能够在单一框架内同时处理多种模态的统一架构。这些架构旨在跨模态共享表征，并采用交叉注意力（cross-attention）等机制，对来自图像、文本甚至音频等不同来源的信息进行对齐与融合。统一架构在需要多模态推理与理解的复杂任务中，有望生成更加连贯且具备上下文感知能力的输出。

例如，Flamingo 和 Gemini 等模型采用共享表征，在单一模型中处理多模态输入，并利用交叉注意力机制实现跨模态特征的对齐。特别是 Flamingo，它利用少样本学习（few-shot learning）以极少的监督信息快速适应新任务，从而有效实现对多种模态的理解与推理［9］。这类统一架构在多模态对话系统、图文检索和跨模态推理等任务中，促进了更自然、更具上下文感知能力的交互。

统一架构不仅增强了模型的多模态能力，还减少了为每种模态单独构建模型的需求。这使其在现实世界应用中尤为具有吸引力——在这些应用中，高效整合多模态数据对于系统成功至关重要。例如，OpenAI 的 GPT-4 能够同时处理文本和图像，充分展示了统一架构在弥合视觉与语言处理之间鸿沟方面的有效性［10］。

训练方法

自监督学习（Self-Supervised Learning, SSL）自监督学习（SSL）已成为一种无需标注数据即可高效训练模型的技术。该方法对MLLMs尤其有益，因为MLLMs需要处理大规模多模态数据集，而为这些数据集进行人工标注往往耗时且昂贵。在SSL中，模型通过输入数据的一部分来预测另一部分，从而构建一个不依赖显式标签的预设任务（pretext task）。

在MLLMs的背景下，SSL使模型能够利用数据内在的结构，学习到丰富且高层次的表征。例如，在视觉-语言模型中，对比学习（contrastive learning）等SSL技术允许模型通过预测不同模态之间的关系，学习图像与文本描述之间的关联［1］。这种方法对于在大量未标注数据上预训练MLLMs至关重要，使其能够理解复杂的多模态关系，并在极少监督的情况下适应新任务。CLIP和SimCLR的成功便是SSL技术应用于视觉-语言融合的典型范例，这些模型能够从海量未标注的视觉和文本数据中有效学习［4］。

混合专家模型（Mixture of Experts, MoE）混合专家模型（MoE）是一种在神经网络中引入动态路由机制的技术，其中针对每个输入仅激活模型参数的一个子集——即所谓的“专家”。这种方法在保持模型学习复杂表征能力的同时，显著降低了大规模模型的训练计算成本。MoE 对多模态模型尤其有益，因为融合多种模态通常需要庞大的模型架构。

在 MLLMs 中，MoE 通过为不同类型输入（如文本、图像或音频）激活不同的参数子集，实现了高效的模型扩展。这种动态路由机制使 MLLMs 能够更高效地处理多模态数据，同时不牺牲性能［11］。例如，在 Switch Transformers——一种先进的 MoE 模型中——每个输入仅激活少数专家，大幅降低了计算需求，同时仍能胜任图像描述生成、跨模态检索和多模态推理等复杂任务［12］。这类模型在处理多模态数据方面取得了显著成果，同时提升了训练效率和推理速度。

基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）

基于人类反馈的强化学习（RLHF）是一种利用人类评估者提供的反馈对模型进行微调的技术。该方法使模型能够更好地与人类偏好对齐，特别适用于模型输出需符合主观人类判断的应用场景。对于 MLLMs 而言，RLHF 可用于预训练后的精调阶段，确保生成的响应在语境上恰当，并符合用户预期。

在实践中，RLHF 通常由人类评估者对模型输出的质量进行评分，这些评分随后作为强化学习的反馈信号。这一反馈闭环使模型逐步学会生成更准确、更接近人类表达的响应。例如，GPT-3 及类似模型已采用 RLHF 来优化特定任务的响应，如在多模态对话系统中生成相关答案，或改进图像描述的生成质量［13］。在医疗或客户服务等高风险领域，融入人类反馈至关重要，因为在这些场景中，生成恰当、富有同理心且具备上下文感知能力的回应具有极高价值。

思维链提示（Chain-of-Thought, CoT Prompting）

思维链提示（CoT）是一种鼓励模型在得出最终答案前生成中间推理步骤的技术。该方法提升了 MLLMs 在解决需要逻辑推理或多步问题求解的复杂任务时的可解释性与可靠性。通过生成中间步骤，模型能够清晰展现其推理过程，使人们更容易追溯并理解其结论的形成路径。

在实践中，CoT 提示在多模态推理任务中尤为有效，例如视觉问答（Visual Question Answering, VQA）或多模态对话，这些任务要求模型同时处理并推理来自文本和图像的信息。近期关于 CoT 提示的研究表明，将推理过程分解为更小的步骤，能够显著提升模型在涉及逻辑推理和复杂问题求解任务中的表现［14］。此外，思维链推理增强了模型输出的透明度，这对于医疗或自动驾驶等需要高度决策可问责性的应用场景至关重要［15］。

应用多模态大语言模型（Multimodal Large Language Models, MLLMs）通过整合与处理来自多种模态的信息，在众多领域展现出显著进展。其处理并融合文本、图像、音频和视频的能力，使其在从视觉问答（Visual Question Answering, VQA）到跨模态检索（Cross-Modal Retrieval）等多样化应用中表现出色。以下各节将讨论MLLMs产生重大影响的关键应用场景。

视觉问答（Visual Question Answering, VQA）

视觉问答任务要求模型基于视觉输入（如图像或视频）回答相关问题。在该领域，MLLMs通过融合视觉与文本信息，生成更准确且语境相关的答案，取得了显著进展。传统的单模态模型（例如仅处理文本或仅处理图像的模型）难以捕捉两种模态之间的关联；而MLLMs能够同时处理这两种模态，从而更深入地理解问题及其对应的视觉内容。

例如，在VQA任务中，VQAv2等模型利用图像中的视觉上下文和问题中的文本上下文，生成更符合人类推理逻辑的答案［16］。此外，VilBERT和LXMERT等模型被专门设计用于学习视觉与语言的联合表征，通过交叉注意力机制将视觉特征与相应的文本信息对齐，进一步提升了图像描述生成和VQA等任务的性能［17］。这一能力在辅助技术等领域尤为有用——用户可就图像提出问题，模型需结合图像内容与自然语言理解来作答。

图像描述生成（Image Captioning）

在图像描述生成任务中，MLLMs通过理解图像的视觉内容并以自然语言表达出来，生成具有描述性的图像标题。该能力具有广泛的应用价值，尤其适用于需要对视觉数据进行自动解读的场景。MLLMs可通过生成详细图像描述来提升无障碍访问水平，帮助视障人士更好地理解图像内容［18］。

此外，基于内容的图像检索系统也因多模态模型的引入而受益。例如，搜索引擎和多媒体平台可利用图像描述功能，使用户能够通过文本查询搜索图像，从而提升用户体验和检索准确性［19］。Show and Tell 和 Att2in 等模型通过结合卷积神经网络（CNNs）进行视觉特征提取与循环神经网络（RNNs）生成连贯且语境准确的描述，推动了该领域的发展。此外，基于Transformer的新架构进一步提升了生成描述的流畅性与相关性［1］。

多模态对话系统（Multimodal Dialogue Systems）

多模态对话系统旨在通过融合语音、文本和视觉输入等多种模态，实现人机之间更自然、直观的交互。这类系统支持更具上下文感知能力的互动：模型可处理并整合来自不同通道的输入，生成更连贯、准确的响应。MLLMs在此类系统中尤为有效，因为它们能够综合考虑交互的完整上下文，不仅包括文本或听觉数据，还涵盖面部表情、手势和环境背景等视觉线索［20］。

例如，具备多模态能力的语音助手（如亚马逊Alexa和谷歌助手）如今能够处理同时涉及语音和视觉元素的指令。这些系统可以理解用户针对其视觉环境中物体提出的口头查询，并生成融合了语音语言与视觉反馈的响应。多模态能力的集成显著提升了人机交互（Human-Computer Interaction, HCI）体验，使系统更具动态性和上下文感知能力，这对于医疗、教育和客户服务等领域的应用至关重要［21］。

跨模态检索（Cross-Modal Retrieval）跨模态检索指在不同模态之间进行信息搜索，例如根据文本查询检索图像，或反之亦然。该任务要求MLLMs学习模态间的共享表征，从而弥合不同类型数据（如文本到图像或图像到文本检索）之间的鸿沟。MLLMs在此场景中极为有效，因为它们能够在统一的特征空间中对视觉和文本信息进行编码，即使查询与目标数据属于不同模态，也能实现精准检索。

例如，在文本到图像检索中，用户输入一段文字描述，系统即可返回匹配该查询的图像；而在图像到文本检索中，用户上传一张图像，系统则返回相应的文字描述或相关文档列表。CLIP和VisualBERT等模型通过采用共享的视觉-语言编码器来学习此类跨模态表征，彻底革新了该领域，并在跨模态检索和零样本学习等任务中展现出最先进的性能［1］。这些进展显著增强了电子商务、数字内容检索和多媒体信息系统等多个领域的搜索能力。

挑战

数据可用性与质量MLLMs 的性能在很大程度上依赖于多模态数据集的可用性与质量。构建覆盖多种模态（如图像、视频、音频和文本）的大规模、多样化且高质量的数据集，并使其能够反映真实世界场景，是一项重大挑战。目前广泛用于训练 MLLMs 的多模态数据集（如 MS COCO、Flickr30k 和 Visual Genome）主要用于图像描述生成和视觉问答（VQA）等任务，但这些数据集在覆盖范围、规模和多样性方面仍然有限［22］。例如，它们可能缺乏细粒度标注、多元文化背景，或特定领域应用（如医学图像分析或法律文件解读）所需的专门知识。

此外，确保这些数据集具有代表性且无偏见，对于开发公平可靠的模型至关重要。训练数据中存在的偏见——如性别、种族和文化偏见——可能导致模型产生不公平的预测结果，并加剧已有的刻板印象［23］。

计算资源训练大规模的多模态大语言模型（MLLMs）需要大量的计算资源，包括高性能硬件（如GPU、TPU）和高效的算法。与训练和推理相关的高昂计算成本可能限制MLLMs的可及性与可扩展性，尤其对小型机构或资源受限环境中的研究人员而言尤为明显。例如，GPT-3和BERT等模型是在大规模数据集上使用庞大的计算集群进行训练的，而这类资源通常无法被更广泛的科研社区所获取［1］。

此外，训练此类模型对环境的影响也十分显著。人工智能社区已普遍关注大型神经网络训练所带来的能源消耗问题。有研究估计，训练一个大型模型所产生的二氧化碳排放量，相当于多辆汽车一年的排放总量。因此，开发高效的训练技术与硬件优化方案，对于提升MLLMs的可持续性与可及性至关重要。目前，已有若干技术被提出以在不显著牺牲性能的前提下减小模型规模并缩短计算时间，例如模型剪枝（model pruning）、量化（quantization）和知识蒸馏（knowledge distillation）。

可解释性与可说明性随着MLLMs日益复杂，理解其决策过程变得愈发困难。文本、图像和音频等多种模态的融合进一步增加了复杂性，使得厘清模型如何处理并整合来自不同来源的信息极具挑战。这一问题在医疗、自动驾驶和金融等安全关键型应用中尤为突出——在这些场景中，理解模型为何做出特定决策对于建立问责机制和用户信任至关重要［24］。

目前，MLLMs本质上仍属于“黑箱”系统，即便是领域专家也可能难以解释其内部运作机制。因此，开发用于解释和说明多模态模型行为的方法，对于确保其可信度与问责性至关重要。近年来，注意力机制、显著性图（saliency maps）以及可解释性工具（如LIME和SHAP）的进展已开始为模型决策提供更深入的洞察，但这些方法在应用于多模态模型时仍存在局限性［25］。未来的研究需聚焦于提升模型透明度，确保MLLMs在高风险环境中既能保持高准确性，又具备良好的可解释性。

伦理与社会影响MLLMs的部署引发了一系列伦理关切，尤其涉及隐私、安全以及潜在的滥用风险。MLLMs通常在大量个人数据（包括图像、文本和语音）上进行训练，这带来了严重的隐私问题。例如，在医学影像或电子健康记录（EHRs）上训练的模型可能会无意中泄露敏感信息，从而侵犯用户隐私［26］。此外，随着MLLMs在监控、社交媒体和医疗等领域的广泛应用，其面临对抗性攻击或被恶意利用的风险也日益凸显，数据安全因此成为重要议题［27］。

此外，MLLMs容易放大训练数据中隐含的有害偏见。若不加以有效缓解，这些偏见可能导致招聘、执法和信贷等应用场景中出现歧视性结果［28］。应对这些问题，既需要开发透明的模型，也需要为MLLMs的部署制定明确的伦理准则。未来必须着力于偏见缓解、数据隐私保护和模型问责机制的完善，以确保MLLMs的研发与应用符合负责任的人工智能原则。

未来方向

高效模型架构未来的研究应聚焦于开发高效的多模态大语言模型（Multimodal Large Language Models, MLLMs）架构，使其在有效处理多模态数据的同时尽可能降低计算成本。这包括采用诸如模型剪枝（model pruning）等技术——在不牺牲性能的前提下减少网络中的参数数量；量化（quantization）——以更少的比特数表示模型权重，从而降低内存占用；以及知识蒸馏（knowledge distillation）——训练一个较小的“学生”模型来模仿一个更大、已预训练好的“教师”模型的行为。研究表明，这些方法可显著提升MLLMs在资源受限环境中的部署能力，使其适用于移动设备、物联网（IoT）系统或边缘计算等现实应用场景［29］。

多模态预训练策略利用大规模多模态数据集的创新性预训练策略，对于增强MLLMs的泛化能力至关重要。通过在预训练阶段融合多种模态（文本、图像、音频、视频）和多种任务（如分类、检索、生成），模型能够学习到更鲁棒且可迁移的表征，从而提升在各类下游任务中的表现。其中一项关键挑战在于预训练阶段如何对齐并整合多模态数据，确保模型能够从不同模态之间的相关性和互补性中有效学习。CLIP和ALIGN等模型已在此方向展现出巨大潜力，它们通过学习文本与图像的联合表征实现跨模态连接［1］。此外，未来研究还可探索无监督或半监督的预训练方法，使多模态模型能够在未标注数据上进行训练，进一步提升其可扩展性。

以人为中心的评估指标开发与人类感知和期望相一致的评估指标，对于衡量MLLMs的性能至关重要。传统的指标（如准确率、精确率和召回率）可能无法充分捕捉多模态模型的细微之处——这些模型通常以复杂方式与人类交互。例如，考虑连贯性（生成文本或图像的逻辑流畅性）、相关性（生成内容与用户期望的契合程度）和用户满意度（用户评分或主观评价）的指标，能够提供更有意义的模型性能洞察。在多模态系统背景下，既需评估各模态输出的质量（如图像质量或文本流畅度），也需评估模态间整体交互的有效性。研究人员已提出纳入这些主观因素的人类评估框架，例如通过众包标注更深入地理解用户对多模态响应的感知［30］。

跨学科协作MLLMs的发展需要自然语言处理（NLP）、计算机视觉、语音处理和认知科学等多个领域的协同合作。来自不同学科的研究人员可为模态间如何交互、如何建模多模态推理，以及如何借鉴人类感知机制指导模型设计等问题提供独特见解。例如，与认知科学家的合作有助于开发更能准确模拟人类多模态理解能力的模型，从而可能获得更具可解释性和泛化能力的系统。此外，与特定领域专家（如医疗、教育或自动驾驶领域）的合作，将确保MLLMs的研发始终面向真实世界应用，并契合各行业的具体需求。未来的方向还可探索机器学习工程师与人机交互（HCI）研究者之间的协同，以设计出能更有效地与用户互动的模型［31］。

评估基准

评估多模态大语言模型（Multimodal Large Language Models, MLLMs）需要专门设计的基准，以衡量其在多种模态和任务上的表现。传统评估指标主要面向单模态模型，在捕捉多模态交互所固有的复杂性方面往往力不从心。这是因为MLLMs需同时整合并处理来自多个来源（如文本、图像和音频）的数据。因此，构建全面且真正多模态的评估框架，对于推动MLLMs的研究进展与实际部署至关重要。一个可靠的基准不仅能支持模型间的公平比较，还能系统性地促进模型设计与评估方法的发展。

多模态基

准近期研究已提出多种专为MLLMs量身定制的基准，每种都旨在评估模型在需要融合不同模态的任务中的表现。例如，视觉问答（Visual Question Answering, VQA）任务评估模型回答关于图像问题的能力，要求模型同时理解视觉内容和自然语言［32］。图像描述生成（image captioning）任务则测试模型根据视觉输入生成描述性标题的能力，这需要模型将视觉感知与语言生成相结合［33］。其他任务，如多模态推理，则要求模型利用来自多个来源的信息进行复杂推理或推断，例如结合文本与图像生成特定输出。这类基准已成为评估MLLMs在机器人、自动驾驶和医疗等现实应用场景中实际能力的关键工具。

评估指标

为有效评估MLLMs，研究人员开发了专门针对多模态交互特性的评估指标。在视觉问答（VQA）等任务中，最常用的评估指标是准确率（accuracy），即模型正确回答问题的百分比。然而，在图像描述生成任务中，则采用更复杂的指标来评估生成标题的质量。BLEU、METEOR 和 CIDEr 是常用指标，用于衡量生成文本相对于人工撰写的参考文本在流畅性、相关性和多样性方面的表现［34］。这些指标虽能提供生成文本与预期输出匹配程度的量化评估，但通常难以充分捕捉多模态理解中所蕴含的语境与细微差别。因此，研究人员日益重视以人为中心的评估指标，考虑连贯性、上下文相关性和用户满意度等因素——这些因素在MLLMs的实际应用中至关重要［26］。

评估中的挑战

尽管已有多种基准和评估指标，MLLMs的评估仍面临诸多挑战。一个主要问题是缺乏覆盖广泛多模态任务的标准化多模态数据集，导致不同任务间模型性能评估结果存在不一致性。例如，当前大多数用于图像描述生成或VQA的数据集在样本数量和任务覆盖范围上相对有限，难以在多样化的场景下全面评估模型能力。此外，图像描述生成或情感分析等任务本身具有主观性，使得建立客观的评估标准变得复杂。例如，对生成文本的评估通常依赖人类对流畅性、相关性和创造性等要素的主观判断，而现有自动指标难以充分反映这些维度。因此，亟需构建更全面、标准化的评估框架，将客观度量与人类判断有机结合，以更好地应对上述挑战［35］。

未来方向

为克服现有评估挑战，未来关于多模态模型评估的研究应聚焦于创建覆盖多样化任务、场景和领域的标准化、大规模多模态数据集。这些数据集应更全面、真实地反映现实世界中的多模态交互，从而支持可泛化模型的开发与评估。此外，设计能更好体现多模态理解复杂性的新评估指标也至关重要。一种有前景的方法是更系统地将人类反馈纳入评估流程，例如通过众包评估或专家标注者提供对模型表现的定性反馈，并将其整合进自动化评估系统。通过改进评估方法论，研究社区将能更准确地把握MLLMs的全部能力与局限，从而有效引导多模态人工智能领域的进一步发展。

应用

多模态大语言模型（Multimodal Large Language Models, MLLMs）通过整合并处理来自多种模态（如文本、图像、音频和视频）的信息，在多个领域展现出巨大潜力。其跨模态理解与内容生成能力，推动了若干应用领域的进步，从而构建出更鲁棒、高效和智能的系统。

视觉问答（Visual Question Answering, VQA）

在视觉问答（VQA）任务中，模型需根据图像回答相关问题，这要求同时理解视觉内容和自然语言。VQA任务是融合视觉与语言模型所面临挑战的典型代表。MLLMs凭借其多模态能力，能够分析图像内容并理解对应的问题，从而生成语境相关的答案。VQA v2 和 LXMERT 等模型在此领域取得了显著进展，通过视觉与语言表征的联合学习提升了准确率［40］。例如，LXMERT 采用基于 Transformer 的架构分别处理视觉与语言任务，并将视觉推理与语言理解更紧密地结合，从而实现更准确、更鲁棒的 VQA 性能。

图像描述生成（Image Captioning）

在图像描述生成任务中，MLLMs 需要为图像生成具有描述性的标题，这融合了视觉感知与语言生成能力。该能力在视障人士辅助工具等应用中至关重要——模型可为无法看见图像或场景的用户生成文字描述。此外，基于内容的图像检索系统也因 MLLMs 而受益，能够通过文本查询更有效地搜索图像。Show and Tell 以及 Show, Attend and Tell 等技术在推动图像描述生成方面发挥了关键作用，这些模型通过对图像不同区域进行注意力聚焦，生成更准确的描述［36］。近期的发展包括采用基于 Transformer 的架构，如 ViLT 和 DETR，它们通过联合处理视觉与语言任务，进一步提升了图像描述生成及相关任务的效率。

多模态对话系统（Multimodal Dialogue Systems）多模态对话系统旨在通过融合多种模态（如语音、文本和视觉输入），实现人机之间更自然、更直观的交互。传统的对话系统通常仅依赖基于文本的输入，而多模态系统能够处理更广泛的信息，从而生成更具连贯性和上下文感知能力的对话。例如，在与虚拟助手交互时，多模态系统可整合用户的语音、面部表情和手势，以更准确地理解语境并作出更有效的回应。M3ER 和 MM-Dialog 是在对话智能体中提升多模态理解能力的代表性模型，支持更动态、个性化的用户交互。MLLMs 通过综合考虑对话中所有可用模态，增强了系统的上下文感知能力，并有助于处理模糊或不完整的输入。

跨模态检索（Cross-Modal Retrieval）跨模态检索指在不同模态之间进行信息搜索，例如根据文本查询检索图像，或反之亦然。MLLMs 通过学习能够弥合不同类型数据之间鸿沟的共享表征，显著提升了跨模态检索系统的效能。例如，在文本到图像检索中，MLLMs 可通过解析文本查询，在庞大的图像数据集中查找在视觉内容和描述语境上均匹配的图像。CLIP（Contrastive Language–Image Pretraining）在跨模态检索任务中取得了显著成功，其通过在共享潜在空间中对齐图像与文本，实现了最先进的性能。另一大规模多模态模型 ALIGN 也通过利用大规模数据集进行预训练和微调，进一步推动了跨模态检索的发展。

医疗应用（Healthcare Applications）在医疗领域，MLLMs 可协助完成多种关键任务，包括医学影像分析、电子健康记录（EHR）解读以及临床决策支持。例如，多模态模型可被训练用于同时分析X光片、CT扫描或MRI等医学影像，以及患者的病史或文本报告，从而提高诊断准确性。CheXNet 等模型已展现出在胸部X光片中检测肺炎的优异表现，其采用深度学习方法融合视觉与文本数据［37］。MLLMs 还可用于电子健康记录的解读，通过提取相关医疗信息并提供预测性洞察，辅助医护人员做出更明智的决策。此外，语音与文本数据的融合还可支持临床对话系统，使医生能够通过语音指令和书面笔记与系统进行交互。

自主系统（Autonomous Systems）自动驾驶汽车、无人机和机器人等自主系统高度依赖多模态信息来感知和理解其所处环境。MLLMs 使这些系统能够整合来自多种传感器（如摄像头、激光雷达和雷达）的数据，以及文本或语音指令，从而做出更明智的决策。例如，自动驾驶车辆可处理视觉数据以识别行人和其他车辆，同时解读文本地图或音频提示，以应对复杂环境中的导航任务。YOLO（You Only Look Once）等用于目标检测的深度学习模型，以及用于序列预测的基于Transformer的模型，正越来越多地应用于自主系统中，以实现实时多模态数据处理［38］。融合来自不同模态的数据，显著增强了系统对环境的理解能力，使其在动态场景中更加可靠且具备更强的适应性。

挑战与局限

尽管多模态大语言模型（Multimodal Large Language Models, MLLMs）取得了显著进展，但若干挑战仍阻碍其广泛应用与效能发挥。这些挑战涵盖数据可用性、计算资源、可解释性以及伦理关切等多个方面，而这些因素对于确保MLLMs在现实应用中公平、负责任地使用至关重要。

数据可用性与质量

MLLMs 的性能在很大程度上依赖于多模态数据集的可用性与质量。构建覆盖多种模态（如图像、文本、音频和视频）的大规模、多样化且高质量的数据集，并使其真实反映现实世界场景，是一项重大挑战。例如，尽管 MS COCO 和 Visual Genome 等数据集已被广泛用于图像描述生成和视觉问答（VQA）等任务，但它们在多样性以及所涵盖的多模态任务类型方面仍然有限。此外，确保这些数据集具有代表性、全面性且无偏见，对于开发公平可靠的模型至关重要。训练数据缺乏多样性可能导致模型产生偏见性结果，影响预测的公平性，并强化有害的刻板印象。此外，使用存在偏见的数据集还会削弱 MLLMs 的泛化能力，尤其在医疗和执法等高风险应用场景中问题尤为突出。

计算资源

训练大规模 MLLMs 需要大量计算资源，包括高性能硬件（如 GPU 和 TPU）以及高效的训练算法。现代多模态模型所处理的数据规模和模型参数数量极其庞大，导致计算成本极高。例如，GPT-4 和 DALL·E 依赖海量数据和强大算力才能实现最先进的性能，这通常使其仅对具备雄厚计算资源的机构开放。此外，训练此类模型所带来的环境影响也引发广泛关注——大型神经网络训练所消耗的能源可能非常巨大［39］。高昂的训练与推理成本还限制了 MLLMs 在资源受限环境（如小型企业或发展中国家）中的可及性与可扩展性。因此，亟需开发更高效的算法和硬件优化方案，以缓解上述挑战，并提升多模态模型研发的可持续性。

可解释性与可说明性

随着 MLLMs 日益复杂，理解其决策过程变得愈发困难。这些模型通常采用复杂的架构（如深度神经网络和 Transformer），使其难以被解释和说明。“黑箱”特性带来了显著挑战，尤其是在医疗、自动驾驶和执法等对问责制与信任度要求极高的领域。例如，一辆使用 MLLM 的自动驾驶汽车可能基于多模态输入（如摄像头、雷达和激光雷达数据）做出决策，但要向人类操作员清晰解释其为何决定为行人停车却十分困难。研究人员正积极探索通过注意力机制、显著性图（saliency maps）以及模型无关的解释方法（model-agnostic explanation methods）来提升模型的可解释性与可说明性。开发透明的模型对于确保其可信度至关重要，同时也使监管机构能够审查其决策过程。

伦理与社会影响MLLMs 的部署引发了重大的伦理关切，尤其涉及隐私、安全以及潜在的滥用风险。例如，多模态模型在监控或人脸识别等应用中的使用，可能导致隐私侵犯和误识别问题，尤其是在模型基于存在偏见或不平衡的数据集进行训练的情况下。此外，人们日益担忧这些模型的安全性，特别是在对抗性环境中——恶意行为者可能试图操纵输入（如篡改图像或音频信号），以诱导模型产生错误预测［34］。

此外，MLLMs 在医疗或执法等敏感领域的潜在滥用风险，凸显了制定监管框架和伦理准则以规范其开发与部署的必要性。确保 MLLMs 能够以负责任的方式被研发和使用，需要解决数据隐私、模型透明度以及有害偏见的缓解等关键问题［9］。因此，制定针对 MLLM 部署的伦理准则和政策建议，对于在推动技术创新与保障公共安全之间取得平衡至关重要。

未来方向

多模态大语言模型（Multimodal Large Language Models, MLLMs）领域正在迅速发展，未来研究有若干充满前景的方向，有望应对当前挑战并开辟新的机遇。这些研究方向包括高效模型架构的开发、创新的预训练策略、以人为中心的评估指标，以及跨学科协作，以确保MLLMs既能满足技术需求，也能契合社会价值。

高效模型架构

未来的研究应聚焦于开发高效的模型架构，在有效处理多模态数据的同时尽可能降低计算成本。大规模多模态模型的训练需要大量计算资源，而降低这些成本对于MLLMs在现实应用中的部署至关重要，尤其是在资源受限的环境中。模型剪枝（model pruning）、量化（quantization）和知识蒸馏（knowledge distillation）等技术是构建轻量级MLLMs且不显著牺牲性能的有前景方法。剪枝通过移除冗余的模型参数实现压缩；量化则通过降低权重的数值精度来减少计算需求［40］；知识蒸馏将大型复杂模型的知识迁移到更小、更高效的模型中，从而加快推理速度并降低资源消耗［41］。该领域的研究还应致力于在模型规模、准确率与推理速度之间取得平衡，使MLLMs在医疗、自主系统和移动应用等行业中更具实用性。

多模态预训练策略

为提升MLLMs的泛化能力，未来研究应探索利用大规模多模态数据集的创新性预训练策略。在预训练阶段融合多种模态（文本、图像、音频、视频等）和多样化任务，可使模型学习到鲁棒且可迁移的表征，从而适用于多种下游应用。近期如CLIP和Florence等模型已展示了跨模态预训练的强大潜力——这些模型在视觉与语言任务上同步训练，以学习共享表征。未来研究可进一步探索自监督学习技术，利用未标注的多模态数据进行训练，使模型能在无需昂贵人工标注的情况下从海量数据中学习。此外，开发将领域特定知识（如医学或法律专业知识）融入预训练过程的策略，有望显著提升MLLMs在专业领域的性能。

以人为中心的评估指标开发以人为中心的评估指标，对于以符合人类感知与期望的方式评估多模态大语言模型（MLLMs）的性能至关重要。尽管准确率、BLEU 和 METEOR 等传统指标在视觉问答（VQA）和图像描述生成等任务中被广泛使用，但它们往往无法全面捕捉模型在复杂多模态交互中的表现。因此，未来的研究应致力于设计能够衡量连贯性、相关性、用户满意度和现实适用性等因素的评估指标。例如，可为多模态对话系统构建以用户为中心的评估框架，不仅评估模型的语言流畅度，还考察其维持上下文一致性和开展有意义对话的能力［20］。此外，针对特定任务（如医学影像分析或自主系统）定制的评估方法，也能提供对模型行为更具实际意义的洞察。通过众包评估或专家评审将人类判断纳入评估流程，还可提供更契合人类价值观和社会需求的宝贵反馈。

跨学科协作MLLMs 的进步需要计算机科学、语言学、认知科学以及医疗、法律和人工智能伦理等特定领域之间的跨学科协作。融合语言学理论与认知模型，有助于使 MLLMs 实现更类人的推理与理解能力，因为模型可以借鉴人类如何统一处理语言、视觉信息和感官数据的机制。例如，从心理学角度理解认知负荷与感知过程，可指导 MLLMs 如何优先处理并整合多模态输入。此外，与领域专家（如医生、律师或工程师）的合作，对于开发不仅技术精湛、而且契合现实需求的模型至关重要。跨学科研究能够促进构建更具伦理性、透明性和以用户为中心的系统，充分考量在高风险环境中部署此类模型所涉及的社会、法律与道德影响。

结论多模态大语言模型（Multimodal Large Language Models, MLLMs）是人工智能领域的一项突破性创新，旨在处理并理解来自多种模态的信息，如文本、图像、音频和视频。与专注于单一数据格式的传统模型不同，MLLMs 能够融合并跨这些多样化的输入进行推理，使其具备解决复杂任务的能力——这些任务需要同时理解多种形式的信息。例如，MLLMs 可以提升图像描述生成等应用的性能，在该任务中，视觉与文本输入被同步分析；也可应用于自动驾驶汽车，在这类场景中，传感器数据与视觉识别的结合对导航至关重要。

尽管具有变革性潜力，MLLMs 仍面临若干挑战。数据质量是一个主要问题——MLLMs 需要大规模、多样化且高质量的数据集进行训练，而数据中的任何偏见或不准确都可能导致有缺陷甚至不道德的结果。计算效率是另一大挑战：处理多种数据类型需要大量计算资源，这不仅限制了小型机构的可及性，也加剧了环境影响。可解释性同样令人担忧：MLLMs 的复杂性常常使其预测或决策背后的推理过程难以理解，这在医疗或执法等高风险领域尤为成问题。最后，必须认真应对伦理方面的考量，包括偏见、隐私风险和潜在滥用等问题，以确保 MLLMs 能够负责任地部署。

归根结底，通过持续的研究与跨领域协作来应对上述挑战，对于充分释放 MLLMs 在现实世界应用中的全部潜力至关重要。