一场聚焦智能媒体前沿技术的学术交流日前在江苏南京举行，这是中国人工智能学会在“人工智能大模型技术高峰论坛”上首次设置“多模态融媒体大模型”专题论坛，交流融媒体领域大模型技术，人工智能与融媒领域专家围绕智能媒体学术进展与前瞻实践开展了深入探讨。

着力大模型驱动 主流媒体开辟智能传播新阵地

中国传媒大学副校长、媒体融合与传播国家重点实验室执行主任王晖教授认为，多模态大模型改变了媒体内容生产、分发和消费方式，各方应携手共同创造更加丰富、多元、可信的智能传播时代。

江苏省广播电视总台党委委员、副台长何宁分享了江苏广电媒体融合发展历程，以及运用大模型开展融媒创新实践成果。如AI辅助制作沉浸式AR/VR内容，全方位展示大运河文化；推出“AI江苏”智能体小程序，用智能问答助手形式链接整合各类公共服务信息。

媒体融合生产技术与系统国家重点实验室战略研究部副主任蔡津津围绕生成式人工智能逐步掌握内容生产话语权和传播主导权的趋势，分析舆论态势感知、可信安全内容生态和舆论应对引导所面临的风险挑战，提出智能媒体时代主流媒体需要在智能感知、智能生产、智能引导、智能治理四个领域开辟新阵地。

聚焦融媒应用刚需 学界发力提升大模型多模态能力

南京大学王利民教授介绍，南京大学和上海人工智能实验室合作研发的多模态视频理解大模型InternVideo，提升了大模型视觉特征对齐、跨模态语义对齐和视频内容交互对话的能力，能帮助媒体快速从海量视频素材中检索和发现目标信息。据介绍，InternVideo已成功支持央视在巴黎奥运会中即时生成赛事回放视频集锦。该研究还发布了包含700多万个视频、总时长近76万小时、并附带详细文本描述的多模态视频数据集InternVid，构建了包括9个维度的多模态视频评测基准MVBench。

上海交通大学闵雄阔副教授认为，大模型生成内容的质量评价非常重要，对于大模型用于媒体内容生产传播来说，质量评价指标能够评估、保障、提升媒体内容安全和体验效果。质量评价可以由大模型来驱动，从而实现模型的自我启发和自我优化，根据这个思路，他分享了一系列从图像质量、图文一致性、真实性、合理性等多维度评价AIGC图像和视频的方法，并给出了多项质量评价基准。

应对融媒应用痛点加强小样本学习与跨模态推理能力

东南大学研究生院常务副院长耿新教授认为，目前大模型相较于人类缺少本能、进化和创意能力，他提出了“学习基因”这一创新方法，即让大模型通过继承前代模型积累的“本能”，实现模型初始化；进而通过遗传竞争机制实现“学习基因”的进化，提升模型小样本快速学习的能力；最终通过不断进化创造更强大的模型，形成新质AI能力。

中国科学院自动化研究所钱胜胜副研究员针对大模型跨模态推理领域的难点与挑战，介绍了多模态智能体少样本问答方法与跨模态零样本组合式图像检索方法。上述研究成果能有效提升大模型跨模态推理能力，增强在图片视频内容描述与视觉问答场景的实用性，进一步支撑视频内容审核、视频描述与事件分析、观点洞察与抽取等任务。

“多模态融媒体大模型”专题论坛由南京大学主办，南京大学通信工程系主任、CAAI智能传媒专委会副主任曹汛教授主持，是“2024第二届人工智能大模型技术高峰论坛”七场专题论坛之一。