独墅会议·医工交叉前沿讲堂｜罗切斯特大学罗杰波教授来我院开展学术讲座

2024年5月27日，欧洲科学院院士、美国国家发明家科学院院士，ACM、AAAI、IEEE、SPIE、IAPR和NAI的Fellow，罗切斯特大学Albert Arendt Hopeman教授、计算机科学教授罗杰波来访我院参观交流，并作题为《LMMs as Social Multimedia Analysis Engines》的主题讲座。

本次讲座在仁爱路校区明德楼A105会议室举行，由生物医学工程学院执行院长、医学影像智能与机器人研究中心(MIRACLE)主任周少华教授主持，生物医学工程学院部分研究员以及硕、博研究生们参加了此次讲座。

    本次讲座中，罗杰波教授深入探讨了大型多模态模型（LMMs）应用在社交媒体分析等专业领域所面临的挑战。这些领域涉及文本、图像、视频和音频的复杂交互，使得LMMs的应用变得尤为复杂。首先，罗杰波教授介绍了他们对GPT-4V的评估工作，重点评估了GPT-4V在情感分析、仇恨言论检测、虚假新闻识别、人口统计推断和政治意识形态检测五个方面的有效性。在介绍每个方面的评估工作中，罗杰波教授使用了大量例子，图文并茂地展示了每个评估方面的细节和结果，让在场的硕博生理解更加深刻。随后，罗杰波教授介绍了LMMs所面临的挑战和机遇。例如，在多语言情形下，社交多媒体大模型理解会出现不一致的情况；此外，由于训练数据时效性问题，LMMs会存在知识过时的现象，因此为LMMs提供新的基准数据集显得尤为必要。讲座期间，罗杰波教授利用自己的例子抛出“Is this AIGC？”这一讨论问题，并与在座师生积极互动，现场气氛十分活跃。

本场讲座，罗杰波教授介绍了LMMs在解密社交媒体内容方面的广阔前景，同时指出了在一些方面还有改进的余地。最后，罗杰波教授对硕、博研究生们在医学大模型科研方面给出了宝贵建议，本场讲座在热烈的掌声中顺利落幕。