日前，2023年CCF-联想蓝海科研基金发布了基金课题评审结果，香港科技大学（广州）计算媒体与艺术学域与物联网学域助理教授范明明申报的“基于多模态交互的信息理解与情境任务感知建模方法”课题荣获资助。

CCF-联想蓝海科研基金是CCF与联想共同设立的面向中国高校学者的科研基金，旨在将产业前瞻技术挑战与高校科学研究紧密结合，加速前沿技术在产业中的落地。

2023年CCF-联想蓝海科研基金直面学术与产业最新的发展，围绕“人工智能+计算”，关注前瞻技术及其在真实业务场景中的落地应用，发布了多项前沿技术挑战，资助率仅为20%。联想技术团队及CCF专家从挑战匹配度、课题创新性、技术领先性、产业化可行性等维度进行了严格的综合评审，最终确认资助10个课题。以下是范明明教授的课题介绍：

研究题目

基于多模态交互的信息理解与情境任务感知建模方法

研究内容

随着AI和IoT技术的进步，智能系统具备了强大的情境感知能力，例如智能手机可以通过感知用户的物理和社交环境来提供自动化服务。然而，面对信息的多样性和任务需求的复杂性，信息处理面临巨大挑战。

主要技术难点包括：

01

多模态输入理解，即如何有效处理并从文本、图像、音频等多模态输入中提取知识。尽管深度学习模型在这些领域有所应用，但获取大量标注数据耗时耗力，且传统模型常忽视不同模态间的关联性，影响信息融合效果。

02

情境感知与任务识别，即如何根据用户所处情境识别其任务需求。现有技术主要依赖规则匹配和机器学习算法，但数据标注需求大，且对情境和任务间的动态变化及关联性的表征不足。

以上技术挑战导致传统助手应用难以有效解决用户痛点。

随着AI技术的发展，大型模型如GPT-4在理解和生成文本信息方面表现出强大的能力。因此，结合大模型和人机交互技术以解决基于多模态数据的情境感知和建模问题，提升个人信息助理的能力，具有重要的研究意义和实用价值。

范明明，现任香港科技大学（广州）信息枢纽计算媒体与艺术学域与物联网学域助理教授、博士生导师、无障碍与人机交互课题组（APEX）创始人。同时兼任香港科技大学综合系统与设计系及计算机科学与工程系教职。2019年获多伦多大学计算机科学系哲学博士学位，研究方向为智能人机交互、人智协同、无障碍与适老化技术。在人机交互及无障碍研究领域国际著名学术期刊与会议上发表论文60余篇，包括35余篇CCF-A论文，并多次荣获国际论文奖励，如CHI 2023最佳论文荣誉提名奖、CHI 2019最佳论文奖、UbiComp 2015最佳论文荣誉提名奖、ASSETS 2020最佳作品奖等。目前担任多个国内外重要学术任职，包括人机交互顶级学术会议CHI 2024 (CCF A) 会议“Accessibility and Aging” 委员会主席，CSCW 2023 (CCF A) 论文奖项评审委员会委员，及CSCW 2023和ASSETS 2023程序委员会委员，中国计算机学会(CCF)人机交互专委会执委，中国残疾人康复协会康复工程与辅具技术专业委员会委员等。

---

来源：香港科技大学（广州）信息枢纽