5月19日晚上,学院、上海自主智能无人系统科学中心联合举办的智·信讲堂-抗“疫”特别系列讲座线上开讲,本次讲堂也是学院庆祝建校115周年系列活动之一。本次讲堂邀请了英国皇家工程院院士、利兹大学教授Anthony G. Cohn作“On Evaluating AI systems: Competitions and Benchmarks”主题报告,由张皓教授主持。
Anthony G. Cohn教授分别从AI系统评估工具的讨论、评估工具分类框架、框架的特征示例、评估工具和未来技能等方面展开报告。首先,Anthony G. Cohn教授介绍了如何评估AI系统,阐述了不同类型的标准和对比。然后介绍了对比的缺点创建标准和对比的一些挑战,比较了不同方法评估AI系统的优缺点。接着介绍了分类评估工具的框架,详细分析了分类评估工具的18个方面,主要分为三大类(有效性组、一致性组(可靠性/精确性)、公平性组)。而后介绍了使用评估工具分类框架的示例,分析其特征和性能。最后介绍了评估工具和未来技能。Anthony G. Cohn教授丰富精彩的报告为学校师生的学习和科研工作带去了思想启发,也为同学们了解AI系统的评估提供了有益指导。
报告结束后,Anthony G. Cohn教授就评估AI系统的基准和比赛的相关问题与师生们进行了交流。Anthony G. Cohn教授也根据自身经历勉励同学们要积极拓宽视野,努力探索、发现并解决新的科学问题。此次报告进一步拓展了我司师生的科研视野,增强了同学们对AI系统评估的理解与认识。(文/图 张皓 王云姣)