讲座题目：从特征交互到数据交互：深度点击率模型的新趋势

主 讲 人：张伟楠

讲座时间：2022.6.30（周四）  10：00

讲座地点：6A519

主办单位：计算机与App工程学院

主讲人概况：

    张伟楠博士现任上海交通大学长聘教轨副教授、博士生导师，科研领域包括信息检索、数据科学和强化学习，相关的研究成果在国际会议和期刊上发表150余篇学术论文，GOOGLE学术引用1万余次。张伟楠长期担任ICML、NeurIPS、ICLR、KDD、AAAI、IJCAI、SIGIR等机器学习和数据科学的会议(高级)程序委员和JMLR、TOIS、TKDE、TIST等期刊的评审以及FCS的青年编委。他的研究工作于2017年获ACM国际信息检索会议SIGIR的最佳论文提名奖；2019年获ACM SIGKDD深度学习实践研讨会最佳论文奖；2020年获国际机器人学习会议CoRL最佳系统论文奖；2021年ACM SIGKDD图深度学习研讨会最佳论文奖。获得国家自然科学基金项目资助，入选上海市科委英才扬帆计划、中国科协青年人才托举工程，获得吴文俊人工智能优秀青年奖和达摩院青橙奖。张伟楠于2011年在上海交通大学计算机系ACM班获得学士学位，于2016年在伦敦大学学院计算机系获得博士学位。

讲座内容概况：

    从2013年开始，深度学习技术开始在大信息检索领域广泛应用，包括搜索、推荐和广告。而从2016年开始，深度点击率模型正式走入大家的视野，相应的学术论文开始发表。在这一轮的发展中，人们利用深度神经网络自动学习模式表征的能力来试图自动挖掘点击率预测数据特征之间的交互模式。从早期的FNN和Wide&Deep等隐式交互模型，发展到后来的PNN、DCN、DeepFM等显式交互模型，再到近期的探索交互模型架构的AutoML方法，深度学习在特征之间交互模式能力的挖掘似乎正在走到上限。而另一方面，跨数据实例之间的模式交互开始受到关注，以DIN、DIEN、UBR和SIM为代表的模型站在用户的角度去挖掘用户历史行为的综合表征，以对当前实例做出更加精准的点击率预估。跳出用户视角的限制，将点击率预估数据集看成一张大表，大家进一步提出检索交互机模型RIM（Retrieval & Interaction Machine），通过对整个表构建反向索引并引入排序算法，RIM可以根据当前预测实例快速检索到大表中的相关实例，并在一个深度模型中同时探索当前实例特征交互和跨实例数据交互。RIM已经在多个点击率预估评测集上取得了最领先的性能，并能够无缝使用在其他关系型数据库预测任务中。最后，大家先容近期的一个新工作PET，它在RIM的基础上设计了一个新的图神经网络消息传递机制，从而通过信息传递来探索了跨数据样本的高阶特征交互模式。