2020.11.19

在当今“双循环”的大背景下，全球已经开始以信息技术为代表的第四次工业革命，人工智能成为新一轮科技革命和产业变革的核心驱动力，正推动着我们走入人工智能时代。深度学习是近年来人工智能发展最迅猛的领域之一，在算力、数据、算法三架马车的有力驱动下，通过分层网络获取分层次的特征信息，从而解决了以往需要人工设计特征的重要难题。不单广泛应用于搜索引擎、电子商务、社交网络等互联网服务，还以势如破竹之势在语音识别、机器视觉、自然语言处理等一个个经典的人工智能问题上取得实质性进展。深度学习作为处理非结构化数据的一种手段，走向大规模产业化应用已成为从政策导向到行业共识的一致方向。为此，建立深度学习平台助力产业应用，加速支持产业智能化，也已经成为当前学术界和各行业最炙手可热的研究应用方向。

由北京大学光华管理学院商务统计与经济计量系主办的“深度学习与统计学理论”研讨会将于11月19日在北京大学线上、线下同步进行。

会议时间：

2020年11月19日 09:00-11:45

线下地点：

北京大学光华管理学院

线上平台：

腾讯会议直播平台

日程安排

08:30-09:00签到

09:00-09:10开幕式

09:10-11:45 会议报告

（每个报告30分钟，5分钟提问。）

报名方式

请长按识别下方二维码参与报名

或直接点击文末“阅读原文”报名

嘉宾阵容

01

报告题目

Prediction, Computation, and Representation---The Nature of Machine Learning

报告嘉宾

张志华

北京大学数学科学学院教授。之前曾经先后任教于浙江大学和上海交通大学，任聘计算机科学教授。主要从事应用统计、机器学习与人工智能领域的研究和教学。是国际机器学习旗舰刊物Journal of Machine Learning Research的执行编委，并多次受邀担任国际人工智能顶级学术会议的高级程序委员或领域主席。讲授有网络公开课《统计机器学习》、《机器学习导论》、《应用数学基础》和《强化学习》等。

报告摘要

机器学习的发展给统计学带来了深刻的影响。Leo Breiman 在他发表于2001年的著名论文“Statistical Modeling: The Two Cultures”中首次讨论了统计学和机器学习之间的文化差异，提出了统计学专注“Data Modeling Culture”，而定义机器学习为“Algorithmic Modeling Culture”。Bradley Efron在其2019年ISP(International Statistical Prize) lecture和随后发表的论文“Prediction, Estimation, and Attribution”中再次发人深思地探讨了经典统计学和现代机器学习的分歧，他把机器学习定义为“Pure Prediction Algorithms”，而用“estimation”和“attribution”来刻画传统统计回归方法。在这个报告中，我试图用“prediction, computation, and representation”三元素来阐述机器学习的本质。特别地，从“representation”角度来看待机器学习，表明它的发展贯穿着如何解决“dimensionality curse”和利用“dimensionality blessing”。深度学习则完美诠释了这两者之间的权衡，它也是迄今为止把“Data Modeling Culture”和“Algorithmic Modeling Culture”融为一体的最佳技术途径。

02

报告题目

非参深度学习理论初探

报告嘉宾

高 尉

南京大学人工智能学院副教授，主要围绕机器学习理论相关方面开展研究，在AIJ、COLT、ICML、NeurIPS等重要国际期刊/会议发表论文多篇。近年应邀担任IJCAI 2017-2020高级程序委员，以及ICML、NeurIPS、KDD等重要国际会议程序委员。担任中国计算机学会人工智能与模式识别专委会委员、中国人工智能学会机器学习专委会委员、江苏省人工智能学会副秘书长等。获教育部自然科学一等奖 (排名第三)、CCF优秀博士论文奖、江苏省优秀博士论文奖，入选微软亚洲研究院青年学者“铸星计划”等。

报告摘要

深度学习近年来受到了人们的广泛关注，当前深度学习一般泛指参数化可微分构件的深度神经网络，在诸多现实任务中取得了成功，同时也带来了计算资源、人力成本、可验证性等问题。课题组近年来致力于非参深度学习的研究，其基本构建是非参数化、不可微分的随机森林模型，非参深度学习在诸多任务中取得了与深度学习相当的效果，特别对离散型学习任务往往表现出更好的效果。本报告将介绍我们最近在非参深度学习方面取得的理论初步进展，着重介绍收敛界的研究，在理论上指导非参深度模型的构建。

03

报告题目

深度学习：从理论到算法

报告嘉宾

王立威

北京大学教授，智能科学系副主任。同时是清华大学交叉信息学院兼职教授。他的主要研究方向为机器学习理论。在顶级会议、期刊发表论文100余篇。他是TPAMI编委，NeurIPS, ICML领域主席。是首位入选AI’s 10 to Watch的亚洲学者。

报告摘要

我将介绍近期我们在深度学习理论方面的进展及其对算法设计的指导。我们首先从数学上证明，当深度网络充分宽，则从随机初始点出发，（随机）梯度下降法以很大概率能找到全局最优点，并且为线性收敛速度。基于此理论结果，我们设计了二阶优化算法——Gram-Gauss-Newton算法，用以训练深度神经网络。该算法具有二阶收敛速度，并且每次迭代的计算复杂度与SGD相仿。

04

报告题目

Progressive Principle Component Analysis for Compressing Deep Convolutional Neural Networks

报告嘉宾

周 静

中国人民大学统计学院副教授、应用统计科学研究中心研究员，北京大学光华管理学院博士，研究方向为社交网络、空间计量、模型压缩等，在Journal of Business & Economic Statistics，Statistic Sinica，Science China Mathematics，Electronic Commerce Research and Applications，管理科学，营销科学学报等国内外核心期刊发表论文十余篇，编著《深度学习：从入门到精通》教材一本，主持国自科、北社科、统计局重点等多项省部级以上课题。担任人民邮电出版社数据科学与统计·商业分析系列教材编委会委员。

报告摘要

In this work, we propose a progressive principal component analysis (PPCA) method for compressing deep convolutional neural networks. The proposed method starts with a prespecified layer and progressively moves on to the final output layer. For each target layer, PPCA conducts kernel principal component analysis for the estimated kernel weights. This leads to a significant reduction in the number of kernels in the current layer. As a consequence, the channels used for the next layer are also reduced substantially. This is because the number of kernels used in the current layer determines the number of channels for the next layer. For convenience, we refer to this as a progressive effect. As a consequence, the entire model structure can be substantially compressed, and both the number of parameters and the inference costs can be substantially reduced. Meanwhile, the prediction accuracy remains very competitive with respect to that of the baseline model. The effectiveness of the proposed method is evaluated on a number of classical CNNs (AlexNet, VGGNet, ResNet and MobileNet) and benchmark datasets. The empirical findings are very encouraging. The code is available at https://github.com/zhoujing89/ppca

End

编辑：精卫