應計算機學(xué)院姚鴻勛教授和電信學(xué)院孟維曉教授的共同邀請,Simon Shaolei Du博士將于2019年1月4日來(lái)哈爾濱工業(yè)大學(xué)訪(fǎng)問(wèn)并進(jìn)行學(xué)術(shù)講座,歡迎全校感興趣的師生參加。
講學(xué)題目: Understanding Optimization and Generalization in Deep Learning: A Trajectory-based Analysis
講學(xué)時(shí)間:2019年1月4日上午9:00-11:00
講學(xué)地點(diǎn):哈工大科學(xué)園2A棟1011會(huì )議室
報告內容簡(jiǎn)介:This presentation will present recent progress on understanding deep neural networks by analyzing the trajectory of the gradient descent algorithm. Using this analysis technique, we are able to explain:
1) Why gradient descent finds a global minimum of the training loss even though the objective function is highly non-convex, and
2) Why a neural network can generalize even the number of parameters in the neural network is more than the number of training data.
作者簡(jiǎn)介:Simon Shaolei Du,卡耐基梅隆大學(xué)計算機系博士,導師是著(zhù)名的Aarti Singh教授和Barnabás Póczos教授。研究方向包括理論機器學(xué)習和統計學(xué)的主題,如深入學(xué)習、矩陣分解、凸/非凸優(yōu)化、轉移學(xué)習、強化學(xué)習、非參數統計和魯棒統計。2015年他獲得加州大學(xué)伯克利分校電子工程與計算機、工程數學(xué)和統計雙學(xué)位。是伯克利EECS獎項獲得者,Etta Kappa Nu成員、Phi Beta Kappa成員。作為國際機器學(xué)習方向頂尖青年學(xué)者,他是Best Paper Award at ICML 2018 Workshop on Nonconvex Optimization獲得者,2018 NeurIPS頂級會(huì )議 NVIDIA Pioneer Award 獲得者,以及19篇計算機頂級會(huì )議論文發(fā)表者。他還曾在微軟和Facebook的研究實(shí)驗室工作過(guò)。