编者按:从数学博士到投身计算机科学研究,微软亚洲研究院机器学习组主管研究员陈薇将理性严谨的数学思维融入到了工作与生活的方方面面:在研究领域,陈薇以她坚实的数学背景与研究团队一起从事机器学习理论和算法优化的研究,为机器学习的加速发展奠定了有力的理论基础;在生活中,她也用数学思维来不断优化自己的人生。

数学博士陈薇是位知性、温婉的女性研究员,常年的数学思维训练,让她很善于用各种模型去解释生活中的大小问题。在她看来,“如果把人生看成一个优化问题,那么只有影响力能成为其目标。”自选择做计算机科学研究的那一天起,研究的影响力便成为陈薇追寻的目标。在加入微软亚洲研究院后,陈薇与合作者们一起从理论上理解机器学习方法并改进算法,先后在排序学习、博弈机器学习、分布式机器学习、深度学习和强化学习理论等机器学习的各个分支取得了多项重要研究成果,为机器学习的加速发展奠定了有力的理论基础。

“顶天立地”的数学思维

2008年8月5号——北京奥运会开始的前三天,陈薇因为她在中科院的导师与微软亚洲研究院的联合科研项目,开始了在微软亚洲研究院的实习。当时陈薇主要做的是与复杂随机网络相关的课题,并为此提供一些算法的理论分析。2010年陈薇的实习结束,优异的她获得了微软亚洲研究院的Offer,但让她有些犹豫的是,像她一样学数学的同学在当时大多都选择去了高校或金融机构,跨界到计算机领域可算是同学中的独一份。

在这个抉择的过程中,陈薇当时的Mentor、现任微软亚洲研究院副院长刘铁岩博士给出了几条建议,令她记忆犹新:一,无论在什么组织里,最重要的都是**体现自己的价值,**不要因为体制不同、有陌生感,就担心、害怕,在哪里都是做研究,与体制无关;二,对于行业问题,在高校做研究一般按照自己的知识体系前行,基于自己技术积累的程度,去寻找相应的研究问题,但在微软亚洲研究院,你会发现因为基于微软这个平台公司,这里永远不缺少计算机科学问题,而且这里还有大量的数据,所以数学在这里也有很大的发挥空间——可以把问题抽象出来,然后利用数据再把它的Pattern(模型)找出来;三,**与聪明人为伴,**或者说是与能够让你进步的人一起工作。

微软亚洲研究院主管研究员陈薇

彼时,在微软亚洲研究院实习了两年多的陈薇已经对微软亚洲研究院相当了解,并且学到了不少技术和方法论。“数学的本质就是一个把问题抽象出来,利用数据和数学逻辑进行推理建模寻找规律的过程。 微软亚洲研究院作为一个顶级的研究机构,所面临的问题也是来自前沿的挑战,在这里你完全就是站在计算机科学研究的最顶端。 ”因此陈薇决定加入微软亚洲研究院便无悬念。现在回想起来,陈薇觉得自己可能一直就有那么一股愿意解决各种问题的冲劲儿,而这股力量后来又推动她攻克下了一个又一个难题。

陈薇面临的第一个难题就是排序项目,当时业界已经有了很多排序算法,同时也有很多排序的评价准则。但陈薇和同事们却发现,那会儿训练模型的算法是一套,而评价准则却是另外一套,于是他们试图打通其中的关联,从而完善整个体系。在研究的过程中,拥有数学背景的陈薇不仅设计了全新的本质损失函数,找到了更好的算法,而且对于走在前面的算法,她还给出了理论上的解释,去发现还有什么可以改进的空间。就这样,训练模型和评价准则之间的关系便有解了。陈薇也第一次在计算机领域的研究中,深刻地体会到了数学的用武之地。

排序算法中的本质损失函数

相反,对算法问题进行数学拆分,再逐步研究其中的优化空间,则是陈薇利用数学思维开辟出的蹊径,同时,这也是陈薇做分布式机器学习的思路。事实上,分布式机器学习与传统分布式计算有本质区别,因为它是一个迭代式的优化算法。用分布式计算去做机器学习,就要把问题一步步细化,比如数据怎么分、本地间如何交互、如何合并成模型、什么时候通信、如何通信等等,当把整个分布式框架拆分开来,优化的路径也更为清晰。在陈薇看来,这正是数学的体系化思维带给她的优势。

关于数学思维,陈薇认为它是一整套的体系化思考和观察角度,与之相应的方法论,就是她的导师中科院数学院马志明院士常教导的——做应用数学的学生们要“顶天立地”。马老师常说:“做算法做到最后需要去理解它背后的数学机理是什么?它的理论保证是什么?除了实验上的尝试之外,我们还要证明一些东西,去改进它。这样就有机会产生颠覆性创新思维,做到胜人一筹,这叫做‘顶天’。与此同时,在实验过程中,不断发现问题、优化问题、解决问题,使得算法能真正解决实际问题,这就是‘立地’。”“顶天立地”四个字陪伴着陈薇在微软亚洲研究院走过了10年,也让她在之后的诸多跨界研究中有了底气。

跨界研究是创新的开端

陈薇的数学专业方向是概率统计,偏向于连续数学。但在她正式加入微软亚洲研究院之后不久,她所在的小组调整了研究方向——研究属于博弈论范畴的广告拍卖机制。博弈论具有离散组合数学的属性,与连续的概率统计技术相差很大。几乎陌生的研究领域起初让陈薇有些畏难情绪,因为这意味着她要从头学习博弈论的所有理论基础。但作为当时组里唯一一位数学专业出身的研究员,陈薇开始组织大家阅读、学习相关文献著作,渐渐投身研究。

传统的广告词购买,数据匹配通常不够精确、灵活,遇到关键词有多种意思时很容易混淆,比如苹果,可能是指水果,也可能是指电子产品,但无论广告主投标的是这一关键词的何种含义,其广告都会被混在一起打包投放。这种拍卖机制中并不存在纳什均衡,系统的稳定性较差,博弈论关心的两个目标社会福利和平台收益也无从保证。为了解决这个问题,陈薇及其合作者设计了全新的概率广义匹配拍卖机制,根据数据设计概率将关键词匹配至更细致的含义中,使得系统存在性质优良的纳什均衡。经过两年的时间,这一研究成果 最终被计算机经济学领域最权威的学术会议ACM EC接收。

概率广义匹配拍卖机制

同时,陈薇也在思考如何用机器学习算法设计机制。不同于传统的监督学习,博弈问题中的行为数据会随着策略的变化而变化,学习算法所需要必备的泛化性能受到挑战。陈薇及其合作者引入行为学习模块,用来模拟行为数据的变化,然后设计机制学习模块学习最优机制。他们证明了如果行为模型是马氏的,学习算法仍然具有良好的泛化性能。他们称这一针对博弈论问题具有良好泛化性能的算法“博弈机器学习”。

博弈机器学习

陈薇表示,博弈机器学习这个项目完成之后,涉及任何数学分支的�