2018年4月16日，【统计学论坛·特邀报告】在清华大学主楼接待厅成功举办。报告的主讲人是美国国家科学院院士、斯坦福大学统计系王永雄教授。作为清华大学107周年校庆的系列活动之一，王永雄教授的特邀报告从信息发布伊始即受到校内师生的广泛关注，活动现场更是气氛热烈，座无虚席。
本次报告的主办单位为清华大学工业工程系统计学研究中心，并由统计学研究中心副主任邓柯副教授担任主持人。报告的题目是Mini-batching in Markov Chain Monte Carlo Inference。
王教授首先介绍问题背景。即在抽样问题中，如果目标分布不能很容易地直接抽样，用Markov Chain Monte Carlo (以下简称MCMC) 方法可以有效地解决这个问题。构造一条马氏链，使得它的极限分布是目标分布，迭代多次之后可以近似地得到目标分布的样本。Metropolis-Hastings (MH) 算法是 MCMC 方法中最常用的算法之一。当我们要抽参数的后验分布时，M-H 算法计算 M-H ratio 的时候需要用到全部数据。但是当数据量很大时，这个方法就不会有很高的效率。如果用 mini-batch 的方法，每次只需要计算少量数据的信息，可以有效地提高效率。由此引入了报告主要研究的问题 mini-batch tempered MCMC。
实现这个方法运用了统计学里经典的参数扩张 (parameter augmentation) 的办法。通过构造一个比参数空间更高维的分布，并在这个分布上运用mini-batch M-H 算法，抽到的样本取边缘分布，即可得到我们想要的参数的样本。通过数学方法可以证明，得到样本的极限分布是参数后验分布的一个回火版本 (tempered version)。随机模拟和实际数据两个例子表明，MINi-batch Tempered MCMC (MINT) 算法能得到和 Tempered MCMC 方法类似的样本数据，但是计算和用时方面有显著地提高。
第二个问题是由于 MINT 算法抽样得到的样本并不是真的后验分布，只是后验分布升温后的一个版本。如果我们想要得到真实的后验分布的样本，王教授介绍了 equi-energy (EE) sampler的办法(Kou, Zhou and Wong, 2006)。原来的EE方法可以有效地解决分布多峰(multi-mode)的问题，但是对后验分布抽样时，MCMC方法每一步还是需要所有数据的信息。把 MINT 和 EE 方法结合起来，可以得到 MINi-batch Tempered Equi-Energy (MINTEE) 算法。MINT可以有效地从高温分布中抽样；EE方法要求从最高的温度开始，在每个温度中都抽相应的马氏链，并不断更新EE set，最低温分布就是目标分布，可以得到想要的样本。同样地，MINTEE 方法在实际应用中有很高地效率，计算复杂度也比EE方法小。
第三部分王教授介绍了 cone move 的方法。在机器学习里面流行的Langevin Dynamics方法，每次马氏链更新的时候，proposal distribution 的期望会沿着梯度方向，而这种方法会使 proposal distribution 的反向概率 (reverse probability) 很小，从而导致 M-H ratio 也非常小，马氏链很难转移出去，抽样效率低。王教授介绍的方法是提出一个新的proposal distribution，空间上像是把两个圆锥反向按顶点接在一起，它在正负梯度上有着相同的概率，这样每次马氏链的转移是可逆的(reversible)，效率会更高一些。
最后的提问环节，老师和同学们讨论了和 MINT 方法相关的问题：能否把 MINT 方法运用在 Gibbs 抽样的框架之下？MINTEE 方法中，不同温度下的马氏链可不可以在不同温度之间进行转移等等。王教授回答到，在Gibbs抽样中运用mini-batch方法是十分有趣也十分有挑战的问题，期望看到更多的相关的进展。对于后一个问题，在parallel tempering方法中，多条马氏链可以在不同温度之间交换，而在EE sampler方法里，高温的马氏链可以帮助指导或影响低温的马氏链，低温对高温是不会有影响的。
世界范围内统计学科顶尖院士的特邀报告是统计学论坛的传统活动，每一学年均如期举办，它为清华的师生提供了一个和学术大咖近距离沟通交流的机会，获得一致好评与称赞。
