从多重积分到Lasso——浅淡计算机科学与技术专业高等数学的教学

From Multiple Integral to Lasso—A Note on Teaching of Advanced Mathematics Specified to the Department of Computer Science

摘要: 随着机器学习、大数据分析等领域的迅速发展，在计算机科学与技术专业的学习中出现了大量新的数学问题。Lasso是机器学习、大数据分析领域正则化目标函数的重要工具。本文通过多重积分的教学，阐述了Lasso背后的数学原理。探讨了针对计算机科学与技术专业的高等数学教学内容改革。

Abstract: With the rapid development of machine learning, data science etc., many new problems about mathematics appeared in the class of computer science. Lasso is a key tool in solving optimization problems in machine learning, data science. In this paper, we will demonstrate Lasso in teaching of multiple integral and explore reforming the materials of advanced mathematics for the class of computer science.

1. 引言

高等数学是理工科的基础课。它的主要内容包括微分学、积分学以及无穷级数等。这些内容几乎是所有数学领域的基础。并且广泛应用于各科学与工程领域。在大学课程中，高等数学是国内外高校理工科学生必修的基础课程之一。课程基本要求为使得学生通过对高等数学课程的学习，了解微积分的基础理论，并能灵活运用微积分的思想、方法与工具去解决学习或者实践中遇到的问题。

当前中国社会迅猛发展，国内教育水平也跟着迅速提高。高等数学的教学得到了充分发展，涌现出一批优秀的教师和教材。通过高等数学的教学，培养学生逻辑思维能力、抽象思维能力等基本素养的方面，近年来愈来愈受到重视 [1]。一些文科专业也开始开设该课程，作为学生综合素质培养的重要环节 [2]。高等数学的教学在计算机科学与技术专业尤为重要。该专业的几乎所有后续课程均需高等数学作为基础。今天的高等数学教学内容成型于几十年前，彼时计算机科学与技术的发展远不如今日之盛，相应的高等数学教学内容几乎没有以计算机科学与技术专业为背景的。这导致计算机科学与技术专业的学生在学习高等数学时兴趣不足，实践中教学效果比较差。为了提高高等数学的教学效果，已经有不少学者从教学手段、教学资源、教学方法等不同角度进行了积极的探索 [3] [4] [5] [6]，本文拟从教学内容出发，研究如何针对计算机科学与技术专业提高高等数学的教学效果。

Lasso是机器学习、大数据分析等当前研究的热点领域中非常重要的正则化工具。本文接下来以高等数学中的三重积分球面坐标积分法的教学为例，通过应用多重积分，阐述Lasso背后的数学原理，加深对该内容的理解，从而提高教学效果。

2. Lasso

我们以线性回归模型来介绍Lasso。给定样本数据集 $D={\left\{x_{\iota },y_i\right\}}_{i=1}^n$，其中 $x_i=\left(x_{i1},x_{i2},\cdots ,x_{id}\right)\in R^d,y_i\in R$。为了学习出能拟合样本数据的线性分类器，需要求下面的最优化问题

${\text{min}}_w{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\displaystyle \underset{j=1}{\overset{d}{\sum }}{w}_j{x}_{ij}}\right)}^2}$,

这里 $w=\left(w_1,w_2,\cdots ,w_d\right)$，非0的 $w_i$ 的个数称为特征的个数。为了保证提取特征的稀疏性，一个重要的方法是用 $L_1$ 范数下的单位球作为正则项，求解下面的最优化问题

${\min }_w\left[{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\displaystyle \underset{j=1}{\overset{d}{\sum }}{w}_j{x}_{ij}}\right)}^2}+\alpha \left|w\right|\right]$.

其中 $w=\left(w_1,w_2,\cdots ,w_d\right)$，这就是著名的Lasso正则化方法。但为什么利用Lasso可以保证特征向量 $w=\left(w_1,w_2,\cdots ,w_d\right)$ 稀疏性，机器学习的文献均语焉不详。下面我们通过推广多重积分到高维情形，求得高维单位球的体积，并阐述其与Lasso背后数学原理的联系。

3. 多重积分与Lasso的数学原理

多重积分是高等数学中的重要教学内容，在现在的教学中，三重积分的极坐标换元法讲完后，这部分内容的教学就结束了。本文通过将多重积分推广到高维，来加深学生对这部分内容的掌握。在教学中，讲述完三重积分求单位球体积的极坐标方法后，诱导学生从换元公式

$\{\begin{array}{l}x=r\cos \phi \hfill \\ y=r\sin \phi \cos \theta \hfill \\ z=r\sin \phi \sin \theta \hfill \end{array}$,

其中 $0\le r\le 1,0\le \theta \le 2\pi ,0\le \phi \le \pi$，推导出求高维单位球

$S_n=\left\{\left(x_1,x_2,\cdots ,x_n\right)|x_1^2+x_2^2+\cdots +x_n^2\le 1\right\}$

体积 $V\left(n\right)$ 的换元公式

$\{\begin{array}{l}{x}_1=r\cos {\theta }_1\hfill \\ x_2=r\sin {\theta }_1\cos {\theta }_2\hfill \\ ⋮\hfill \\ x_{n-1}=r\sin {\theta }_1\cdots \sin {\theta }_{n-1}\cos {\theta }_n\hfill \\ x_n=r\sin {\theta }_1\cdots \sin {\theta }_{n-1}\sin {\theta }_n\hfill \end{array}$,

其中 $0\le r\le 1,0\le {\theta }_n\le 2\pi ,0\le {\theta }_i\le \pi ,1\le i\le n-1$。在此处可以通过长度，面积，体积的高维推广，适当引导学生接触测度的概念。注意到此换元公式的Jacobi行列式为

$\left|J\left(n\right)\right|=\left|\begin{array}{cccc}\frac{\partial x_1}{\partial r}& \frac{\partial x_1}{\partial {\theta }_1}& \cdots & \frac{\partial x_1}{\partial {\theta }_{n-1}}\\ \frac{\partial x_1}{\partial r}& \frac{\partial x_1}{\partial {\theta }_1}& \cdots & \frac{\partial x_1}{\partial {\theta }_{n-1}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial x_1}{\partial r}& \frac{\partial x_1}{\partial {\theta }_1}& \cdots & \frac{\partial x_1}{\partial {\theta }_{n-1}}\end{array}\right|=r^{n-1}f\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_{n-1}\right)$,

也就是说这个Jacobi行列式关于变量r和变量集合 $\left\{{\theta }_1,{\theta }_2,\cdots ,{\theta }_{n-1}\right\}$ 是变量可分离的。这个行列式的计算时线性代数的经典题目，通过这个行列式的计算，让学生意识到各个学科之间的联系。进而，通过定积分，二重积分，三重积分下长度，面积，体积的计算，引导学生推导出在直角坐标系下，单位球的体积可表示为

$V\left(n\right)={\displaystyle \underset{x_1=-1}{\overset{x_{1=1}}{\int }}{\displaystyle \underset{x_2=-\sqrt{1-x_1^2}}{\overset{x_2=\sqrt{1-x_1^2}}{\int }}\cdots {\displaystyle \underset{x_n=-\sqrt{1-x_1^2-\cdots -x_{n-1}^2}}{\overset{x_n=\sqrt{1-x_1^2-\cdots -x_{n-1}^2}}{\int }}\text{d}{x}_n\text{d}{x}_{n-1}\cdots \text{d}{x}_1}}}$.

经过上面的极坐标换元公式，单位球的体积可表示为

$V\left(n\right)={\displaystyle {\int }_{\text{0}}^{\text{π}}\text{d}{\theta }_{\text{1}}}{\displaystyle {\int }_0^{\pi }\text{d}{\theta }_2}\cdots {\displaystyle {\int }_0^{\pi }\text{d}{\theta }_{n-2}}{\displaystyle {\int }_0^{2\pi }f\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_{n-1}\right)\text{d}{\theta }_{n-1}}{\displaystyle {\int }_0^1{r}^{n-1}\text{d}r}$.

我们记

$A\left(n\right)={\displaystyle {\int }_0^{\pi }\text{d}{\theta }_1}{\displaystyle {\int }_0^{\pi }\text{d}{\theta }_2}\cdots {\displaystyle {\int }_0^{\pi }\text{d}{\theta }_{n-2}}{\displaystyle {\int }_0^{2\pi }f\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_{n-1}\right)\text{d}{\theta }_{n-1}}$,

则

$V\left(n\right)=\frac{1}{n}A\left(n\right)$.

为了计算 $A\left(n\right)$，我们考虑下面的积分

$I\left(n\right)={\displaystyle \underset{-\infty }{\overset{+\infty }{\int }}{\displaystyle \underset{-\infty }{\overset{+\infty }{\int }}\cdots {\displaystyle \underset{-\infty }{\overset{+\infty }{\int }}{\text{e}}^{-\left(x_1^2+x_2^2+\cdots +x_n^2\right)}\text{d}{x}_n\text{d}{x}_{n-1}\cdots \text{d}{x}_1}}}$

首先，由二重积分中的技巧，我们知道 ${\displaystyle \underset{-\infty }{\overset{+\infty }{\int }}{\text{e}}^{-x^2}\text{d}x}=\sqrt{\pi }$。又根据矩形区域上变量可分离函数的多重积分公式，我们知道 $I\left(n\right)={\displaystyle \underset{i=1}{\overset{n}{\prod }}\left({\displaystyle \underset{-\infty }{\overset{+\infty }{\int }}{\text{e}}^{-x_i^2}\text{d}{x}_i}\right)}$，从而可得 $I\left(n\right)={\pi }^{\frac{n}{2}}$。另一方面，利用极坐标换元法将 $I\left(n\right)$ 转换为

极坐标下的多重积分

$\{\begin{array}{l}{x}_1=r\cos {\theta }_1\hfill \\ x_2=r\sin {\theta }_1\cos {\theta }_2\hfill \\ ⋮\hfill \\ x_{n-1}=r\sin {\theta }_1\cdots \sin {\theta }_{n-1}\cos {\theta }_n\hfill \\ x_n=r\sin {\theta }_1\cdots \sin {\theta }_{n-1}\sin {\theta }_n\hfill \end{array}$,

其中 $0\le r\le +\infty ,0\le {\theta }_n\le 2\pi ,0\le {\theta }_i\le \pi$，这里 $1\le {\theta }_i\le n-1$。从而我们有

$I\left(n\right)={\displaystyle {\int }_0^{\text{π}}\text{d}{\theta }_1}{\displaystyle {\int }_0^{\text{π}}\text{d}{\theta }_2}\cdots {\displaystyle {\int }_0^{\text{π}}\text{d}{\theta }_{n-2}}{\displaystyle {\int }_0^{2\text{π}}f\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_{n-1}\right)\text{d}{\theta }_{n-1}}{\displaystyle {\int }_0^{+\infty }{r}^{n-1}\text{d}r}=A\left(n\right){\displaystyle {\int }_0^{+\infty }{\text{e}}^{-r^2}{r}^{n-1}\text{d}r}$.

注意到经过换元 $t=r^2$，我们有

${\displaystyle \underset{0}{\overset{+\infty }{\int }}{\text{e}}^{-r^2}{r}^{n-1}\text{d}r}=\frac{1}{2}{\displaystyle \underset{0}{\overset{+\infty }{\int }}{\text{e}}^{-t}{t}^{\frac{n}{2}-1}\text{d}t}=\frac{1}{2}\Gamma \left(\frac{n}{2}\right)$,

这里 $\Gamma \left(\frac{n}{2}\right)$ 为Gamma函数，满足 $\Gamma \left(x\right)=\left(x-1\right)\Gamma \left(x-1\right),\Gamma \left(\frac{1}{2}\right)=\sqrt{\pi },\Gamma \left(1\right)=\Gamma \left(2\right)=1$。

这样我们有 ${\pi }^{\frac{n}{2}}=\frac{1}{2}\Gamma \left(\frac{n}{2}\right)A\left(n\right)$，即 $\frac{2{\pi }^{\frac{n}{2}}}{\Gamma \left(\frac{n}{2}\right)}=A\left(n\right)$。从而

$V\left(n\right)=\frac{2{\pi }^{\frac{n}{2}}}{n\Gamma \left(\frac{n}{2}\right)}$,

由于 $\Gamma \left(\frac{n}{2}\right)$ 以阶乘增长，故

$\underset{n\to +\infty }{\lim }\frac{2{\pi }^{\frac{n}{2}}}{n\Gamma \left(\frac{n}{2}\right)}=0$.

这表明

$\underset{n\to +\infty }{\lim }V\left(n\right)=0$.

也就是说随着n的增加，单位球的体积趋近于0。这时候我们来看高维正立方体

$C_n=\left\{\left(x_1,x_2,\cdots ,x_n\right)|\left|x_1\right|+\left|x_2\right|+\cdots +\left|x_n\right|\le 1\right\}$.

它的体积为 $2^{\frac{n}{2}}$。另一方面，单位球 $S_n$ 为正立方体 $C_n$ 的内接球。由前面的分析，单位球的体积随着维度

增加，体积趋近于0。这表明高维立方体 $C_n$ 的体积集中在内切球外面的部分。

由拉格朗日对偶定理，优化问题

${\min }_w\left[{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\displaystyle \underset{j=1}{\overset{d}{\sum }}{w}_j{x}_{ij}}\right)}^2}+\alpha \left|w\right|\right]$

等价于下面的带不等约束的优化问题

${\text{min}}_w{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\displaystyle \underset{j=1}{\overset{d}{\sum }}{w}_j{x}_{ij}}\right)}^2}$,

$\left|w\right|\le \lambda$

其中 $\lambda$ 为一个大于0的常数。令 $h\left(w_1,w_2,\cdots ,w_n\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\displaystyle \underset{j=1}{\overset{d}{\sum }}{w}_j{x}_{ij}}\right)}^2}$，显然 $h\left(w_1,w_2,\cdots ,w_n\right)$ 是一个高维空间的椭圆族。当对某个 ${\lambda }_0\le \lambda$，使得以 $h\left(w_1,w_2,\cdots ,w_n\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(y_i-{\displaystyle \underset{j=1}{\overset{d}{\sum }}{w}_j{x}_{ij}}\right)}^2}$ 为方程的椭圆与高维立方体

$\left|w\right|\le {\lambda }_0$ 相切时，此时对应的 $\left(w_1,w_2,\cdots ,w_d\right)$ 即为满足不等约束的最优值点。以 $d=2$ 为例，我们用下面的图来表示这一过程

由于高维立方体的体积集中在内接球外面的部分，故最优值点大概率落在该区域。该区域的特点是除了少数特征外，大部分特征都很小，接近于0。通过将接近于0的特征置0，我们就得到了稀疏的特征向量。这就是用Lasso来正则化目标函数可以使得特征向量具有稀疏性背后的数学原理。

4. 结语

本文结合在计算机科学与技术专业中十分重要的Lasso正则化技术，加强高等数学多重积分等内容的教学。这部分内容有具体的计算机科学的背景，又与高等数学，线性代数中的诸多内容交叉。在实践中取得了学生积极的反应。实践证明，通过将高等数学教学内容与学生所在学科的专业内容相结合，可以有效提高学生学习的积极性。

致谢

非常感谢审稿老师以及编辑部老师对本文提出的宝贵意见！