指数型分布族熵与方差的关系

Relationship between Entropy and Variance of Exponential Family

摘要: 熵在经济学与统计学的研究中占有重要地位。国外研究学者Mukherjee和Ratnaparkhi (1986)以图形的方式呈现了一些分布的熵和方差之间的关系。本文从指数型分布族的一般形式入手，通过熵的定义推导指数型分布族熵的一般表达形式，然后利用相关参数计算分布的方差与熵，并推导出两者之间关系的一般表达形式。

Abstract: Entropy plays an important role in the research of economics and statistics. In a graphical way Mukherjee and Ratnaparkhi (1986) presented the relationship between the entropy and variance for some distributions. This paper starts from the general form of exponential distribution families, derives the general expression of entropy of exponential distribution families through the definition of entropy, and then calculates the variance and entropy of the distribution using the relevant parameters, and derives the general expression of relationship between the two.

1. 引言

1.1. 背景介绍

熵在经济学与统计学的研究中占有重要地位，是评估模型的重要指标之一[1] [2] [3]。通过熵的计算，可以评估模型的拟合程度和预测能力，帮助研究人员选择最佳模型。在经济学中，熵被广泛应用于信息论和决策理论。信息论中通过熵的计算，可以找到最佳的数据压缩方法，提高数据传输和存储的效率；在决策理论中，信息熵可以帮助分析决策者在不确定环境下的选择。在统计学中，熵可以用来描述数据的分布和变化，例如在市场分析中熵可以帮助分析市场波动和风险，对于制定投资策略和风险管理至关重要。总的来说，熵在经济学和统计学中有着广泛的应用，可以帮助分析信息、数据和决策，为各种经济和统计问题的研究提供重要的工具和方法。

1.2. 现状分析

国内外对熵与方差的关系开展了多方面探索。Golan、Judge和Miller的论文为最大熵计量经济学在经济研究中的理论和应用提供见解。他们讨论了最大熵方法在计量经济学中的应用，当可用信息有限时，通过最大熵找到适合观察数据的最无偏分布(最大熵计量经济学是一种方法，旨在估计满足一组约束条件的概率分布，同时最大化熵或不确定性) [3]。Mukherjee和Ratnaparkhi (1986)提出的研究以图形的方式展示了一些分布的熵和方差之间的关系。通过图形化呈现，他们揭示了不同分布之间熵和方差的变化规律，有助于更直观地理解这些参数之间的关系。这种可视化方法可以为熵和方差之间的关系提供新的认识和启发，有助于深入研究和理解不同概率分布的特性和性质[4]。

再综合国内其他学者成果发现：杨晓珍、李光辉主要讨论了指数型分布族的数字特征及充分统计量。他们研究了指数型分布族的数字特征，包括均值和方差等重要统计量。此外，还讨论了如何找到指数型分布族的充分统计量，这对于推断和建模具有重要意义[5]。部分论文在研究分布的信息熵时，前期对于熵的计算更多的是利用熵的定义直接计算：周介南、丁勇在泊松分布研究过程中根据定义，较多应用基础数学知识得到信息熵的近似结果，此过程也较为繁杂[6]。都力瑶在研究某些分布熵和方差的函数关系时，也是分别求解了熵和方差，通过整合得到两者关系。

指数型分布族是一类非常重要的概率分布族，其在统计学、信息论等领域具有广泛的应用。熵和方差作为两个重要的数字特征，考虑两者之间的关系对于描述和分析分布族的特性具有重要意义。计算这两个数字特征并建立二者的关系，对于了解指数族分布中的发散程度具有重要的理论和实际意义。本文研究的出发点便是简化计算熵与方差关系的过程。首先从指数型分布族统一表达形式出发，计算熵的统一表达形式，结合指数族分布方差的参数表达性质，可以计算得到指数型分布族熵与方差关系的统一表达形式。并且利用统一形式计算五种典型的指数族分布“Bernoulli分布、Poisson分布、指数分布、Gamma分布、Gauss分布”熵与方差的关系。

2. 预备知识

2.1. 指数型分布族

指数型分布族是指具有如下特定形式的概率分布的参数集合：

一维：$p\left(x\right)=c\left(x\right)\exp \left(\theta x-b\left(\theta \right)\right)dv\left(x\right)$

多维：$p\left(x\right)=c\left(x\right)\exp \left({\theta }^{\prime }x-b\left(\theta \right)\right)dv\left(x\right)$

(此时$X=\left(X_1,X_2,\cdots ,X_n\right)$ 是${ℝ}^n$ 中的Borel集)

其中$\theta$ 是自然参数，$b\left(\theta \right)$ 是$\theta$ 的已知函数，为一测度(不一定是概率测度)。常见的有两种可能：

a. 当$x$ 为连续变量时，$dv\left(x\right)$ 为Lebesgue测度：$dv\left(x\right)=dx$ 。

b. 当$x$ 为离散变量时，$x$ 的取值有有限个值$a_1,a_2,\cdots ,a_k$ ，或可列个值$a_1,a_2,\cdots ,a_k$ 这时有$v\left(\left\{a_j\right\}\right)=1\left(i=1,2,\cdots ,k\right)$ 或$v\left(\left\{a_j\right\}\right)=1\left(i=1,2,\cdots \right)$ 。

连续情况：${{\displaystyle \int }}_c^d c\left(x\right)\exp \left(\theta x-b\left(\theta \right)\right)dx=1$ 对一切$\theta \in \Theta$ 。$\left(c,d\right)$ 为$x$ 的取值区间(无限或有限)。

离散情况：${\displaystyle \sum }_j c\left(a_j\right)\exp \left(\theta x-b\left(\theta \right)\right)=1$ 对一切$\theta \in \Theta$ 。$c\left(a_j\right)\exp \left(\theta a_j-b\left(\theta \right)\right)$ 为$x$ 取$a_j$ 的概率(参数为$\theta$ 时) [5]。

2.1.1. 性质

a. 指数型分布族的自然参数空间$\Theta$ 为${ℝ}^n$ 的凸集；

b. 指数型分布族必有共同的支撑集；

c. 若${\theta }^0=\left({\theta }^0,···,{\theta }^k\right)\in {\Theta }^0$ ($\theta$ 为内点构成的集合),则$c^{-1}\left(\theta \right)$ 在${\theta }^0$ 点连续并且它在${\theta }^0$ 点的任意阶偏导数都存在，同时求导可以穿过积分符号进行；

d. 一个指数型分布族一定满足：分布族绝对连续且对任意的显著水平和任意的样本量都存在一致最优检验[5]。

2.1.2. 期望与方差

指数型分布族的期望与方差具有以下结论：[5]

一维：

$E\left(x\right)=b^{\prime }\left(\theta \right),Var\left(x\right)=b^{″}\left(\theta \right)$ (1)

多维：

$E\left(x\right)=b^{\prime }\left(\theta \right)=\left(\frac{\partial b\left(\theta \right)}{\partial {\theta }_1},\frac{\partial b\left(\theta \right)}{\partial {\theta }_2},\cdots ,\frac{\partial b\left(\theta \right)}{\partial {\theta }_n}\right),Cov\left(x\right)=b^{″}\left(\theta \right)=\frac{{\partial }^{2}b\left(\theta \right)}{\partial \theta \partial {\theta }^{\prime }}$ (2)

2.2. 熵

2.2.1. 定义

信息本身就伴随着不确定性(或者说信息自身存在随机性)。设一个事件发生的概率为p，那么他的信

息量是$\ln \frac{1}{p}$ ，其信息量与概率成反比。信息量大小用来表示信息消除不确定性的程度。从信息量的角度，

熵是事件的信息量在事件发生概率分布下的期望[7]。

2.2.2. 熵的表达形式

记事件x熵为$\mathscr{H}\left(x\right)$ ，其表达形式为：

$\mathscr{H}\left(x\right)={\mathbb{E}}_{P\left(x\right)}\left[h\left(x\right)\right]={\mathbb{E}}_{P\left(x\right)}\left[\ln \frac{1}{p}\right]$ (3)

如果概率分布p (x)是连续型随机变量，$\mathscr{H}\left(x\right)$ 可表示为：

$\mathscr{H}\left(x\right)=-\int p\left(x\right)\ln p\left(x\right)dx$ (4)

如果概率分布p (x)是离散型随机变量，$\mathscr{H}\left(x\right)$ 可表示为：

$\mathscr{H}\left(x\right)=-{\displaystyle \sum p\left(x\right)\ln p\left(x\right)}$ (5)

假设某数据集合$\chi$ 包含数量为N的样本：

$\begin{array}{c}\chi =x^{\left(1\right)},x^{\left(2\right)},x^{\left(3\right)},\cdots ,x^{\left(N\right)}\end{array}$ (6)

关于数据集合的熵$\mathscr{H}\left(x\right)$ 表示如下：

$\mathscr{H}\left(x\right)=-{\displaystyle \sum }_{i=1}^N p\left(x^{\left(i\right)}\right)\ln p\left(x^{\left(i\right)}\right)$ (7)

3. 前期工作

3.1. 确定各类分布的相关参数θ，b (θ)，c (x)

受指数型分布族的一般表达式与熵的定义的启发，若想推导出熵的一般公式，需要统一参数进行表达，所以我们遵循从特殊到一般，先考虑指数族中几个特殊分布对于一般参数时熵和方差的表达式，然后推广至一般场景。

3.1.1. 离散型分布

(1) Bernoulli分布$b\left(1,p\right)$

$f\left(x\right)=p^x{\left(1-p\right)}^{1-x}=\{\begin{array}{c}p\\ q\end{array}\begin{array}{cc}& {\text{if}}_{{}_{}}x=1\\ & {\text{if}}_{}x=0\end{array}$ (8)

$p\left(x\right)=exp\left\{\ln \left(p^x{\left(1-p\right)}^{1-x}\right)\right\}=exp\left\{x\text{ln}\frac{p}{1-p}+\text{ln}\left(1-p\right)\right\}$

所以$\theta =\text{ln}\frac{p}{1-p},b\left(\theta \right)=\text{ln}\left(1+e^{\theta }\right),c\left(x\right)=1,b^{\prime }\left(\theta \right)=\frac{1}{1+e^{\theta }}{e}^{\theta }=p,b^{″}\left(\theta \right)=p\left(1-p\right)$

(2) Poisson分布$p\left(\lambda \right)$

$\begin{array}{c}\begin{array}{c}p\left(X=x\right)=\frac{{\lambda }^x}{x!}{e}^{-\lambda },x=1,2,\cdots \end{array}\end{array}$ (9)

$p\left(x\right)=\frac{1}{x!}\exp \left\{x\ln \lambda -\lambda \right\}$

所以$\theta =\ln \lambda ,b\left(\theta \right)=e^{\theta },c\left(x\right)=\frac{1}{x!},b^{\prime }\left(\theta \right)=e^{\theta }=\lambda ,b^{″}\left(\theta \right)=e^{\theta }=\lambda$

3.1.2. 连续型分布

(1) 指数分布

$p\left(x\right)-\lambda e^{-\lambda x}$ (10)

$p\left(x\right)=\exp \left\{-\lambda x+\ln \lambda \right\}$

所以$\theta =-\lambda ,b\left(\theta \right)=-\ln \left(\theta \right),c\left(x\right)=1,b^{\prime }\left(\theta \right)=\frac{1}{\lambda },b^{″}\left(\theta \right)=\frac{1}{{\lambda }^2}$

(2) Gamma分布

$p\left(x\right)=\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{e}^{-\lambda x}$ (11)

$p\left(x\right)=\frac{1}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{e}^{-\lambda x+\alpha \ln \lambda }$

所以$\theta =-\lambda ,b\left(\theta \right)=-\alpha \ln \left(-\theta \right),c\left(x\right)=\frac{1}{\Gamma \left(\alpha \right)}{x}^{\alpha -1},b^{\prime }\left(\theta \right)=\frac{\alpha }{\lambda },b^{″}\left(\theta \right)=\frac{\alpha }{{\lambda }^2}$

(3) Gauss分布

$p\left(x\right)=c\left(x\right)\exp \left({\theta }^{\top }\varphi \left(x\right)-b\left(\theta \right)\right)$ (12)

$\varphi \left(x\right)$ ：充分统计量，$b\left(\theta \right)$ ：对数配分函数

该分布参数：$\theta =\left(\mu ,{\sigma }^2\right)$

$\begin{array}{c}p\left(x|\theta \right)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}}\\ =\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{1}{-2{\sigma }^2}{\left(x-\mu \right)}^2}\\ =\exp \left\{\ln {\left(2\pi {\sigma }^2\right)}^{-\frac{1}{2}}\right\}\exp \left\{\frac{1}{-2{\sigma }^2}\left(x^2-2\mu x+{\mu }^2\right)\right\}\\ =\exp \left\{\frac{1}{-2{\sigma }^2}\left(x^2-2\mu x\right)-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}\ln \left(2\pi {\sigma }^2\right)\right\}\end{array}$

$p\left(x\right)=\exp \left\{\left(\begin{array}{cc}\frac{\mu }{{\sigma }^2}& -\frac{1}{2{\sigma }^2}\end{array}\right)\left(\begin{array}{c}x\\ x^2\end{array}\right)-\left(\frac{\mu }{2{\sigma }^2}+\frac{1}{2}\ln 2\pi {\sigma }^2\right)\right\}$ (13)

$\theta =\left(\begin{array}{c}{\theta }_1\\ {\theta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right) \varphi \left(x\right)=\left(\begin{array}{c}x\\ x^2\end{array}\right)$

所以$\mu =-\frac{{\theta }_1}{2{\theta }_2}，{\sigma }^2=-\frac{1}{2{\theta }_2}，b\left(\theta \right)=-\frac{{\theta }_1^2}{4{\theta }_2}+\frac{1}{2}\ln \left(\frac{-\pi }{{\theta }_2}\right)，c\left(x\right)=1$

利用$Var\left(x\right)=b^{″}\left(\theta \right)$ 进行验证：

$E\left(\varphi \left(x\right)\right)=\left(\begin{array}{c}E\left(x\right)\\ E\left(x^2\right)\end{array}\right)=\left(\begin{array}{c}\mu \\ {\mu }^2+{\sigma }^2\end{array}\right)$

$b^{\prime }(\theta )=\left(\begin{array}{c}\frac{\partial b(\theta )}{\partial {\theta }_1}\\ \frac{\partial b(\theta )}{\partial {\theta }_2}\end{array}\right)=\left(\begin{array}{c}-\frac{{\theta }_1}{2{\theta }_2}\\ -\frac{{\theta }_1^2}{4}\left(-\frac{1}{{\theta }_2^2}\right)-\frac{1}{2{\theta }_2}\end{array}\right)=\left(\begin{array}{c}\mu \\ {\mu }^2+{\sigma }^2\end{array}\right)$

验证成立。

3.2. 指数型分布族熵的统一表达式

公式推导过程如下：

$\mathscr{H}\left(x\right)=-\int p\left(x\right)\ln p\left(x\right)dx,p\left(x\right)=c\left(x\right)\exp \left(\theta x-b\left(\theta \right)\right)，\ln p\left(x\right)=\ln c\left(x\right)+\theta x-b\left(\theta \right)$

连续型分布熵的统一表达形式：

$\begin{array}{c}\mathscr{H}\left(x\right)=-\int p\left(x\right)\ln p\left(x\right)dx\\ =e^{-b\left(\theta \right)}\int c\left(x\right)e^{\theta x}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)dx\end{array}$ (14)

离散型分布熵的统一表达形式：

$\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}{\displaystyle \sum c} \left(x\right)e^{\theta x}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)$ (15)

3.3. 指数型分布族方差与熵关系的统一表达式

计算指数型分布族方差与熵的关系，用t表示方差，利用指数型分布族特有的数字特征方差与已知函数$b\left(\theta \right)$ 的关系：$Var\left(x\right)=b^{″}\left(\theta \right)$ 反解出相应参数，代入熵的一般表达形式即可得到方差与熵的统一表达形式。

令$b^{″}\left(\theta \right)=t,\theta =b^{″-1}\left(t\right)$

连续型分布方差与熵的统一表达形式：

$\mathscr{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}\int c\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)dx$

离散型分布方差与熵的统一表达形式：

$\mathscr{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}\sum c\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)$ (16)

(x的取值范围取决于分布类型)

4. 熵与方差的关系

部分论文直接利用定义直接计算分布的熵[7]，传统方法难以避免会出现计算复杂、耗时等问题。本文使用参数计算，简化求解分布熵以及熵与方差关系的过程。下面我们将利用上述参数形式下方差与熵的关系一般表达形式针对几种常见的指数型分布给出其熵和方差的函数关系。

4.1. 离散型分布的熵与方差的关系

4.1.1. Bernoulli分布b (1, p)

定理1：Bernoulli分布熵与方差的关系为：

$\mathscr{H}\left(t\right)={\left(\frac{1+\sqrt{1-4t}}{2}\right)}^{\sqrt{1-4t}}{t}^{\frac{1-\sqrt{1-4t}}{2}}$ (17)

证明：

已知条件：$e^{-b\left(\theta \right)}=e^{-\ln \left(1+e^{\theta }\right)}=\frac{1}{1+e^{\theta }}$

令$t=Var\left(\lambda \right)=p\left(1-p\right)$ ，$p=\pm \sqrt{\frac{1}{4}-t}+\frac{1}{2}\left(0\le t\le \frac{1}{4}\right)$

$\begin{array}{c}\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}{\displaystyle \sum c}\left(x\right)e^{\theta x}\left(b\left(\theta \right)\cdot \ln c\left(x\right)-\theta x\right)\\ =e^{-b\left(\theta \right)}{{\displaystyle \sum \left(\frac{p}{1-p}\right)}}^x\left[\ln \left(1+e^{\theta }\right)-\ln {\left(\frac{p}{1-p}\right)}^x\right]\end{array}$

$\begin{array}{c}=e^{-b\left(\theta \right)}\ln \left(1+e^{\theta }\right)+\frac{p}{1-p}\left[\ln \left(1+e^{\theta }\right)-\ln \left(\frac{p}{1-p}\right)\right]\\ =-e^{-b\left(\theta \right)}\left(\ln \left(1-p\right)+\frac{p}{1-p}\ln p\right)\end{array}$ (18)

$\begin{array}{c}\mathscr{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}{\displaystyle \sum c}\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)\\ ={\left(\frac{1\pm \sqrt{1-4t}}{2}\right)}^{\pm \sqrt{1-4t}}{t}^{\frac{1\pm \sqrt{1-4t}}{2}}\end{array}$ (19)

即证成立。

4.1.2. Poisson分布P(λ)

定理2：Poisson分布熵与方差的关系为：

$\mathscr{H}\left(t\right)=\frac{1}{2}\ln \left(2\pi et\right)-\frac{1}{12t}-\frac{1}{24t^2}-\frac{19}{360t^3}$ (20)

证明：

已知条件：$\theta =\ln \lambda ,b\left(\theta \right)=\lambda ,c\left(x\right)=\frac{1}{x!}$

令$t=Var\left(\lambda \right)=\lambda ,\theta =\ln t，b\left(\theta \right)=t$

$\begin{array}{c}\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}{\displaystyle \sum c}\left(x\right)e^{\theta x}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)\\ =e^{-\lambda }{\displaystyle \sum \frac{1}{x!}} {\lambda }^x\left(\lambda -\ln \frac{1}{x!}-x\ln \lambda \right)\\ =\frac{1}{2}\ln \left(2\pi e\lambda \right)-\frac{1}{12\lambda }-\frac{1}{24{\lambda }^2}-\frac{19}{360{\lambda }^3}\end{array}$ (21)

$\begin{array}{c}\mathscr{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}{\displaystyle \sum c}\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)\\ =\frac{1}{2}\ln \left(2\pi et\right)-\frac{1}{12t}-\frac{1}{24t^2}-\frac{19}{360t^3}\end{array}$ (22)

即证成立(借用《泊松分布信息熵的性质和数值运算》中的方法求得近似解[6])。

4.2. 连续型分布的熵与方差的关系

4.2.1. 指数分布Exp(λ)

定理3：指数分布熵与方差的关系为：

$\mathscr{H}\left(t\right)=1+\frac{1}{2}\ln t$ (23)

证明：

已知条件：$\theta =-\lambda ,b\left(\theta \right)=-\ln \left(-\theta \right),c\left(x\right)=1$

令$t=Var\left(\lambda \right)=\frac{1}{{\lambda }^2},\theta =-\sqrt{\frac{1}{t}},b\left(\theta \right)=\frac{1}{2}\ln t$

$\begin{array}{c}\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}\int c\left(x\right)e^{\theta x}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)dx\\ =1-\ln \lambda \end{array}$ (24)

$\begin{array}{c}\text{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}\int c\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)dx\\ =1+\frac{1}{2}\ln t\end{array}$ (25)

即证成立。

4.2.2. Gamma分布Ga (α, 1)

定理4：Gamma分布熵与方差的关系为：

$H\left(t\right)=\ln \frac{\Gamma \left(\alpha \right)}{\sqrt{\alpha }}+\left(1-\alpha \right)\phi \left(\alpha \right)+\alpha +\frac{1}{2}\ln t$ (26)

证明：

已知条件：$\theta =-\lambda ,b\left(\theta \right)=-\alpha \ln \left(-\theta \right),c\left(x\right)=\frac{x^{\alpha -1}}{\Gamma \left(\alpha \right)}$

令$t=Var\left(\lambda \right)=\frac{\alpha }{{\lambda }^2},\theta =-\sqrt{\frac{\alpha }{t}},b\left(\theta \right)=-\frac{\alpha }{2}\ln \frac{\alpha }{t}$

引入digamma函数：$\phi \left(x\right)=\frac{{{\displaystyle \int }}_0^{+\infty } {\alpha }^{x-1}{e}^{-x}\ln xdx}{{{\displaystyle \int }}_o^{+\infty } {\alpha }^{x-1}{e}^{-x}dx}$

$\begin{array}{c}\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}{\displaystyle \int c\left(x\right)e^{{}^{\theta x}}}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)dx\\ ={\lambda }^{\alpha }{\displaystyle {\int }_{-\infty }^{+\infty }\frac{1}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{e}^{\theta x}\left[-\alpha \ln \lambda +\ln \Gamma \left(\alpha \right)-\left(\ln x^{\alpha -1}+\theta x\right)\right]}dx\\ \stackrel{t}{=}{\lambda }^{\alpha }\left[\begin{array}{l}\frac{1}{\Gamma \left(\alpha \right)}\left(-\alpha \ln \lambda +\ln \Gamma \left(\alpha \right)\right){{\displaystyle {\int }_0^{+\infty }\left(\frac{t}{\lambda }\right)}}^{\alpha -1}{e}^{-t}\frac{1}{\lambda }dt+\\ \frac{1-\alpha }{\Gamma \left(\alpha \right)}{{\displaystyle {\int }_0^{+\infty }\left(\frac{t}{\lambda }\right)}}^{\alpha -1}{e}^{-t}\ln \frac{t}{\lambda }\cdot \frac{1}{\lambda }dt+\frac{\lambda }{\Gamma \left(\alpha \right)}{{\displaystyle {\int }_0^{+\infty }\left(\frac{t}{\lambda }\right)}}^{\alpha }{e}^{-t}\frac{1}{\lambda }dt\end{array}\right]\\ ={\lambda }^{\alpha }\frac{1}{{\lambda }^{\alpha }}\left[-\alpha \ln \lambda +\ln \Gamma \left(\alpha \right)+\left(1-\alpha \right)\phi \left(\alpha \right)-\left(1-\alpha \right)\ln \lambda +\alpha \right]\\ =\ln \Gamma \left(\alpha \right)+\left(1-\alpha \right)\phi \left(\alpha \right)-\ln \lambda +\alpha \end{array}$ (27)

$\begin{array}{c}\text{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}\int c\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)dx\\ =\ln \frac{\Gamma \left(\alpha \right)}{\sqrt{\alpha }}+\left(1-\alpha \right)\phi \left(\alpha \right)+\alpha +\frac{1}{2}\ln t\end{array}$ (28)

即证成立。

4.2.3. Gauss分布N (μ, 1)

Gauss分布可以推导出线性模型，由线性模型的假设函数可知：Gauss分布的方差与假设的函数无关。因而为简便计算，我们将方差设为1；即使不简化，计算结果与该结果也仅相差一个系数。

$\begin{array}{c}N\left(\mu ,1\right)=\frac{1}{\sqrt{2\pi }}\exp \left[-\frac{1}{2}{\left(x-\mu \right)}^2\right]\\ =\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}{x}^2\right)\exp \end{array}$ (29)

即$\theta =\mu ,b\left(\theta \right)=\frac{1}{2}{\mu }^2,c\left(x\right)=\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}{x}^2\right),b^{″}\left(\theta \right)=1$

引入Gauss误差函数：$erf\left(x\right)=\frac{2}{\sqrt{\pi }}{{\displaystyle \int }}_0^x e^{-t^2}dt,\underset{x\to \infty }{\lim }erf\left(x\right)=1$

定理5：Gauss分布熵与方差的关系为：

$\mathscr{H}\left(t\right)=\frac{1}{2}{e}^{-\frac{1}{2}{\mu }^2}\left({\mu }^2+1+\ln 2\pi -\frac{\mu }{\sqrt{2\pi }}\right)$ (30)

证明：

$\begin{array}{c}\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}{\displaystyle \int c\left(x\right)e^{\theta x}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)dx}\\ =e^{-\frac{1}{2}{\mu }^2}{\displaystyle {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{1}{2}{x}^2\right)\left[\frac{1}{2}{\left(x-\mu \right)}^2+\frac{1}{2}\ln 2\pi \right]}dx\\ =\frac{1}{2\sqrt{2\pi }}{e}^{-\frac{1}{2}{\mu }^2}\left[\left({\mu }^2+\ln 2\pi \right){\displaystyle {\int }_{-\infty }^{+\infty }{e}^{-\frac{1}{2}{x}^2}dx}-{\displaystyle {\int }_{-\infty }^{+\infty }{e}^{-\frac{1}{2}{x}^2}\mu xdx}+{\displaystyle {\int }_{-\infty }^{+\infty }{e}^{-\frac{1}{2}{x}^2}{x}^{{}^2}dx}\right]\\ =\frac{1}{2\sqrt{2\pi }}{e}^{-\frac{1}{2}{\mu }^2}\left[\left({\mu }^2+\ln 2\pi \right)\sqrt{2\pi }-\mu +\sqrt{2\pi }\right]\\ =\frac{1}{2}{e}^{-\frac{1}{2}{\mu }^2}\left({\mu }^2+1+\ln 2\pi -\frac{\mu }{\sqrt{2\pi }}\right)\end{array}$ (31)

$\begin{array}{c}\text{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}\int c\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)dx\\ =\frac{1}{2}{e}^{-\frac{1}{2}{\mu }^2}\left({\mu }^2+1+\ln 2\pi -\frac{\mu }{\sqrt{2\pi }}\right)\end{array}$ (32)

即证成立。

5. 结语

本文提出一种更简便、高效的方法，用于计算指数型分布族的熵与方差，并分析其数学关系。首先，在指数型分布族统一表达式“$p\left(x\right)=c\left(x\right)\exp \left(\theta x-b\left(\theta \right)\right)dv\left(x\right)$ ”的条件下推理了该分布族熵的统一表达形式为：

$\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}{\displaystyle \sum c}\left(x\right)e^{\theta x}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)$ ，

$\mathscr{H}\left(x\right)=e^{-b\left(\theta \right)}\int c\left(x\right)e^{\theta x}\left(b\left(\theta \right)-\ln c\left(x\right)-\theta x\right)dx$

利用指数型分布族熵的统一表达形式计算了指数型分布族中常见的离散型分布与连续型分布的熵。此外，基于已知的指数型分布族特有的数字特征方差与已知函数$b\left(\theta \right)$ 的关系：$E\left(x\right)=b^{\prime }\left(\theta \right),Var\left(x\right)=b^{″}\left(\theta \right)$ ，表达出了指数型分布族熵与方差关系的统一表达形式：

$\mathscr{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}{\displaystyle \sum c}\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)$

$\mathscr{H}\left(t\right)=e^{-b\left(b^{″-1}\left(t\right)\right)}\int c\left(x\right)e^{b^{″-1}\left(t\right)x}\left(b\left(b^{″-1}\left(t\right)\right)-\ln c\left(x\right)-b^{″-1}\left(t\right)x\right)dx$

该统一表达形式简化了计算指数型分布族熵与方差关系的过程，利用公式我们相应计算表达出“Bernoulli分布、Poisson分布、指数分布、Gamma分布、Gauss分布”熵与方差的关系式，避免了繁杂计算可能出现的错误。这里考虑的分布是在原始分布基础上重新参数化的分布，这样的参数化是有必要的，可以让分布具有共同方差，也为进一步分析两者的关系打下了良好的基础。

研究结果汇总见表1：

Table 1. Relationship between entropy and variance of exponential family distributions

表1. 指数型分布族熵与方差的关系

分布	$\theta$	$b\left(\theta \right)$	$E\left(\theta \right)$	$Var\left(\theta \right)$	$\mathscr{H}\left(x\right)$	$\mathscr{H}\left(x\right)与t的关系\left(t=Var\left(\theta \right)\right)$
$b\left(1,p\right)$	$\ln \frac{p}{1-p}$	$\text{ln}\left(1+e^{\theta }\right)$	$p$	$p\left(1-p\right)$	$-\text{ln}\left(p^p{\left(1-p\right)}^{1-p}\right)$	${(\frac{1\pm \sqrt{1-4t}}{2})}^{\pm \sqrt{1-4t}}{t}^{\frac{1\pm \sqrt{1-4t}}{2}}$
$p\left(\lambda \right)$	$\text{ln}\lambda$	$e^{\theta }$	$\lambda$	$\lambda$	$\frac{1}{2}\text{ln}\left(2\pi e\lambda \right)-\frac{1}{12\lambda }-\frac{1}{24{\lambda }^2}-\frac{19}{360{\lambda }^3}$	$\frac{1}{2}\text{ln}\left(2\pi et\right)-\frac{1}{12t}-\frac{1}{24t^2}-\frac{19}{360t^3}$
$Exp\left(\lambda \right)$	$-\lambda$	$-\text{ln}\left(-\theta \right)$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$	$1-\text{ln}\lambda$	$1+\frac{1}{2}\text{ln}t$
$Ga\left(\alpha ,\lambda \right)$	$-\lambda$	$-\alpha \text{ln}\left(-\theta \right)$	$\frac{\alpha }{\lambda }$	$\frac{\alpha }{{\lambda }^2}$	$\text{ln}\frac{1}{\lambda }+\text{lnΓ}\left(\alpha \right)+\left(1-\alpha \right)\psi \left(\alpha \right)+\alpha$	$\frac{1}{2}\text{ln}\frac{t}{\alpha }+\text{ln}\sqrt{\alpha }\text{Γ}\left(\alpha \right)+\left(1-\alpha \right)\psi \left(\alpha \right)+\alpha$
$N\left(\mu ,1\right)$	$\mu$	$\frac{{\mu }^2}{2}$	$\mu$	1	$\frac{1}{2}{e}^{-\frac{{\mu }^2}{2}}\left({\mu }^2+1+\text{ln}2\pi -\frac{\mu }{\sqrt{2\pi }}\right)$	$\frac{1}{2}{e}^{-\frac{{\mu }^2}{2}}\left({\mu }^2+1+\text{ln}2\pi -\frac{\mu }{\sqrt{2\pi }}\right)$

在本论文的研究中，尽管得出了指数型分布族熵与方差之间的理论关系，并对指数型分布族五种典型分布进行了充分的计算和讨论，但仍存在一些不足之处需要改进。首先，讨论范围还不够广泛，对于研究高维指数型分布熵与方差的关系，我们借用Gauss分布线性模型的假设函数下“Gauss分布的方差与假设的函数无关”的特点，直接转化为一维计算，所以本文对指数型分布族多维状态下熵与方差关系的讨论是不完整的。另外，在高维度或复杂情况下，本文的计算方法可能不足，计算指数型分布族的熵和方差可能会面临挑战，需考虑结合应用数学软件等。此外，对于熵与方差关系的数学定理证明还需要全面深入的论证，以提高此次研究结论的严谨性与可靠性。

基于以上不足，在后续研究中，我们将继续探索不同类型的指数型分布族，包括指数分布、负指数分布等，进一步研究它们的熵和方差之间的关系。此外，继续拓展研究对象，将指数型分布族熵与方差的关系扩展至多变量和高维空间，以满足更加复杂、多样化的实际问题需求。更多的，考虑将指数型分布族的熵和方差与其他统计量或信息度量进行比较和综合分析，以寻求更全面和深入的研究。指数型分布族作为非常重要的概率分布族，其在统计学、信息论等领域具有广泛的应用。基础性的研究都是在为实际问题中的应用打基础，如金融、生物、工程等领域，以期将研究成果转化为实际应用的效益。

致 谢

本文是在我们大学生创新训练项目组的指导教师李再兴教授的悉心指导下完成的(从选题、写作、修改、投稿至最后的修改等工作)。同时衷心感谢期刊的编委和审稿专家对我们的论文提出宝贵的意见，帮助我们改进论文质量！

基金项目

中国矿业大学(北京)大学生创新性训练项目的资助。