关联规则挖掘中几个兴趣度量的值域研究
Research on the Value Domains of Several Interest Measures in Association Rule Mining
DOI: 10.12677/hjdm.2024.143015, PDF, HTML, XML, 下载: 5  浏览: 8 
作者: 万 鑫*, 李建军*, 李裕梅:北京工商大学数学与统计学院,北京
关键词: 关联规则挖掘兴趣度量值域Association Rule Mining Interest Measures Value Domain
摘要: 本文旨在研究关联规则挖掘中的各种兴趣度量的值域问题。首先,详细介绍了关联规则挖掘过程中涉及的定义和支持度、置信度、确信度、提升度和Laplace测度这五种兴趣度量的定义,并通过具体例子对这些度量进行了说明和解释。然后,深入探讨了这五种兴趣度量的值域,并给出了其在数据库大小有限和接近无穷两种情况下的值域情况。此外,本文还对这些兴趣度量值域的区间端点的取值进行了细致讨论,指出了与其他研究结果的区别及其原因,并给出了严谨的数学证明和对比分析,为关联规则挖掘提供了更全面和准确的度量工具。
Abstract: This article aims to study the value domains problem of several interest metrics in association rule mining. Firstly, a detailed introduction was given to the definitions of five interest measures involved in the process of association rule mining, including support, confidence, conviction, lift, and Laplace measures. These measures were explained and illustrated through specific examples. Then, the value domains of these five interest measures were explored in depth, and their value situations were given in two scenarios: limited database size and near infinite database size. In addition, this article also provides a detailed discussion on the values at the interval endpoints of these interest measures, pointing out the differences and reasons from other research results, and providing a more comprehensive and accurate measurement tool for association rule mining through rigorous mathematical proof and comparative analysis.
文章引用:万鑫, 李建军, 李裕梅. 关联规则挖掘中几个兴趣度量的值域研究[J]. 数据挖掘, 2024, 14(3): 162-171. https://doi.org/10.12677/hjdm.2024.143015

1. 引言

兴趣度量是关联规则挖掘过程中必不可少的一部分,不论是传统的基于支持度构建的兴趣度量,还是在模糊关联规则和高效用项集挖掘过程中基于推广的支持度的兴趣度量,它们都为删除冗余关联规则和挖掘感兴趣的关联规则发挥了极大的作用[1] [2]。这些兴趣度量的提出为科研人员挖掘自己感兴趣的关联规则提供了便利。

在众多的兴趣度量中,支持度、置信度、提升度、确信度、Laplace测度是公认的挖掘强关联规则最常用的兴趣度量,这些兴趣度量也被应用到工业、金融等领域的各种各样问题中[3]-[8]。然而对于兴趣度量的值域的研究还比较少,涉及的文章也是只给出值域,并没有进行相应的证明[9]-[11]。此外这些文章给出的兴趣度量值域不太一致。为了研究清楚这些兴趣度量的值域,本文严格证明了支持度、置信度、确信度、提升度、Laplace兴趣度量的取值范围。

2. 相关兴趣度量的定义

本节将本文涉及到的定义进行数学描述,方便关联规则挖掘算法以及本文后续所提定理的证明中使用。共涉及13个定义,包括:项集、事务标识符集、事务、和数据库表示这四种基础名词定义;两种映射函数的描述;五种兴趣度量计算方法与数学表达式。同时将根据一个较为简单的数据集D进行举例便于更直观的理解这些定义,假设数据集D包括6次的交易数据,每种交易物品用一个英文字母表示,每次交易的内容分别表示为:“交易1:{a, b, d, e};交易2:{b, c, e};交易3:{a, b, d, e};交易4:{a, b, c, e};交易5:{a, b, c, d, e};交易6:{b, c, d}”[12]

定义1 (项集) [12] ={ x 1 , x 2 ,, x m } 为一个集合,它由一组称作项的元素所构成,则集合 X 称为项集。

根据上述给出的数据集,可以看出共有5种交易物品,分别是:“a, b, c, d, e”。那么集合 ={ a,b,c,d,e } ,它的任意一个子集都可以称为一个项集,比如 { b } 是一个一项集, { a,b } 是一个二项集, { a,b,c } 是一个三项集。

定义2 (事务标识符集) [12] T={ t 1 , t 2 ,, t n } 为一个由事务标识符构成的集合,则集合 TT 称为一个事务标识符集。

事务标识符集是由一系列的事务标识符构成,以数据集D为例,一个事务标识符可以是一个购物清单的编号或者是人为给定的一系列不重复序号。那么,事务标识符集就是一个购物清单的编号或者是人为给定的一系列不重复序号的集合。假设将购物清单的编号作为数据集D中的事务标识符,则有 t 1 =1, t 2 =2, t 3 =3,, t 6 =6 ,即事务标识符集 T={ 1,2,3,4,5,6 }

定义3 (事务) [12] 一个形如 t,X 的元组称为事务,其中 tT 是一个独一的标识符,X是一个项集。

以数据库D为例,每一条交易可认为是一条事务,即 1,{ a,b,d,e } 2,{ b,c,e } 3,{ a,b,d,e } 4,{ a,b,c,e } 5,{ a,b,c,d,e } 6,{ b,c,d } ,这6条交易,总共6个事务。

定义4 (数据库表示) [12]一个二元数据库D表示了事务标识符和项集之间的二元关系,即 DT×

利用定义1~3的名词解释可以将一个数据集进行数据库表示。将数据集D进行事务数据库表示的过程,就是将定义3中所给出的所有事务进行二维表格展示,如表1所示。

Table 1. Transaction database representation of dataset D

1. 数据集D的事务数据库表示

事务标识符

交易物品

1

{ a,b,d,e }

2

{ b,c,e }

3

{ a,b,d,e }

4

{ a,b,c,e }

5

{ a,b,c,d,e }

6

{ b,c,d }

定义5 (项集函数) [12]一个将标识符集映射到项集的映射 i: 2 T 2 。定义如下:

i( T )={ x|tT,tx } .

其中,对于一个集合X 2 X 表示X的幂集; TT ,且 i( T ) 是事务标识符集T中所有事务的公共项的集合。

项集函数 i( T ) 是事务标识符集T中每个事务标识符 t i 包含的公共项的集合。例如: i( 1 )={ a,b,d,e } i( 2,3 )={ b,e } i( 4,5,6 )={ b,c } i( 1,2,3,6 )={ b } 。这里的函数自变量没有采用集合的形式书写主要是为了书写方便以及形式上的美观,实际应该型如: i( { 1 } ) i( { 2,3 } ) i( { 4,5,6 } ) i( { 1,2,3,6 } ) ……下方标识符集函数的书写同样遵循这种规则。

定义6 (标识符集函数) [12]一个将项集映射到标识符集的映射 t: 2 2 T 。定义如下:

t( X )={ t|tT,tX } .

标识符集函数 t( X ) 是由一系列事务标识符所构成的集合,这些事务标识符需要满足以下条件,即其对应的项集应包含项集X中所有的项。例如: t( a )={ 1,3,4,5 } t( a,b )={ 1,3,4,5 } t( a,b,c )={ 4,5 } ……

定义7 (支持度) [12]一个项集X的支持度为:

Support( X )= | { t| t,i( t ) DXi( t ) } | | D | = | t( X ) | | D | =P( X ) ,(1)

Support( XY )= | t( XY ) | | D | =P( XY ) ,

其中, | D | 表示D中事务个数。

这个定义中其实发生了X的定义转换, Support( X ) P( X ) 中的X其实一个是项集另一个是随机事件。如果 P( X ) 中的X X 表示,那么定义应该按照以下方式进行书写:

假设随机事件 X 表示“项集X中的所有元素共同出现”,那么 Support( X )=P( X ) 。为了便于书写将 X X全部书写为X

假设 X={ a,b,c } ,那么 Support( X )=P( X )=P( a,b,c ) ,也就是X的支持度是包含X中的每个项出现的联合概率 P( abc ) 。从表1中能够很容易的求出 P( abc )=1/3 ,则 Support( X )=1/3

定义8 (置信度) [12] X发生的前提下,Y发生的概率称为置信度:

Confidence( XY )=P( Y|X )= P( XY ) P( X ) = Support( XY ) Support( X ) . (2)

定义9 (提升度) [7] X出现的前提下Y的出现的概率与数据库中Y出现的概率的比值,或XY共同出现的概率与XY分别出现的概率乘积的比值称为提升度:

Lift( XY )= Support( XY ) Support( X )Support( Y ) = Confidence( XY ) Support( Y ) = P( XY ) P( X )P( Y ) . (3)

定义10 (确信度) [13]数据库中Y不出现的概率与X出现的前提下Y不出现概率的比值称为确信度:

Conviction( XY )= 1Support( Y ) 1Confidence( XY ) = P( Y ¯ ) P( Y ¯ |X ) = 1P( Y ) 1 P( XY ) P( X ) . (4)

定义11 (拉普拉斯测度) [10]拉普拉斯测度是一个考虑了支持度的置信度估计,定义为:

Laplace( XY )= | t( XY ) |+1 | t( X ) |+2 = Support( XY )+1/N Support( X )+2/N = P( XY )+1/N P( X )+2/N . (5)

置信度、提升度、确信度以及拉普拉斯测度都是在支持度的基础上,利用前项、后项、前项后项共现以及它们对立事件的支持度进行计算的。

以关联规则 { a,b }{ c,e } 为例计算上述四个兴趣度量,首先需要计算项集 { a,b } { c,e } 和关联规则 { a,b }{ c,e } 的支持度,经计算 Support( { a,b } )=2/3 Support( { c,e } )=1/3 Support( { a,b }{ c,e } )=1/3 。 进而再计算这四个兴趣度量,根据公式(2)~公式(5)计算得到:

Confidence( { a,b }{ c,e } )= Support( { a,b }{ c,e } ) Support( { a,b } ) = 1/3 2/3 = 1 2 ,

Lift( XY )= Confidence( { a,b }{ c,e } ) Support( { c,e } ) = 1/2 1/3 = 3 2 ,

Conviction( XY )= 1Support( { c,e } ) 1Confidence( { a,b }{ c,e } ) = 11/3 11/2 = 4 3 ,

Laplace( XY )= Support( { a,b }{ c,e } )+1/6 Support( { a,b } )+2/6 = 1/3 +1/6 2/3 +2/6 = 1 2 .

3. 相关兴趣度量的值域

本节将给出五种兴趣度量值域,同时还罗列出不同文章所给出的值域并在表1中进行对比分析。

定理1 (支持度的值域)设数据库的大小 | D | 等于N,项集X在数据库D中出现的次数为 N X ,项集XY在数据库D中出现的次数为 N XY 。那么支持度的值域为: Support( X )[ 0,1 ] Support( XY )[ 0,1 ]

证明

因为 N X [ 0,N ] ,所以根据支持度定义(1)有 Support( X )= N X N [ 0,1 ]

Support( XY )[ 0,1 ] 同理。

定理2 (置信度的值域)设数据库的大小 | D | 等于N。那么置信度的值域为: Confidence( XY )[ 0,1 ]

证明

由置信度定义(2)可知 Confidence( XY )= P( XY ) P( X ) = N XY N N X N = N XY N X 。又因为 0 N XY N X ,所以 Confidence( XY )[ 0,1 ]

定理3 (确信度的值域)设数据库的大小 | D | 等于N,且 P( X )0 P( X )1 P( Y )0 P( Y )1 ,那么确信度的值域为: Conviction( XY )[ 1 N , ) ,当 N Conviction( XY )( 0, )

证明

为了书写清晰,不妨设 P( X )=α P( Y )=β P( XY )=γ ,其中 α β 为常数, γ 为变量。

因为 P( XY ) 是项集XY的联合概率,所以可以确定 γ 的取值范围为:

0γmin{ α,β } .(6)

首先根据确信度的定义(4)可知计算式为:

Conviction( XY )= 1β 1 γ α . (7)

然后确定 Conviction( XY ) 的连续性与单调性。

1) 连续性

Conviction( XY ) 存在一个间断点为 γ=α 处。

2) 单调性

为了确定单调性,对 Conviction( XY ) 求一阶导数:

d dγ Conviction( XY )= α( 1β ) ( αγ ) 2 .

因为 0α1 0β1 ,所以在区间 0γα αγmin{ α,β } d dγ Conviction( XY )0 ,因此 Conviction( XY ) 在间断点两侧分别是关于 γ 的单调递增函数。

根据公式(6)可以知道 0γmin{ α,β }α ,结合公式(7),那么 Conviction( XY ) 的取值范围就是:

1β= 1β 1 0 α Conviction( XY ) 1β 1 min{ α,β } α .(8)

3) 考虑 1β 的最小值

因为 maxβ= N1 N 可以得到:

min{ 1β }= 1 N .(9)

4) 考虑 1β 1 min{ α,β } α 的最大值

① 当 αβ 时, 1β 1 min{ α,β } α = 1β 1 α α =

② 当 α>β 时, 1β 1 min{ α,β } α = 1β 1 β α 。显然当 α β 非常接近时此式趋于无穷。

因此可以得到:

1β 1 min{ α,β } α .(10)

将公式(9),(10)代入到公式(8)中可以得到 Conviction( XY ) 的值域为:

Conviction( XY )[ 1 N , ) .

(假设条件的解释):当 P( X )=0 P( X )=1 时,并不能根据数据判断出XY的影响。当 P( Y )=0 P( Y )=1 时,同理。因此提出 P( X )0 P( X )1 P( Y )0 P( Y )1 的假设。

定理4 (提升度的值域)设数据库的大小 | D | 等于N,且 P( X )0 P( X )1 P( Y )0 P( Y )1 P( X ) ,那么提升度的值域为: Lift( XY )[ 0,N ] ,当 N Lift( XY )[ 0, )

证明

为了书写清晰,不妨设 P( X )=α P( Y )=β P( XY )=γ ,其中 α,β 为常数 γ 为变量。因为 P( XY ) 是项集XY的联合概率,所以可以确定 γ 的取值范围为:

0γmin{ α,β } .(11)

根据提升度的定义(3)可知计算式为:

Lift( XY )= P( XY ) P( X )P( Y ) = γ αβ . (12)

Lift( XY ) 显然是关于 γ 的连续单调递增函数。根据公式(11)和公式(12)可知 Lift( XY ) 的取值范围就是:

0= 0 αβ Lift( XY ) min{ α,β } αβ =min{ 1 α , 1 β } .(13)

因为 minα= 1 N minβ= 1 N ,所以

min{ 1 α , 1 β }=N .(14)

将公式(14)代入公式(13)中得到提升度的值域为:

Lift( XY )[ 0,N ] .

定理5 (Laplace测度的值域)设数据库的大小 | D | 等于N,且 P( X )0 P( X )1 P( Y )0 P( Y )1 。那么Laplace测度的值域为: Laplace( XY )[ 1 N+1 , N N+1 ] ,当 N Laplace( XY )( 0,1 )

证明

为了书写清晰,不妨设 P( X )=α P( Y )=β P( XY )=γ ,其中 α,β 为常数 γ 为变量。因为 P( XY ) 是项集XY的联合概率,所以可以确定 γ 的取值范围为:

0γmin{ α,β } . (15)

根据 Laplace( XY ) 的定义(5)可知计算式为:

Laplace( XY )= P( XY )+ 1 N P( X )+ 2 N = γ+ 1 N α+ 2 N .(16)

Laplace( XY ) 显然是关于 γ 的连续单调递增函数。根据公式(15)以及公式(16),可知 Laplace( XY ) 的取值范围就是:

1 N α+ 2 N Laplace( XY ) min{ α,β }+ 1 N α+ 2 N .(17)

1) 考虑 1 N α+ 2 N 的最小值:

因为 maxα= N1 N ,所以可以得到:

min{ 1 N α+ 2 N }= 1 N+1 . (18)

2) 考虑 min{ α,β }+ 1 N α+ 2 N 的最大值:

① 当 αβ 时, min{ α,β }+ 1 N α+ 2 N = α+ 1 N α+ 2 N =1 1 N α+ 2 N ,要使 min{ α,β }+ 1 N α+ 2 N 达到最大,即使 α 取得最大,即 maxα= N1 N ,此时 min{ α,β }+ 1 N α+ 2 N = N N+1

② 当 α>β 时, min{ α,β }+ 1 N α+ 2 N = β+ 1 N α+ 2 N ,因为 α>β ,所以 β+ 1 N α+ 2 N < α+ 1 N α+ 2 N ,即 min{ α,β }+ 1 N α+ 2 N < N N+1

综合①,②所述,可以得到:

max{ min{ α,β }+1 α+2 }= N N+1 .(19)

将公式(18),(19)代入到公式(17)中可以得到 Laplace( XY ) 的值域为:

Laplace( XY )[ 1 N+1 , N N+1 ] .

将定理1~定理5所给出的不同兴趣度量值域与另外两位作者的文章所给出的值域进行综合展示,如表2所示。

Table 2. Comparison of interest measures’ value domain

2. 兴趣度量值域对比表

兴趣度量

P.J. Azevedo and A.M. Jorge [9]

P. Lenca,

P. Meyer等[10]

本文

N X , N Y 已知

N X , N Y 未知

支持度

| D |

----

----

----

[ 0,1 ]

| D |=N

----

[ 0, N X /N ]

----

[ 0,1 ]

置信度

| D |

[ 0,1 ]

----

----

[ 0,1 ]

| D |=N

----

[ 0,1 ]

----

[ 0,1 ]

确信度

| D |

[ 1 2 ,+ )

----

----

( 0,+ )

| D |=N

----

[ N Y ¯ /N ,+ )

[ N Y ¯ /N ,+ )

[ 1/N ,+ )

提升度

| D |

[ 0,+ )

----

----

[ 0,+ )

| D |=N

----

[ 0,N/ N Y ]

[ 0,max{ N N X , N N Y } ]

[ 0,N ]

Laplace

| D |

[ 0,1 )

----

----

( 0,1 )

| D |=N

----

[ 1 N X +2 , N X +1 N X +2 ]

[ 1 N X +2 , min{ N X , N Y }+1 N X +2 ]

[ 1 N+1 , N N+1 ]

注:表中N表示某一数据库实际包含事务个数; N X 表示数据库D中包含项集X的事务个数,也就是项集X在数据库中出现的次数, N Y 表示数据库D中包含项集Y的事务个数,即项集Y在数据库中出现的次数; N Y ¯ 表示项集Y在数据库中没有出现的次数,也就是数据库实际包含事务个数减去项集Y在数据库中出现的次数,即 N Y ¯ =N N Y

表2中可以发现,本文给出了数据库大小是常数以及数据库大小趋近于无穷的情况下兴趣度量的值域。本文所给出的兴趣度量的值域与P.J. Azevedo, A.M. Jorge [9]的文章和P. Lenca, P. Meyer等人[10]的文章存在的不同主要有两方面,在表格中使用红色和蓝色分别标出。红色部分是与P.J. Azevedo和A.M. Jorge [9]的文章在值域的下界上存在差异:本文认为确信度的最小值可以小于0.5;Laplace的下界不能等于0。

蓝色部分是与P. Lenca, P. Meyer等人[10] N X N Y 已知的情况下,兴趣度量的值域上界存在差异,出现这些差异的主要原因是,该作者认为项集X在数据库中出现的次数比项集Y在数据库中出现的次数多,即 N X > N Y 。因为关联规则 XY 所表达的是X的出现引起Y的出现,因此直观上该作者这种理解是正确的,但是在关联规则挖掘过程并没有做出这一假设,所挖掘的关联规则也并没有排除符合 N Y > N X 这种情况的规则。本文也正式去掉了这一假设所给出的定理1~定理5。

4. 结论

本文从关联规则中的各种兴趣度量入手,研究了兴趣度量的值域,综合多方面考量给出了支持度、置信度、确信度、提升度与Laplace测度这五种兴趣度量在数据库大小是否接近无穷的两种情况下的值域以及严谨的数学证明过程,并且还与另外两篇文章所给出的兴趣度量的值域作对比,并且解释了出现差别的原因。综上所述,本文通过严谨的数学证明和综合分析,深入探讨了支持度、置信度、确信度、提升度与Laplace测度在不同数据库大小条件下的值域,提供了更为全面和准确的值域证明,弥补了以往研究中的不足之处。此外,不仅为关联规则研究提供了坚实的理论基础,也为实际应用中的规则评估提供了有力的支持。

NOTES

*共第一作者。

参考文献

[1] 郭瑞, 钱晓东. 基于一阶谓词公式去除商务数据冗余关联规则的研究[J]. 计算机工程与科学, 2017, 39(3): 593-598.
[2] 翟悦, 秦放. 基于概念格的无冗余关联规则提取算法[J]. 计算机应用与软件, 2015, 32(4): 46-49+66.
[3] Lobo, D. (2014) Association Rules: Normalizing the Lift. Ninth International Conference on Digital Information Management (ICDIM 2014), Phitsanulok, 29 September 2014-1 October 2014, 151-155.
https://doi.org/10.1109/ICDIM.2014.6991393
[4] Ordonez, C. (2006) Comparing Association Rules and Decision Trees for Disease Prediction. Proceedings of the International Workshop on Healthcare Information and Knowledge Management, Association for Computing Machinery, 17-24.
https://doi.org/10.1145/1183568.1183573
[5] 邱均平, 崔腾腾, 陈仕吉. 基于聚类和关联规则的Altmetric TOP榜文献特征分析[J]. 现代情报, 2021, 41(9): 12-21, 63.
[6] 李鑫, 史天运, 常宝, 等. 基于优化的MsEclat算法的铁路机车事故故障关联规则挖掘[J]. 中国铁道科学, 2021, 42(4): 155-165.
[7] 王枭翔. 基于相关兴趣度的关联规则挖掘[D]: [硕士学位论文]. 兰州: 兰州交通大学, 2014.
[8] Bao, F.G., Mao, L.H., Zhu, Y.L., et al. (2022) An Improved Evaluation Methodology for Mining Association Rules. Axioms, 11, 2-17.
https://doi.org/10.3390/axioms11010017
[9] Azevedo Paulo, J. and Jorge Alipio, M. (2007) Comparing Rule Measures for Predictive Association Rules. In: Machine Learning: ECML 2007, Springer-Verlag, 510-517.
https://doi.org/10.1007/978-3-540-74958-5_47
[10] Lenca, P., Meyer, P., Vaillant, B., et al. (2008) On Selecting Interestingness Measures for Association Rules: User Oriented Description and Multiple Criteria Decision Aid. European Journal of Operational Research, 184, 610-626.
https://doi.org/10.1016/j.ejor.2006.10.059
[11] Mcnicholas, P.D., Murphy, T.B. and O’Regan, M. (2008) Standardising the Lift of an Association Rule. Computational Statistics & Data Analysis, 52, 4712-4721.
https://doi.org/10.1016/j.csda.2008.03.013
[12] Mohammed J. Zaki, Wagner Meira Jr. 数据挖掘与分析概念与算法[M]. 吴诚堃, 译. 北京: 人民邮电出版社, 2017: 186-189.
[13] Brin, S., Motwani, R, Ullman, J.D., et al. (2001) Dynamic Itemset Counting and Implication Rules for Market Basket Data. ACM SIGMOD Record, 26, 255-264.
https://doi.org/10.1145/253262.253325