基于在线评论的概率语言多属性评价方法

Probabilistic Language Multi-Attribute Evaluation Method Based on Online Reviews

摘要: 随着互联网技术的发展和普及，语言决策涉及的领域愈发广泛，评价某一事物的方式越来越多样化，采用调查问卷或者专家决策的方式来进行评价已经无法满足某些业务需求。在线评论文本中包含了大量关于产品或服务的用户体验信息，但是数据量大且语言结构复杂增加了决策者给出评价结果的难度。因此，本文基于评论文本建立了一种概率语言多属性决策(PL-MCDM)模型来评估产品或服务。首先从文本中提取主题词构建属性词词典，通过关键词提取和情感分析模型得到评论中的关键词词对和情感倾向；其次，考虑到情感分析对评论者意见表达的置信度，采用概率语言术语集来扩展情感分析的结果，最终对产品或服务进行综合排名。最后，本文将所提出的模型应用到一个餐厅质量评估的案例中，结合现有结果证明了本文方法的可行性和有效性。

Abstract: With the development and popularization of Internet technology, the fields of language decision-making are more and more extensive, and the ways of evaluating something are more and more diversified. The traditional expert decision-making can not meet some daily needs. Online reviews contain a lot of user experience information, but the amount of data is large and the language structure is complex, which increases the difficulty of decision-makers to give the evaluation results. Therefore, this paper establishes a probabilistic linguistic multiple attribute decision making (pl-madm) model based on comment text to evaluate products or services. Firstly, the subject words are extracted from the text to construct the attribute word dictionary, and the keyword pairs and emotional tendencies in the comments are obtained by keyword extraction and sentiment analysis model; secondly, considering the confidence degree of sentiment analysis on the opinion expression of the reviewers, probabilistic language term set is used to expand the result of sentiment analysis, and finally the products or services are ranked comprehensively. Finally, the proposed model is applied to a restaurant quality assessment case, and the results show that the method is feasible and effective.

1. 引言

日常生活中人们大多通过语言表达自己的意见，语言决策就是将自然语言信息转换为语言变量，从而进行决策，在企业战略规划、产品质量评估等领域都发挥重要作用，这些特定领域大多选择专家来进行决策。传统的决策问题一般为专家参与的多属性群体决策，采用访谈调查的方式，综合专家意见做出决策，但随着业务需求日益复杂，仅靠几位专家参与决策已无法满足一些日常决策需求，很多决策评价问题开始扩大参与者数量，选择采集大众意见，从网络征集交通线名字到大众评选央视最佳节目，无一不体现大群体决策思维，科学、民主化的大群体决策方式逐渐普及。

面对大群体评价决策时，以往的多准则群体决策(MCDM)方法暴露了不足，成本高且决策者数量过少，无法精准反映事物的真实情况。大数据时代下，在线评论作为一种用户原创文本，能够更真实地反映大众体验服务后的意见，每一条评论都可看作是MCDM问题中的决策者意见。但如何利用UGC数据是目前研究的挑战，显然，大群体决策问题的解决不能直接套用传统MCDM方法，原因主要有三点：一是目标属性不确定，传统MCDM问题会设定固定属性由专家进行评价，而在线评论用户数量巨大，且没有约定属性词，需要从文本中挖掘；二是评价等级不确定，不同于以往决策者在设置好的评价等级范围内进行评判，在线评论文本中的评论者不受限制，内容丰富，不存在评价等级范围；三是语言表达不确定，专家决策的结果大多是离散且有限的，语言表达明确，而UGC数据的参与者语言用词多样且复杂，每个人语言表达的转换结果是存在不确定性的。

因此，面对在线评论文本呈现的海量性、复杂性、不规范性等特征，如何确定评价目标的属性体系、等级评价，将用户关键意见转化为合理的数学表达，成为当前大群体决策问题研究的关键。在此背景下，本文基于在线评论文本，将用户的主观意见进行提取，量化为概率语言决策信息矩阵，最终转变为大群体多属性决策问题进行质量评价，建立一种全面的概率语言多属性评价方法。

2. 相关工作

语言情境下的群决策(GDM)问题一直广受关注，通常具备三个特性：一是多属性，决策问题的复杂性需要综合多个属性维度分析；二是群体性，参与主体不仅类型多样且有一定数量，一般由从事特定领域的专家群体组成；三是不确定性，在多种主客观因素的交互作用下，备选方案的实施结果难以预测，决策者语言表达也存在不确定性 [1]。1975年Zadeh [2] 提出了模糊语言法，用范围取值而不是具体数字作为自然语言中词或句子的语言变量，以此表示领域专家的定性决策信息。2013年Rodriguez等 [3] 进一步提出了犹豫模糊语言集(hesitant fuzzy linguistic term set, HFLTS)的概念，设 $S=\left\{s_{\alpha }|\alpha =0,1,\cdots ,t\right\}$ 是一个语言术语集LTS，那么HFLTS对语言描述的定义是通过分布在给定LTS中的术语项来实现的，如S={s₀=低，s₁ = 中等，s₂ =高}。但其中所有语言术语项都具有相同权重，这显然不符合现实，决策者会使用一些可能性的词汇，使语言术语值具有不同重要度。2016年Pang等人 [4] 提出新的概念——概率语言术语集(probabilistic linguistic term sets, PLTS)，定义决策结果s_i的概率为p，可表示为 $L\left(p\right)=\left\{L\left(k\right)\left(p\left(k\right)\right)|k=1,2,\cdots ,n\right\}$，通过增加概率扩展HFLTS而不损失原始语言信息。利用概率语言模型，不仅可以提供决策者对评价对象的几种可能的语言值，还可以反映该组值的概率信息，得到更全面的决策者偏好信息。传统MCDM的方法框架是基于专家评价的，预先设置好属性评价等级框架，由多名专家给出决策，最后进行综合排序，侧重于决策信息的表示方式和属性权重的处理 [5] - [11]。这种方法需要很高的专业性，固定的属性指标体系和评价等级，对于非专家的大群体决策来说，显然限制了决策者更多意见的表达。大群体决策的概念2006年由陈晓红 [12] 提出，决策问题的参与者一般不少于20，决策目标的属性具有多维性、随机性等。提出后引起了国内外学者的广泛关注，对于大群体专家决策，徐选华等 [13] - [18] 结合聚类等方法将大群体数量转换成小群体进行研究；近年来陆续也有学者将在线评论作为决策意见展开研究，提出了基于UGC数据的大群体决策方法，Peng等人 [19] - [26] 从评论文本集中进行特征提取，得到评论者意见，采用频繁项集、情感分析等方法将其表示为决策信息，最终进行排序评价；徐选华等 [27] [28] [29] [30] [31] 在研究应急决策时也选择挖掘UGC大数据，将大众意见纳入决策方法框架中。

通过文献研究可知，大群体决策问题中的参与者逐步由单一的专家角色转为大众，通过在线文本数据获取决策信息，能够综合考虑广大公众的意见 [32] [33]。基于专家进行的传统MCDM方法中，概率的扩展多为频率统计，也有的直接给出犹豫度，而在基于评论文本的决策研究中，将用户对特征的情感倾向进行分类，沿用频繁项统计的理念统计出语言项的概率分布，但是对评论等级的分类粒度较粗，且并未考虑情感分析结果的置信度，因此，基于在线评论的大群体多属性决策方法还需要进一步完善，细化情感分析的粒度，增加决策信息表达的准确性。

3. 方法的提出

3.1. 研究内容和技术框架

本文的研究内容主要将文本语言转化为概率语言决策信息，首先通过挖掘评论文本，确定目标的属性体系，其次是提取评论文本中的关键意见，采用情感分析的方法确定评价等级，即HFLTS中的语言术语项，构建模糊意见表示矩阵，最后计算情感分析结果的置信度，通过PLTS进一步扩展为概率语言决策矩阵，对目标进行综合评价排序，技术框架如图1所示。

3.2. 模糊语言决策信息表达

3.2.1. 属性词词典构建

传统的多属性群体决策方法多为专家决策，有专业术语和互相讨论的前提条件，会根据已有的专业属性体系进行决策，属于确定的多属性群体决策。本文研究的在线评论文本参与者数量较多，且为大众群体，相互独立，没有统一规范的属性体系作为评价基础，属于不确定的多属性大群体决策问题。因此，首先需要构造目标对象的属性体系，本文采用LDA主题模型对评论文本进行主题挖掘，得到用户评论中的主要属性。LDA为无监督的学习模型，一般用于处理大规模文档集合，且可以搜索出隐含的主题分布信息，适用于挖掘大量在线评论文本。固有的属性体系可能会遗漏掉决策者需要的事物特征，通过LDA模型进行主题提取，计算困惑度确定主题数量，得到研究对象的主要属性及其对应关键词，构造大群体决策下的属性词词典，用于后续定量研究，表示为：

$D_{\text{attribute}}=A_1\left(k_1,k_2,\cdots ,k_a\right),A_2\left(k_1,k_2,\cdots ,k_b\right),\cdots ,A_n\left(k_1,k_2,\cdots ,k_c\right)$ (1)

Figure 1. Technical route framework of this paper

图1. 本文技术路线框架

3.2.2. 评论观点提取

通过筛选、清洗，采用关键词抽取模型对评论文本进行观点抽取，进行初步结构化处理，得到每条评论中的关键评价意见，即关键词词对，由名词和形容词构成，比如对某餐厅评价为“味道太好啦，舍不得剩下”，提取出关键词词对“<味道，不错>”。

Figure 2. Examples of opinion extraction results

图2. 评论观点提取结果示例

基于构建的属性词词典，对提取的名词进行属性词标记，发现还存在很多无法匹配的情况。这是因为人们对事物的评价通常会采用不同近义词，尤其在海量在线文本中，对同一事物的描述，评论者叫法不一，比如对餐厅菜品的评价，有说“味道不错”，也有“口味不错”，更有说“蟹黄包尝起来不错”。因此，需要根据特定领域扩展相应研究对象的属性词词典，将观点抽取得到的名词映射到属性词词典中，把名词、形容词词对(na词对)分类转换成属性词、情感词词对(as词对)，即将前述例子统一成“<口味，不错>”，具体示例如图2，最终构建评论意见二元组<属性词，情感词>，表示为：

$review=\left\{\langle n_1,a_1\rangle ,\langle n_2,a_2\rangle ,\cdots ,\langle n_n,a_n\rangle \right\}=\left\{\langle A_1,s_1\rangle ,\langle A_2,s_2\rangle ,\cdots ,\langle A_i,s_i\rangle \right\}$ (2)

3.2.3. 属性情感值计算

通过情感分析模型计算出na词对的情感倾向、情感强度，情感倾向sen分为三类情绪词：积极、中性和消极，分别用1、0和−1来表示，进一步细化情感倾向粒度，计算词对的情感强度，得到积极的概率值p和消极的概率值n，将na词对的情感强度融合计算得到对应as词对的情感强度，即

$p_{as}={\displaystyle \underset{i=1}{\overset{m}{\sum }}{p}_{na}}/m$ (3)

$n_{as}={\displaystyle \underset{i=1}{\overset{m}{\sum }}{n}_{na}}/m$ (4)

其中，m表示同一属性包含的名词个数。之后，根据公式(5)将情感倾向和情感强度综合计算，得到消费者对每个属性的情感值s，计算公式如下：

$s=\{\begin{array}{l}sen\ast p,sen=1\\ 0,sen=0\\ sen\ast n,sen=-1\end{array}$ (5)

计算属性的情感值后，需要生成语言术语集LTS，用于模糊语言决策信息的表达。本文选择计算连续值，更细粒度地表达了评论者的真实情感，结果更为准确，为了生成合适的语言术语集，本文选择区间模糊数的方法构造语言术语集S，上述计算得到的情感值s为[−1, 1]区间的连续值，参考七值语言术语集，将情感值s划分为7个区间，分别对应7个语言术语项，S = {非常差，差，稍差，一般，稍好，好，非常好}，用{S₋₃, S₋₂, S₋₁, S₀, S₁, S₂, S₃}表示，计算公式如下：

$S_j=S_{3-i},S_j\in \left[a,b\right]$ (6)

$a=S_{\max }-\frac{L}{7}\ast \left(i+1\right),i\in \left\{0,1,2,3,4,5,6,7\right\},L=\max \left(S_j\right)-\min \left(S_j\right)$ (7)

$b=S_{\max }-\frac{L}{7}\ast i,i\in \left\{0,1,2,3,4,5,6,7\right\},L=\max \left(S_j\right)-\min \left(S_j\right)$ (8)

由此，通过HFLTS将评论中抽取的二元组词对进行一系列融合转换，得到用户对研究对象各个属性的语言决策信息<属性词，语言术语项>，用 表示，如<口味，s ₃>，<环境，s ₂>。

3.3. 概率语言决策信息评价

传统的计算语言术语集概率的方法，通常是基于评价对象维度，统计所有用户意见中的语言术语项概率分布，选用人数占比来表示语言术语项S_i的概率，即直接得到每个评价对象S_i的概率，这种方法默认所有决策者给出的S_i是完全可信的，即概率为1。但实际上对于决策者来说，他们的语言评价通常不是百分百可信的，存在一定的置信度。

在线评论文本的量化处理，通常是采用情感分析等人工智能的方法，但此类方法是需要大量训练优化的，其结果并不是完美接近评论者的情感表达，因此，本文对在线评论文本进行情感分析的过程中，进一步计算情感值计算结果的置信度，以此作为评论结果的可信度，来改进语言术语集概率计算的方法。通过对其评论意见二元组(即as词对)进行情感分析，计算置信度，即得到每一个评价词对S_i的概率，将HFLTS扩展为PLTS，得到评论意见三元组<属性词，语言术语项，概率>，用 >表示，如<口味，s ₃，0.89>，<环境，s ₂，0.95>，从而构造出概率语言决策矩阵，经过处理后一条评论R ₁的表示如下：

$\begin{array}{c}{R}_1=A_1\left(k_1,k_2,\cdots ,k_a\right),A_2\left(k_1,k_2,\cdots ,k_b\right),\cdots ,A_n\left(k_1,k_2,\cdots ,k_c\right)\\ =[A_1\left\{\langle s\left(k_1\right),c\left(k_1\right)\rangle ,\langle s\left(k_2\right),c\left(k_2\right)\rangle ,\cdots ,\langle s\left(k_a\right),c\left(k_a\right)\rangle \right\},\\ A_2\left\{\langle s\left(k_1\right),c\left(k_1\right)\rangle ,\langle s\left(k_2\right),c\left(k_2\right)\rangle ,\cdots ,\langle s\left(k_b\right),c\left(k_b\right)\rangle \right\},\cdots ,\\ A_n\left\{\langle s\left(k_1\right),c\left(k_1\right)\rangle ,\langle s\left(k_2\right),c\left(k_2\right)\rangle ,\cdots ,\langle s\left(k_c\right),c\left(k_c\right)\rangle \right\}]\\ =\langle S\left(A_1\right),P\left(A_1\right)\rangle ,\langle S\left(A_2\right),P\left(A_2\right)\rangle ,\cdots ,\langle S\left(A_n\right),P\left(A_n\right)\rangle \\ =S_{A_1}\left(p\right),S_{A_2}\left(p\right),\cdots ,S_{A_n}\left(p\right)\end{array}$ (9)

其中，c(k_i)表示情感分析的置信度，用F-score来衡量。最终得到的评论者意见表达的概率语言信息，PLTS表示如下：

$L\left(p\right)=\left\{L^{\left(k\right)}\left(p^{\left(k\right)}\right)|L^{\left(k\right)}\in S,p^{\left(k\right)}\ge 0,k=1,2,\cdots ,\#L\left(p\right),{\displaystyle \underset{k=1}{\overset{\#L\left(p\right)}{\sum }}{p}^{\left(k\right)}\le 1}\right\}$ (10)

得到PLTS后进行分值计算，r^(k)是语言术语项L^(k)的下标，p^(k)是该术语项的概率值，#L(p)是术语项的数量。那么L(p)的分数E计算如下：

$E\left(L\left(p\right)\right)=s_{\bar{\alpha }}$ (11)

其中， $\bar{\alpha }={\displaystyle {\sum }_{k=1}^{\text{\#}L\left(p\right)}{r}^{\left(k\right)}}{p}^{\left(k\right)}/{\displaystyle {\sum }_{k=1}^{\#L\left(p\right)}{p}^{\left(k\right)}}$。

最后，计算目标对象的综合得分Score，E_i代表每个属性的得分，n为目标对象的属性数量：

$\text{Score}={\displaystyle \underset{i=1}{\overset{n}{\sum }}{E}_i}$ (12)

4. 实验分析

4.1. 数据预处理

4.1.1. 实验描述

本文选取了大众点评网站上热门前10的港式餐厅评论进行研究，共抽取1000条评论作为实验数据。实验过程中，构建的语言决策矩阵包括餐厅、属性、决策者、决策结果四个对象，餐厅( $R_1,\cdots ,R_{10}$ )作为评价的目标对象，餐厅属性设为( $A_1,\cdots ,A_n$ )，决策者为( $D_1,\cdots ,D_{100}$ )，决策的语言术语集为{S₋₃, S₋₂, S₋₁, S₀, S₁, S₂, S₃}，决策结果为S_i(p)，具体符号含义见表1。

4.1.2. 确定属性词词典

采用LDA主题模型进行训练，计算各个主题数下的困惑度，得到效果最佳的主题数为5，最终对评论文本进行主题提取，得到5个主题及其对应关键词。从提取的关键词中，最终归纳出餐厅的五大属性分别为：口味、环境、服务、性价比、其他，作为餐厅的属性指标体系。基于主题模型结果进行扩展，得到属性词词典，如表2所示。

Table 1. Symbolic meaning

表1. 符号含义

Table 2. Examples of attribute word dictionaries

表2. 属性词词典示例

4.2. 构建模糊意见表示矩阵

4.2.1. 评论观点提取

通过关键词抽取模型对评论文本进行提取，得到每条评论中的关键意见，如从餐厅1的一条评论(图3所示)中得到二元组：<价格，实惠>，<份量，小>，<酱料，不错>。

Figure 3. A comment example

图3. 一条评论示例

4.2.2. 模糊意见表示

采用情感分析法计算关键词词对的情感值，得到评论者积极倾向的概率p和消极倾向的概率n，通过式(5)得到评论中对各属性的情感值s。通过式(6)得到评价语言术语项S_i，将评论表示为<属性词，S_i>，如<口味，S₁>，<性价比，S₂>。

4.3. 构造概率语言决策矩阵

计算情感分析结果的置信度，扩展模糊意见得到概率语言决策信息S_i(p)，i代表lts，p代表置信度，结果如表3所示。

4.4. 结果讨论

4.4.1. 餐厅综合排名

通过式(11)和(12)计算得到餐厅各属性得分E_i，最终计算综合分值进行评价排序，见表4。

Table 3. Probabilistic language opinion representation results

表3. 概率语言意见表示结果

Table 4. Restaurant ranking results

表4. 餐厅排名结果

4.4.2. 效果评估

数据源中包含评论者对餐厅的整体打分rating和对口味、环境、服务三个方面的打分，取值范围为{1, 2, 3, 4, 5}，通过计算所有评论的均值得到rating排名和基本属性排名，对比本文方法的效果，如表5所示，通过计算标准差来验证方法的稳定性。

Table 5. Comprehensive comparison of restaurant ranking results

表5. 餐厅排序结果综合对比

从结果可以看出，餐厅编号6和8综合排名是靠前的，它们在口味、性价比、其他等方面的属性得分也是排列在前，可以推出餐厅的口味和性价比对于综合排名影响较大，推荐对口味和性价比看重的消费者前往就餐，编号5和9综合质量较差，主要原因在于性价比较低，但二者的环境得分较高，适合消费水平较高的消费者人群前往。

5. 结论与展望

5.1. 结论

实验表明，与已有方法相比，本文提出的方法准确率较高，且排名结果的标准差较小，更加稳定。这也证明了将在线评论文本转换为多属性大群体决策问题进行评价可以取得更优的结果，具有可行的研究前景。在大群体决策问题研究中，引入文本挖掘领域常用的情感分析方法，将大量复杂的语言文本结构化，实现了文本的量化转变，可以解决决策中评价等级不确定的问题；同时，考虑情感分析模型在计算评论意见情感值时的置信度，将HFLTS扩展为PLTS，更加完善了评论者意见的表达，增加了结果的可靠性。

5.2. 展望

本文研究主要是将评论文本表示为MCDM中的决策信息，得到概率语言信息进行综合评价，后续权重的研究还有待进一步扩展：一是对属性权重的处理，本文侧重于前期评论者意见的表达，评价对象的属性权重默认相同，但实际上每个属性的重要度并不完全相同，因此，后续考虑计算属性权重来优化排名结果；二是对评论者权重的处理，在线评论文本的特点除了数据量大和内容复杂，还有用户特征多样化。本文将所有评论者一致看待，赋予相同权重，但在实际应用中，评论者的特点不一，所表达的观点重要程度也不尽相同，因此，后续考虑计算用户权重，完善用户意见的表达。

基金项目

中央高校基本科研业务费专项资金资助项目(2232018H-07)。