某型视频会议系统性能的综合评判

Comprehensive Evaluation of the Performance of a Video Conference System

摘要: 对影响某型视频会议系统性能的主要因素进行了分析，建立了评价某型视频会议系统的指标体系，采用层次分析法(AHP法)与专家组决策法(Delphi法)相结合的方法确定各指标的权重，并且对各指标进行量化后规范化处理，最后借助灰色评估理论，对某型视频会议系统性能的综合评判模型进行了验证。

Abstract: The main factors affecting the performance of a video conferencing system were analyzed, and an index system for evaluating a video conferencing system was established. The weights of each index were determined by the combination of analytic hierarchy process (AHP) and expert group decision-making method (Delphi). Finally, via grey evaluation theory, a comprehensive evaluation model for the performance of a video conferencing system was validated.

1. 引言

某型视频会议系统由视频会议终端、多点会议控制器、传输网络、网络管理软件等四大部分组成 [1] [2] ，如图1所示。准确评估某型视频会议系统性能有助于了解该型视频会议系统的运行状况，可以帮助操作员整体把握系统运行过程中需要注意的问题和细节，能够为系统日后更加稳定良好地运行提供一定的指导和帮助。

Figure 1. Composition of a video conference system

图1. 某型视频会议系统组成结构

由于不同的用户已有的网络状况、硬件设施各有特色，所以对视频会议系统中视频会议终端系统、多点会议控制器、网络管理软件等部分的要求，也各不一样。

因此，基于结构组成，本文以某型视频会议系统性能为综合评判对象，即评价某型视频会议系统在规定的条件下和规定的时间内，完成特定任务(完成特定的会议保障任务)要求的能力，也即对某型视频会议系统性能优劣的度量。目前评估系统的方法有很多，各有千秋，但是手段比较单一，尤其在确定指标权重的环节上基本上都是利用一种方法；本文采用层次分析法(AHP法)与专家组决策法(Delphi法)相结合的方法确定各指标的权重，降低了单一方法决定指标权重所带来的不确定性和风险性，并借助灰色评估理论进行最终评估值的确定，该理论适用于不同系统、不同方案之间的比较，同时不需要大量的样本数据，可以避免人为因素。

2. 某型视频会议系统评价指标体系的建立

2.1. 指标的确定原则

1) 评估指标应能够反映出某型视频会议系统的本质特性；

2) 指标应尽可能地反映出指标间的相互关联性，同时不能相互包含。

2.2. 某型视频会议系统的评价指标体系

根据确定指标的原则，通过对影响某型视频会议系统性能的主要因素进行分析 [3] ，得到某型视频会议系统性能的评价指标体系 [3] [4] [5] [6] 如表1所示。

Table 1. Performance evaluation index system of a video conference system

表1. 某型视频会议系统性能评价指标体系

3. 确定各层次指标权重

3.1. 确定指标权重的方法

在某型视频会议系统性能评价指标体系中，各因素对系统性能的影响程度不同，用权重来表示它们在系统中的重要性，则各指标权重的合理性，决定了性能评估的真实性和可依赖性。确定权重的方法很多，这里采用层次分析法 [7] (AHP法)与专家组决策法(Delphi法)相结合的方法确定。

具体步骤如下：

1) 为克服一位专家确定指标权重时带有的主观性问题, 首先采用Delphi法让多位专家同时确定两两指标间的相对重要程度。指标间的相对重要程度按美国运筹学家萨提(Satyr)根据心理学原理提出的1~9标度赋值法 [8] (标度值1、3、5、7、9分别表示甲相对乙同等、稍微、明显、强烈、极端重要)。由此构造

第 $r\left(r=1,2,\cdots ,s\right)$ 位专家的两两比较判断矩阵： $C_r={\left(c_{ij}^r\right)}_{n\times n}$ ，式中 $c_{ij}^r$ 表示指标i相对于指标j的重要程度。

2) 对于不同专家的意见，采用几何平均法进行归类处理。参与性能评估的专家共s位，则反应s位专家认为指标i比指标j重要的综合值为： $a_{ij}={\left({\displaystyle \underset{r=1}{\overset{s}{\prod }}{c}_{ij}^r}\right)}^{1/s}$ ，由此得出综合判断矩阵 $a={\left(a_{ij}\right)}_{4\times 4}$

以第一层次指标为例，征求专家决策组对某型视频会议系统性能的评定意见并采用以上方法处理后得出其判断矩阵A的形式如表2所示。

Table 2. Judgement matrix A

表2. 判断矩阵A

4) 求出判断矩阵的最大特征根对应的特征向量，即为评价指标的重要性排序。步骤如下：

① 将矩阵每一列进行归一化处理

$\overline{a_{ij}}=\frac{a_{ij}}{{\displaystyle \underset{k=1}{\overset{n}{\sum }}{a}_{kj}}},i,j=1,2,\cdots ,n$

得到归一化矩阵 $\text{A}={\left(\overline{a_{ij}}\right)}_{n\times n}$ ，即 $\text{A}=\left[\begin{array}{cccc}0.21& 0.4& 0.33& 0.13\\ 0.1& 0.2& 0.27& 0.27\\ 0.08& 0.1& 0.13& 0.2\\ 0.61& 0.3& 0.27& 0.4\end{array}\right]$

② 将归一化后的矩阵按行相加得： $\overline{w_i}={\displaystyle \underset{j=1}{\overset{n}{\sum }}\overline{a_{ij}}},j=1,2,\cdots ,n$

即 $\overline{w_1}=1.0707$ ， $\overline{w_2}=0.8354$ ， $\overline{w_3}=0.5149$ ， $\overline{w_4}=1.5789$ 。

③ 将列向量 $$ 正规化处理：

$w_i=\frac{\overline{w_i}}{{\displaystyle \underset{j=1}{\overset{n}{\sum }}\overline{w_j}}},i=1,2,\cdots ,n$

得 $w_1=0.2677$ ， $w_2=0.2089$ ， $w_3=0.1287$ ，，则 $\bar{w}={\left[w_1,w_2,w_3,w_4\right]}^T$ 即为所求的特征向量。

④ 计算矩阵的最大特征值 ${\lambda }_{\max }$

${\lambda }_{\max }={\displaystyle \underset{i=1}{\overset{n}{\sum }}\frac{{\left(AW\right)}_i}{n{W}_i}}$

$AW=\left[\begin{array}{cccc}1& 2& 2.5& 1/3\\ 1/2& 1& 2& 2/3\\ 1/2.5& 1/2& 1& 1/2\\ 3& 1.5& 2& 1\end{array}\right]\left[\begin{array}{l}0.2677\\ 0.2089\\ 0.1287\\ 0.3947\end{array}\right]=\left[\begin{array}{l}1.1388\\ 0.8633\\ 0.5376\\ 1.7685\end{array}\right]$

${\lambda }_{\max }={\displaystyle \underset{i=1}{\overset{4}{\sum }}\frac{{\left(AW\right)}_i}{4W_i}}=\frac{1.1388}{4\times 0.2677}+\frac{0.8633}{4\times 0.2089}+\frac{0.5376}{4\times 0.1287}+\frac{1.7685}{4\times 0.3947}=4.2611$

3.2. 一致性检验

权重分配是否合理，需对判断矩阵进行一致性检验。

1) 计算判断的一致性检验指标C.I有： $\text{C}.\text{I}=\frac{{\lambda }_{\max }-n}{n-1}$

2) 确定平均一致性指标R.I。可查表3获得。

Table 3. Random Consistency Index R.I

表3. 随机一致性指标R.I

3) 计算一致性比例C.R。 $\text{C}.\text{R}=\text{C}.\text{I}/\text{R}.\text{I}$ 。当C.R < 0.1时，认为判断矩阵的一致性是可以接受的。反之，当C.R ≥ 0.1时，应该对判断矩阵作适当修正，以保持一定程度的一致性。本判断矩阵中

$\text{C}.\text{I}=\frac{{\lambda }_{\max }-n}{n-1}=\frac{4.2611-4}{4-1}=0.087$

$\text{C}\text{.R}=\text{C}\text{.I}/\text{R}\text{.I}=0.0967<0.1$

判断矩阵具有满意的一致性指标。

3.3. 计算第二层次指标权重

计算方法同上，具体值分别见表4~6。

Table 4. The weight calculation of the second level index u11, u12 and u13

表4. 第二层次指标u₁₁，u₁₂，u₁₃权重计算

注：λ_max = 3.0743；C.I = 0.0372；R.I = 0.58；C.R = 0.0641 < 0.1。

Table 5. The weight calculation of the second level index u21, u22 and u23

表5. 第二层次指标u₂₁，u₂₂，u₂₃权重计算

注：λ_max = 3.00；C.I = 0.00；R.I = 0.58；C.R = 0.00 < 0.1。

第二层次指标u₃₁，u₃₂的权重直接两两比较得： $W_3=\left[0.5,0.5\right]$ 。

Table 6. The weight calculation of the second level index u41, u42 and u43

表6. 第二层次指标u₄₁，u₄₂，u₄₃权重计算

注：λ_max = 3.0015；C.I = 0.00075；R.I = 0.58；C.R = 0.0013 < 0.1。

4. 综合评判及实例

4.1. 确定评价等级

在指标的评价中，将指标的评分等级划分为优、良、中、合格、不合格五个等级，赋予相应的分值为9，7，5，3，1，根据灰色评估理论(GAT)有，确定评价灰类就是要确定评价灰类的等级数、灰类的灰数以及灰数的白化权函数，针对具体对象，通过定性分析确定。本文中5个指标评分等级对应5个评价灰类，其相应的灰数和白化权函数如下 [9] ：

第一类“优”，即白化权函数 $f_1=\{\begin{array}{l}x/9\left(0<x<9\right)\\ 1\left(x\ge 9\right)\\ 0,其他\end{array}$ ；

第二类“良”，即白化权函数 $f_2=\{\begin{array}{l}\left(10-x\right)/3\left(7<x\le 10\right)\\ 1\left(0<x\le 7\right)\\ 0,其他\end{array}$ ；

第三类“中”，即白化权函数；

第四类“合格”，即白化权函数 $f_4=\{\begin{array}{l}\left(6-x\right)/3\left(3<x\le 6\right)\\ 1\left(0<x\le 3\right)\\ 0,其他\end{array}$ ；

第五类“不合格”，即白化权函数 $f_5=\{\begin{array}{l}\left(3-x\right)/2\left(1<x\le 3\right)\\ 1\left(0<x\le 1\right)\\ 0,其他\end{array}$ 。

4.2. 确定评语集

评语集是对评价对象可能作出的评价结果的集。根据对某型视频会议系统性能可能的评价表述，可确定评语集为：V = {优，较优，一般，劣}，对应评分集为{1, 0.75, 0.5, 0.25}。

4.3. 某型视频会议系统性能综合评判

$\begin{array}{c}E=w_1*\left[0.54330.210.2467\right]*{\left[111\right]}^{\prime }+w_2*\left[0.23080.57690.1923\right]*{\left[10.24071\right]}^{\prime }\\ +w_3*\left[0.50.5\right]*{\left[11\right]}^{\prime }+w_4*\left[0.51710.12430.3586\right]*{\left[0.240710.1728\right]}^{\prime }\\ =0.6364\end{array}$ (式中的转置矩阵部分可根据判断矩阵，再结合白化权函数得到； $w_1=0.2677$ ， $$ ， $w_3=0.1287$ ， $w_4=0.3947$ )。

根据以上所求评判集结果，按照最大隶属度原则，可以认为某型视频会议系统的性能处于一般和较优之间。同时本文的评估方法可以推广应用到一般的视频会议系统性能评估中。

至于系统的具体性能到底如何，还要根据系统实际运行状况综合衡量，本文只是给出一种理论评判的方法，提供给操作者一个参考。在实际运行和维护中，应当根据具体情况，适当调整模型的各类参数值，使之与实际尽量相吻合，这样才能做到“理论指导实践，实践服务于理论”。

5. 结束语

本文建立了评价某型视频会议系统性能的指标体系，分析构建了某型视频会议系统的性能综合评判模型，对了解和掌握某型视频会议系统的的运行状况具有一定的借鉴意义。同时，只要是某一在特定时间和条件内，能完成特定功能的某一系统，具有一定的组成结构，均可采用本文的方法进行系统性能的综合评判。