1. 引言
为适应我国经济和商业发展的迫切需求,1993年教育部考试中心和剑桥大学考试委员会联合在中国推出剑桥商务英语证书考试(Cambridge English: Business Certificates,简称BEC)。BEC是专为职场或即将进入职场的英语学习者所设计的国际商务英语资格证书考试,旨在考查应试者在真实工作环境中的英语交流能力(http://bec.neea.cn/html1/folder/1507/1856-1.htm)。该考试是一项语言水平考试,能准确反映考生的听、说、读、写四项技能以及英语实际运用能力。BEC考试主要分为BEC初级(B1 Business Preliminary),BEC中级(B2 Business Vantage)和BEC高级(C1 Business Higher)三个级别,包括笔试和口试两个独立部分。目前BEC考试在我国27个省、自治区、直辖市设有144个考点,考试每年在5月和11月举行。BEC国际认可度高,是众多知名跨国企业和国际高等院校评估应聘者和申请者语言能力的标准之一。1993年至今BEC考试在中国的考生人数逾百万,日益发展成为一项大规模、高风险考试。本研究是剑桥测试中心与重庆大学的国际合作项目“剑桥英语考试在中国的影响”的一部分,主要调查BEC中级口试对口试考官产生的反拨效应,对考生的反拨效应我们将另文撰写。
2. 文献综述
反拨效应(washback/backwash)又称反拨作用,通常指考试对教师和学生以及教和学产生的影 [1] [2] [3] [4] [5]。在已有反拨效应假设或模型的基础上 [1] [4] [6],Green [7] 提出的反拨效应模型涉及考试的特征和考试参与者的特征,而且还涉及了反拨效应的性质(正面或负面效应)和强度 [8]。现有反拨效应实证研究主要涉及全国或地区性考试、国际化考试,而且主要研究大规模、高风险考试 [9]。其中对口试反拨效应的有影响的研究不多 [10] - [17]。这些对口语考试的反拨效应的研究主要集中在全国或地区性考试,对国际化的水平考试涉及较少。调查对象主要是教师、学生,涉及考官的研究很少。此外,我国针对专门用途英语口语考试反拨效应的实证研究相当缺乏。其中有研究从语言学习者的角度通过实证研究分析了中国民航飞行人员英语能力测试口语能力面试对英语学习的反拨效应 [18]。Booth [19] 采用定性研究探讨了TOEIC考试对考生及其学习产生的反拨效应。但是与BEC考试相关的反拨效应研究很少。
关于BEC考试的研究,现有文献主要涉及考试改革的调查和介绍 [20] [21],口试会话特征的理论分析 [22],BEC口试中的教育理念分析 [23],BEC口试的交际特点 [24],BEC口语考试时考生的互动能力的影响因素 [25],BEC口语考试的四项技能考试与高校商务英语课程的对接方式 [26]。但是这些研究大多基于理论分析,没有从实证方面进行验证。Gu & Saville [27] 对BEC考试的影响进行了实证研究,但是并没有专门针对口语考试进行调查。韦立 [28] 对剑桥商务英语口语考试的构念效度进行了实证分析,调查对象涉及教师、参加过BEC考试的学生、商务英语环境中工作的职业人,但是没有对考官进行调查分析。
为了弥补上述不足,本文从考官的角度,调查BEC这一职业类英语证书考试的口语考试的反拨效应。
3. 研究方法
本研究主要调查BEC中级口试对考官产生的反拨效应,涉及以下研究问题:
1) 考官对BEC 中级口试的认识如何?
2) BEC中级口试的影响如何?
3.1. 被调查者
本研究的被调查者为某BEC中级口试考点的35名考官。被调查考官以女性为主(占77.1%),年龄主要集中在30~50岁之间(30~40岁占54.3%,41~50岁占42.8%),学历以硕士及以上学历为主(占77.1%)。整体上被调查考官任职资历较高,其中42.4%的考官有10年及以上担任考官的经历和经验,66.6%担任考官的年限为5年以上。但70%以上的考官都没有涉外商贸经历(见表1)。
![](Images/Table_Tmp.jpg)
Table 1. The background information of examiners of B2 Business Vantage Speaking Test
表1. BEC中级口试考官的背景信息
3.2. 研究工具
本研究主要采用问卷调查辅之以访谈的研究方法。考官问卷主要包括里克特五级量表问题、多项选择题和填空题。问卷第一部分涉及考官的个人基本信息,如性别、年龄、教育背景、英语水平、担任BEC口试考官年限、是否有涉外商务的实践经验等。第二部分调查考官对BEC中级口试的认识;第三部分主要调查BEC中级口试对考官的影响。
调查问卷的设计主要参照《剑桥商务英语教师手册》 [29] BEC口试试题,研究者与BEC中级口试考试开发者和从事效度验证研究学者的交流,已有的反拨效应文献 [30] - [36],研究者对BEC考试学习者和考官的了解,以及其他与反拨效应和考试影响相关的理论和实证研究 [1] [37] [38]。调查问卷主要通过专家判断和多次对问卷进行修改和试做来确保其信度和效度。
3.3. 数据收集及分析
本研究的数据收集工作得到了某考试中心的支持,考官问卷在BEC中级口试结束后进行,共发放问卷35份,回收35份,其中有效问卷35份,有效率达100%。访谈是在调查问卷完成后进行。有17名考官参与了半结构式访谈。问卷调查数据通过SPSS19.0进行频数统计和描述统计分析,问卷的信度系数(Cronbach’s alpha)为0.935,说明问卷的内在一致性很好,信度很高。访谈数据主要用于定性分析和解释。
4. 结果与讨论
4.1. 考官对BEC中级口试的认识
本研究调查了考官对BEC中级口试的考试时间、考试真实性和考试评分标准的认识。
4.1.1. 口试时间
BEC中级口试整体时长约14分钟,包含对话(Conversation),简短发言(Mini-presentation),话题讨论(Collaborative task)三部分。关于口试时间,考官认为BEC中级口试总体时长及各部分时长都比较合理,均值都在4以上,而且考官对此的认识比较一致,标准差均低于1 (见表2)。
![](Images/Table_Tmp.jpg)
Table 2. Examiners’ perceptions of interview time of B2 Business Vantage Speaking Test
表2. 考官对BEC中级口试时长的看法
5 = 很合理,4 = 比较合理,3 = 不确定,2 = 不太合理,1 = 很不合理。
4.1.2. 口试真实性
所谓真实性是指“语言测试任务的特征与目标语运用任务的特征之间是否对应” [39]。本研究从口试题型、口试内容和口试效度三个方面调查了考官对BEC中级口试真实性的看法。这里的口试题型指最能考查出职场英语水平的题型。由图1可见,考官认为第三部分话题讨论是最能考查出职场英语水平的题型(占74.3%),第二部分简短发言次之,占20% (见图1)。
关于口试内容的真实性,考官总体上认为BEC中级口试内容与职场的真实情境比较一致,其中比较一致和很一致的比例为57.2%。认为一般的比例为40%。认为二者不太一致或很不一致的比例很小,占2.9% (见图2)。74.3%的考官认为BEC中级口试在很大程度上能考察出考生的职场英语水平(见图3)。
可见,总体上考官认为BEC中级口试具有真实性。
![](//html.hanspub.org/file/1-1310023x9_hanspub.png)
Figure 1. Test format best able to test English proficiency in the workplace
图1. 最能考查出职场英语水平的题型
![](//html.hanspub.org/file/1-1310023x10_hanspub.png)
Figure 2. The consistency between the content of B2 Business Vantage Speaking Test and the real situation in the workplace
图2. BEC中级口试内容与职场真实情境一致性
![](//html.hanspub.org/file/1-1310023x11_hanspub.png)
Figure 3. The possibility that B2 Business Vantage Speaking Test can examine test English proficiency in the workplace
图3. BEC中级口试多大程度上能考察出考生的职场英语水平
4.1.3. 口试评分标准
评分标准是口语测试的重要组成部分,是衡量考生考试表现的重要依据 [40]。只有评分方法做到科学性、客观性和可操作性,那么才能保证主观性较强的口语测试的信度和效度 [41]。
BEC中级口试的评分标准包括整体评分标准和分项评分标准,整体评分标准主要关注考生的整体表现,分项评分标准主要涵盖词汇、语法准确性,话语组织的流利程度,发音,互动交流能力四个方面。整体评分标准和分项评分标准都含0~5五个等级。参与谈话的考官根据整体评分标准给出印象分,不参与谈话的考官分项进行打分。
![](Images/Table_Tmp.jpg)
Table 3. Examiners’ perceptions of scoring criteria of B2 Business Vantage Speaking Test
表3. 考官对BEC中级口试评分标准的认识
5 = 完全同意,4 = 比较同意,3 = 不确定,2 = 不太同意,1 = 完全不同意。
本研究调查了考官对BEC中级口试评分标准的态度和认识。总体上,考官对BEC中级口试的整体评分标准和分项评分标准持肯定的态度,均值都在4左右(见表3)。考官认为BEC口试整体评分标准评分细项设置合理,可操作性强,评判的标准度高,评分等级差能真实反映考生的实际水平,而且评分标准能给予考官一定的自由度。
4.2. BEC口试的影响
本部分主要从考官的角度分析BEC中级口试对考官产生的反拨效应及影响评分的因素。
4.2.1. 对考官的影响
本研究调查了BEC中级口试考官的任职经历对考官产生的影响。他们认为担任BEC中级口试考官的经历对其商务英语教学实践和测评实践产生了比较大的影响,均值接近4.5。口试考官的任职经历能够提高考试测评的专业素养,均值为4.41,能增加其职业成就感,均值接近4.0。60%的考官认为能促进其职业发展,均值为3.70 (见表4)。此外,考官认为该任职经历。总体上考官认为BEC中级口试对他们产生了比较正面的影响,91.4%的考官希望今后继续担任BEC口试考官。
![](Images/Table_Tmp.jpg)
Table 4. Influence of working experience as B2 Business Vantage Speaking Test examiners
表4. BEC中级口试考官的任职经历对考官的影响
5 = 很大,4 = 比较大,3 = 不确定,2 = 比较小,1 = 很小。
4.2.2. 影响评分的因素
本研究分别从考官、考生、施考形式、其他非语言因素4个方面对BEC中级口试评分的影响因素进行了调查。
考官是口语测试的重要参与者之一,考官个人的基本素质、职业素养和施考经验往往会对口试评分产生很大影响。本研究通过考官自评来判断考官产生的影响。由表5可见,几乎所有考官都认为个人基本素质高,施考得当,各项均值都在4.5以上。可以推断考官因素对BEC中级口试产生了积极的影响。通过上面关于考官背景资料的介绍可知,接近半数的考官都有10年及以上担任BEC考官的经历,66.6%的考官有5年以上的考官任职经历。此外,每次考试前,BEC口试考官要进行严格的培训。考官须通过剑桥大学的定标,即考官给样卷打分,然后与剑桥给定的基准分进行对照,误差在一分以内被认为合格。
![](Images/Table_Tmp.jpg)
Table 5. Self-evaluation by examiners of B2 Business Vantage Speaking Test
表5. BEC中级口试考官的自评
5 = 很同意,4 = 比较同意,3 = 不确定,2 = 不太同意,1 = 很不同意。
本研究调查的考生因素指考生与其搭档的水平差异对考官评分的影响程度。BEC中级口试第三个环节是话题讨论,要求两个考生相互配合,围绕给定的商务情景话题进行讨论,并进一步回答考官的提问。该环节主要考查考生与他人进行交际的能力,并以得体的方式进行谈判、对答等。因此,考生间的水平差异可能会对考官的评分产生影响。本研究分析了考官对此问题的态度和看法。约75%的考官认为考生与其搭档的水平差异对口试评分的影响比较小或很小。认为影响比较大的考官比例占25.7% (见图4)。
![](//html.hanspub.org/file/1-1310023x12_hanspub.png)
Figure 4. Influence of English proficiency discrepancy between candidates and their partners on scoring
图4. 考生与其搭档的水平差异对考官评分的影响
BEC中级口试的第三个环节话题讨论要求两名考生共同就给定的商务话题进行讨论并回答考官的提问,按照考号顺序组合搭档是一种常见的考试方式。本研究调查了考官对这种组合方式的看法。67.7%的考官认为考生按照考号顺序组合搭档比较合理或很合理,26.5%的考官持不确定的态度(见图5)。可见,总体上考官认为BEC中级口试考生搭档组合方式合理。
![](//html.hanspub.org/file/1-1310023x13_hanspub.png)
Figure 5. Examiners’ perceptions of grouping partners by test numbers
图5. 考官对口试中按考号顺序组合搭档的看法
除了考官、考生和考生组合方式的因素可能会对考试产生影响外,口试中考生的非语言因素(例如手势、眼神交流、面部表情、信心态度、临场应变等)也是本研究调查的内容之一。97%的考官认为考生的非语言因素对评分的影响较小,很小或没有影响(见图6)。
![](//html.hanspub.org/file/1-1310023x14_hanspub.png)
Figure 6. The influence of non-linguistic factors from candidates on scoring
图6. 考生非语言因素对考官评分的影响程度
此外,本研究还调查了BEC中级口试中的应试演练现象,一半以上的考官认为BEC中级口试的简短发言部分存在应试演练痕迹。接近三分之一的考官认为对话部分也存在较明显的应试演练痕迹(图7)。但是这种考试演练痕迹对考官评分的影响并不大,71.4%的考官表示即使发现学生有比较明显的应试演练痕迹,也会选择忽略此情形,会根据评分标准评判。
4.2.3. 考官在施考过程中遇到的困难
本研究还对17名考官在施考等过程中遇到的困难进行了访谈。访谈主要涵盖评分标准的制定与评分难度,施考环境,考试时间和薪酬4个方面。有考官指出,现有BEC口试评分标准给予考官的自由度不大,例如,在考生过度紧张时,考官给出提示问题的自由度较小。评分标准的可操作性方面也有一定的难度,主要体现在评判尺度不好把握,例如考官认为0.5分和1分之间的评判尺度难以把握。如果考生在考试过程中能够表达其观点或大意,但是语言的准确性不够高,语法错误多,表达不规范,考官在打分时很难在评分标准里找到相应的评判依据。这些都给评分造成了一定的困难。此外,考官表示,在定标培训过程中,剑桥考官对来自不同国家的考生的评判标准不一致。例如剑桥考官给一些非英语、西方国家的考生的基准分偏高,而给亚洲考生的基准分偏低,存在不公平现象。口试施考环境不理想也是考官施考过程中遇到的困难之一,主要表现在网速慢或者网络不稳定造成登录受阻。部分考官认为,虽然口试的总时间是明确的,但是在口试过程中很难掌控和把握各个环节的时间。有些考官指出,考试占用其周末的时间,但是薪酬待遇却不太理想。
![](//html.hanspub.org/file/1-1310023x15_hanspub.png)
Figure 7. The part with obvious trail of exam oriented drill in B2 Business Vantage Speaking Test
图7. BEC中级口试有较明显的应试演练痕迹的环节
5. 结论
本文从考官的角度进行问卷调查与访谈,研究了考官对BEC中级口试的认识、BEC中级口试对考官的影响和影响评分的因素。总体上,考官对BEC中级口试持肯定的态度,认为BEC中级口试总体时长及各部分时长都比较合理,考试具有真实性,他们对BEC中级口试的评分标准比较肯定。
考官认为BEC中级口试对他们产生了比较正面的影响,这些对考官的影响包括对他们的商务英语教学实践、测评素养提升和职业发展等。考官个人的基本素质、职业素养、施考经验对BEC中级口试的评分产生了积极的影响,而考生因素包括考生与搭档的水平差异、考生与搭档的组合方式、非语言水平因素(例如手势、眼神交流、面部表情、信心态度、临场应变等)对考试的影响不明显。
此外,考官在施考过程中遇到一些困难,口试评分标准的自由度不大,评判尺度不好把握;网络不畅等原因造成施考环境不理想;口试过程中三个环节的时间较难把握;定标培训中存在不公平现象。另外,考试时间安排与薪酬不匹配。
本文基于对口试考官的调查,对BEC中级口试的反拨效应进行了分析,不仅补充了BEC反拨效应口试研究的空缺,而且为BEC口试的施考环境、评分标准的改进,以及考官的培训和考试时间的安排提供了参考,也为专门用途英语口试反拨效应相关研究提供了启示。