1. 引言
随着数字经济时代的到来,以算法技术为核心的大批网络平台在推动数字经济发展方面发挥着举足轻重的作用,逐渐成为我国数字经济的中坚力量 [1] 。这些平台通过提供新闻、娱乐、购物及交流等服务,旨在平衡供需两侧的需求,从而成为信息传播与交流的重要载体。网络平台的核心在于用户,用户在使用产品、系统或服务过程中的主观感知与反馈,即用户体验 [2] ,是网络平台应用开发、升级及运营的核心关注点。
“小红书APP”是我国主要针对热爱购物和生活的年轻网络用户的社会化信息交流与电商平台。在这个平台上,用户可以搜索全球各地的优秀商品,浏览达人总结的购买攻略以及各种考试、旅行等活动的经验分享。此外,用户还可实现在线购物 [3] 。自2013年正式上线以来,小红书迅速积累了庞大用户基础,短短一年时间内用户数量便突破了1500万 [4] 。据官方最新数据,截至2023年4月,小红书APP的下载量已达到53亿,拥有超过3亿用户。其中,一二线城市人口占比达到50%,总人数达4300万,男性用户比例上升至30%,进一步丰富了用户群体结构。随着用户体量的增长和平台多元化发展,小红书APP已广泛渗透到用户生活的各个方面,包括衣食住行等。任何用户都可以通过文字、图片、视频等形式,分享自己在购物、消费等方面的经验和心得 [1] 。
当前,小红书作为一个崛起的网络应用,其运营模式、市场营销策略以及用户创造的内容愈发受到广泛关注和研究。尽管已有众多研究对其进行定性分析,但定量分析尚属少数。周宇阳 [5] 基于马斯洛的“需求层级”与“位置”理论,深入剖析小红书APP的成功及其满足的差异化需求。王旭、徐艟 [6] 以小红书跨境平台的发展历程为依据,探讨该平台在关键节点上的模式创新,在将社交媒体与跨境电商相结合基础上,采用海外直邮和保税仓两种模式,缩短用户等待时间,提升用户体验。曹增栋 [7] 等研究团队对小红书用户的粘性进行了深入研究,发现使用习惯、社会经验等因素对用户持续使用意向具有显著的积极影响,进而促进用户粘性的形成。朱浩然、周昭雄 [8] 采用系统聚类法对小红书APP进行定量分析,使我们能够评估跨境电商平台的用户体验质量,从而更深入地了解其在用户体验方面的优势与不足。
在当今的用户体验评价研究领域,问卷调查法已成为一种广泛应用的评估工具。这种方法的核心目标在于将用户在使用产品过程中的主观感受转化为可量化的数据,以便对产品的功能性和实用性进行深入洞察。通过这种手段,研究者能够更好地理解用户的需求和期望,从而对产品的使用体验进行精准的把握和提升 [9] 。全球范围内,系统可用性量表(System Usability Scale, SUS) [10] 被广泛认为是用户体验评估的经典工具,这个量表简洁而全面,能有效地衡量用户在使用产品或服务过程中的满意度和体验质量。并且已有研究表明该量表在中国具有可靠的信度和效度基础(具体检验数据见方法部分)。尽管如此,大部分现有的用户体验测评量表都是基于国外编制,且尚未在中国本土进行信效度检验,这使得这些量表在本土应用中可能存在一定的局限性。如果评估工具未能全面考虑应用领域的特点、具体情境的多样性以及语言文化的差异性等因素,那么其评估结果就可能出现适用性和完整性受损。这是因为评估工具的普适性和完整性须建立在深入理解被评估对象的基础之上 [11] 。标准通用百分等级问卷(Standardized Universal Percentile Rank Questionnaire, SUPR-Q) [12] 是一种用于评估网站可用性、可信性/信任、外观和忠诚度的量表,它已经在英语的大样本中展示了较高的信度 [13] ;用户体验的可用性量表(Usability Metric for User Experience, UMUX)被视为SUS量表的一个变式,是整合了ISO的相关标准,形成的一个用于评估感知可用性的量表 [14] ,并在英语与意大利语语境下取得了较好的信效度指标 [15] [16] 。然而,这两个量表目前尚未有基于中文语境的心理测量评估数据支持。
鉴于此,本研究旨在解决以下两个问题:首先,探讨中文版SUPR-Q量表和UMUX量表在中国文化背景下的有效性及适用性;其次,通过实际调查,了解中国大学生对小红书APP的使用体验。
2. 研究方法
2.1. 研究对象
本研究在国内多所高校采用方便取样方法,结合线上与线下方式进行了两次测试。第一次测试共有1076名大学生参与,经过筛选后,有效数据为911份,有效回收率为84.67%。其中,男性被试446名,女性被试465名,年龄分布在18~23岁之间。数据被分为两部分进行处理:第一部分包括455份问卷,分别进行了SUPR-Q和UMUX两个量表的项目分析及SUPR-Q的探索性因素分析(EFA);第二部分包括456份问卷,对SUPR-Q第一部分数据建立的模型进行了验证性因素分析(CFA),并对SUPR-Q与UMUX两个量表的相关信效度进行了检验。此外,从第二部分被试中随机选取60名被试,进行了重测信度分析,以评估量表的稳定性。本研究采用SPSS26.0软件进行项目分析、探索性因子分析以及相关信效度检验,并运用Amos24.0软件进行验证性因子分析,其中聚合效度由两个软件联合分析而得。
第二次测试使用经过验证的两个量表对小红书APP的用户体验现状进行调查,共收集到902份有效问卷,男性被试449名,女性被试453名,性别比例均衡。通过SPSS26.0对量表结果进行描述统计与多因素方差分析,并运用GPower 3.1.9.2分析效应量。同时,随机抽取了40名被试进行访谈,运用NVivo11.0生成词云图对访谈文本进行深入分析。
2.2. 研究工具
2.2.1. 标准通用百分等级问卷(Standardized Universal Percentile Rank Questionnaire, SUPR-Q)
SUPR-Q是等级量表,旨在测量网站感知的可用性、可信性/信任、外观、忠诚度四个方面,共13项,其中1~12项是5点计分(从“1 = 非常不同意”到“5 = 非常同意”),第13项关于推荐的可能性则为11点计分(从“1 = 非常不同意”到“11 = 非常同意”)。计算方式是将前12项的反应加上第13项的一半分数(推荐的可能性) [12] 。
2.2.2. 用户体验的可用性量表(Usability Metric for User Experience, UMUX)
UMUX被视为SUS量表的一个变式,是一套标准化可用性调查表,主要目标在于采用较少的题量,获得符合ISO有用性定义的可用性感知度量 [14] 。UMUX最初的题目数量有12个,步距是7,从1 (非常不同意)到7 (非常同意),最终的UMUX为4个题目的单维测试工具:1个题目测量综合体验问题,另外3个题目分别测量ISO可用性定义(满意度–第2题、有用性–第3题、高效性–第4题)。第2和第4题为反向表述题目。UMUX总分是通过将四个问题答案的得分相加后除以24,再乘以100计算得出。这样的转换使得UMUX的得分能够与SUS评分系统相同的0~100分区间对应,其中分数越高,表明用户的可用性体验越佳 [14] 。
2.2.3. 系统可用性量表(System Usability Scale, SUS)
SUS (Subjective Usability Scale)是一种广泛用于评估用户对产品可用性主观感受的工具,由John Brooke于1986年开发,并于1996年正式发表 [10] 。最初版本并未进行详细的信度和效度分析,但研究表明其项目间具有较强的相关性(0.7 < r < 0.9)。后续的心理测量研究证实了SUS具有良好的内部一致性,其α系数达到0.850 [17] 。由于SUS问卷可根据具体研究领域进行调整,因此其应用范围极为广泛,并在学术界获得了广泛的认可。2020年,Wang等人对SUS进行了中文翻译和修订,确保了所有项目表达清晰、无歧义,并验证了其可靠性和有效性 [18] 。该问卷采用Likert 5分量表,包含10个项目,评分从“非常不同意”到“非常同意”,α系数为0.840。分数越高,表明受试者认为产品的可用性越强。其中,偶数题目为反向描述题,每题的转换分值范围为0~4。正向题目的转换分值为原始分减1,而反向题目的转换分值为5减去原始分。所有题目的转换分值相加后乘以2.5,即可得到SUS的总分,分数范围为0~100 [18] 。在本研究中,我们采用的中文版SUS的α系数为0.818,作为效标问卷,用于评估SUPR-Q和UMUX两个量表的效标效度。
2.3. 翻译与回译
本研究对SUPR-Q和UMUX量表进行了翻译和回译,以确保量表内容在中文环境中的准确性和适用性。具体翻译过程如下:首先,我们邀请了两名语言学教授和一名具有英语教育背景的心理学教授共同将量表从英文翻译成中文。随后,一名心理学教授对三份翻译稿进行仔细比较和整合,以形成一份初步的中文版量表。接下来,两位英语专业的教授将两份中文量表回译成英文,以确保翻译过程中的准确性。然后,我们另邀请了一名心理学专家对原版量表和回译量表进行对比和分析,并根据比较结果对量表内容进行调整和修改。最后,我们选择了10位小红书APP用户再次填写量表填写,根据用户反馈对量表题目进行进一步修订,以形成最终的中文版SUPR-Q和UMUX量表。
3. 数据分析及结果
3.1. 中文版SUPR-Q量表和UMUX量表适用性检验
3.1.1. SUPR-Q量表研究结果与分析
1) 项目分析
对第一次测试的第一部分样本(n = 455)做相关分析,结果表明各题项与总分的相关0.01水平上达到显著,相关系数处于0.627~0.809之间。对高低分组进行独立样本t检验 [19] ,结果表明两组样本在13个题项的得分均差异显著(p < 0.001),这说明中文版SUPR-Q量表的13个题项具有较好的区分度。
2) 探索性因子分析
本研究采用KMO法及巴特莱特球形检验,结果表明,KMO = 0.948,Bart-lett球形检验结果达到显著性水平(χ2 = 3914.562, df = 78, p < 0.001),说明施测样本数据适合进行探索性因子分析(Exploratory Factor Analysis, EFA) [20] 。据此,采用直交转轴法,设置提取4个因子,解释总变异量为75.75%,但是,第4因子仅包含第4题和第8题项2个题项,结合碎石图(见图1),发现第3个因子以后曲线趋于平缓,第4个因子不适合单独列出,且第4个因子仅有2道题,难以构成维度,故对上述2个题项予以删除。再次进行探索性因子分析,KMO = 0.941,p < 0.001,共抽取3个因子,解释总变异量的73.61%,最终形成了11个题项、3个因子维度的正式量表。根据题项所表达的内容,结合上述理论分析,我们将从可用性、可信性和满意度三个因子维度对网站进行评估(见表1):可用性指的是网站提供的功能是否满足用户的需求;满意度则是指网站是否能够给予用户良好的视觉和功能体验,从而使用户愿意再次访问该网站;可信性涉及网站的稳定性以及用户对其的信赖程度。
Table 1. Results of EFA of SUPR-Q
表1. SUPR-Q量表探索性因子分析结果
Figure 1. EFA screen plot of SUPR-Q
图1. SUPR-Q量表探索性因素分析碎石图
3) 验证性因子分析
依据探索性因子分析结果,我们对第一次测试的第二部分样本数据(n = 456)进行验证性因子分析(Confirmatory Factor Analysis, CFA),检验三个因子的拟合程度(见表2)。结果显示,χ2/df为3.979,介于3和5之间,虽然略大于3,但由于样本量较大,仍然符合拟合指数的基本要求;RMSEA为0.080,满足拟合指数的要求;GFI、NFI、CFI、IFI、TFI分别为0.939、0.940、0.960、0.961、0.947,均大于0.8,表现理想,表明模型拟合效果良好。
Table 2. The main fitness index of SUPR-Q
表2. SUPR-Q量表主要拟合指数
4) 信度分析
依据所建立的三因子维度模型,本研究依托第二部分样本数据(n = 456)进行信度检验,各因子与总量表的内部一致性系数(α)均高于0.800,三个维度的组合信度分别为0.856、0.862和0.841,总量表组合信度为0.945 (见表3)。总量表的重测信度为0.757。
Table 3. The reliability analysis of SUPR-Q
表3. SUPR-Q量表信度分析
5) 效度分析
① 聚合效度
由表4可知,每个潜变量对应的题目因子负荷都大于0.700,这表明它们在所属潜变量方面具有极高的代表性。此外,每个潜变量的平均方差变异(AVE)值都大于0.500,而且组合信度(CR)值均大于0.800,这表明聚合效度非常理想 [21] 。
Table 4. Factor loading of SUPR-Q
表4. SUPR-Q量表因子负荷数表
② 结构效度
表5显示,三个因子维度与总量表之间存在显著的正相关,说明它们共同衡量了一个特定的特质。同时,三个维度之间的相关性减低,表明每个维度又具有独立的测量作用 [19] 。因此,中文版SUPR-Q量表显现良好的结构效度。
Table 5. The correlation between each factor and the total score of SUPR-Q
表5. SUPR-Q量表各因子与总分之间的相关性
注:***代表p < 0.001,**代表p < 0.01,*代表p < 0.05。
③ 效标效度
本研究选用SUS量表作为效标,测得SUPR-Q量表各因子维度和总量表的得分与该效标的得分呈现显著的正相关(r可用性 = 0.869, r满意度 = 0.857, r可信性 = 0.836, r总 = 0.841),说明该量表效标效度良好。
3.1.2. UMUX量表研究结果与分析
1) 项目分析
研究过程同SUPR-Q量表,结果表明各题项与总分的相关0.01水平上达到显著,相关系数于0.627~0.809之间。对高分组与低分组样本在4个题项的得分进行独立样本t检验,结果表明两组样本在4个题项的得分均差异显著(p < 0.001),这说明中文版UMUX量表所有题项具有较好的区分度。
2) 信度分析
UMUX量表的内部一致性系数(α)高于0.700,总量表的重测信度为0.762。本量表仅一个维度,由4道题组成。根据杨强等人单维测验合成信度的方法,计算出量表的合成信度为0.912 [22] (见表6)。
Table 6. The reliability analysis of UMUX
表6. UMUX量表信度分析
3) 效度分析
同样选择SUS量表作为效标,测得UMUX量表得分与该效标的相关系数为0.798,p < 0.001,表明效标效度良好。
3.2. SUPR-Q量表和UMUX量表用户体验现状调查
3.2.1. 描述性统计结果
表7显示,SUPR-Q量表的可用性、满意度、可信性三因子的均值都接近4,UMUX量表4个题项的均值在4.454~5.381之间,表明用户对小红书APP的使用体验较为理想。
Table 7. Descriptive analysis of two scales
表7. 两个量表的描述性分析
3.2.2. 差异分析
1) SUPR-Q量表
在SUPR-Q量表可用性上,性别的差异显著(F(1,910) = 15.982, p < 0.001, hR2 = 0.018),男生对小红书APP的可用性评价显著高于女生;使用频率对可用性评价也有显著影响(F(3,910) = 25.124, p < 0.001, hR2 = 0.009),频繁使用小红书APP的用户对其可用性有更高的评价。
性别、使用时间与使用频率在SUPR-Q量表的满意度(F(9,902) = 2.888, p = 0.002, hR2 = 0.029)、可信性(F(9,902) = 2.118, p = 0.026, hR2 = 0.021)和量表总分(F(9,902) = 2.569, p = 0.006, hR2 = 0.026)上交互作用显著。具体表现为:在不同使用时间段上两性均表现出使用频率越高,满意度、可信性和量表总分越高的特点;在中等使用频率的女生中,使用时长与满意度、可信度以及量表总分呈现正相关趋势,而高频使用的男生表现出使用时长与量表总分之间的正比例关系;在使用时间中等时长以上的各使用频率段,男生的满意度、可信度和量表总分均高于女生,但使用时间短、使用频率低的男生的总分则低于女生。
2) UMUX量表
调查结果发现,长时间和频繁使用小红书APP的用户在UMUX量表的高效性(F使用时间(3,902) = 3.466,p = 0.016,hR2 = 0.012;F使用频率(3,902) = 5.420,p = 0.001,hR2 = 0.018)和满意度(F使用时间(3,902) = 3.217,p = 0.022,hR2 = 0.011;F使用频率(3,902) = 5.724,p = 0.001,hR2 = 0.001)上拥有更高的直接好评,并且高频使用者的综合体验也较好(F使用频率(3,902) = 26.688,p < 0.001,hR2 = 0.082)。
使用时间与使用频率在UMUX量表总分上存在交互作用(F(9,902) = 1.932,p = 0.044,hR2 = 0.019),呈现出使用时间长、使用频率高的用户有更高的用户体验。
在综合体验上,男生显著高于女生(F(1,902) = 24.643,p < 0.001,hR2 = 0.027)。在APP的有用性方面,显示出性别与使用时间和使用频率交互作用后的性别差异效应(F(9,902) = 2.120,p = 0.026,hR2 = 0.021),使用时间超过一年的男生,其APP使用频率越高,对小红书APP的有用性体验越积极,而使用时间不足一年的女生也呈现出类似的趋势;对于中低使用频率的男生,随着使用时间的增长,他们对小红书APP的体验评价会变得更加积极。
3.3. 用户体验访谈结果分析
在对小红书APP用户访谈文本进行词频统计和词云图生成后,我们可以直观地发现,位于词云图中心且字体较大的词汇表示在访谈中被提及的频率较高、重要性较强。根据词云图结果(参见图2),我们可以看出“容易”、“推荐”、“功能”、“有用”、“满意”、“简单”、“愉快”等为频繁出现的词汇。
Figure 2. The user experience interview word cloud map of little red book app
图2. 小红书APP用户体验访谈词云图
4. 讨论
4.1. 关于中文版SUPR-Q量表和UMUX量表的修订与检验
本研究对中文版SUPR-Q量表进行了结构与内容、信度与效度的检验,结果表明该量表具有理想的信度、效度和合理的结构。我们对包含13个题项的量表进行了探索性因子分析,得到4个因子,但第4因子仅包含第4题和第8题2个题项。题项4指的是“在小红书APP上购物我感到很舒适”、而题项8是“使用小红书APP进行交易我很有信心”都与购物体验紧密相关,但鉴于小红书APP用户主要使用场景是信息搜索和社交互动,而非实际购买与交易,因此在本研究中这两个题项不太适用。在删除这2个题项后,我们再次做探索性因子分析,累积解释总变异的73.61%,最终形成了11个题项,3个维度(可用性、满意度和可信性)的正式量表,且各因子所对应的题目在意义上具有较高的一致性,并未存在明显的命名障碍。为了进一步验证中文版SUPR-Q量表的三因子结构模型,我们采用结构方程模型方法进行了验证性因子分析。分析结果表明:模型拟合的各项指标均达到了理想标准,证实了量表结构模型的有效性。
我们对中文版UMUX量表进行了项目分析和信度分析,并将其与SUS量表进行了效标效度检验。结果显示,UMUX量表与SUS量表之间存在较高的一致性,整体指标符合心理测量学的要求。
4.2. 两个量表的用户体验评价
总体上看,SUPR-Q量表中,可用性、满意度、可信性三个因子的均值都大于中间值3,接近4;UMUX量表中,各题项和总分均值大于中间值3,处于4.454~5.381之间,各变量的标准偏差较小,数据离散程度较小,表明小红书APP的用户对该平台的整体体验和满意度较高。
使用时间长、使用频率高的用户对小红书APP的用户体验评价较高。原因可以从两个方面来解释:首先,长时间使用和频繁的登录使得这些用户对APP的功能和操作方法有了深入的了解和熟练的掌握。因此,他们能更充分而高效地利用应用提供的功能和优势,这直接提升了他们的满意度和体验质量。其次,这些老用户已经与小红书APP建立了一种习惯性的联系和情感上的纽带,这促使他们更愿意投入时间和精力在平台上进行互动和内容的探索。这种习惯和联结形成了一个良性循环,进一步增强了他们对APP的理解和使用愉悦感。
在使用时间和频率对体验值提升的影响上,男女之间呈现出差异性:男生在使用时间较长、频率较高的情况下,普遍对小红书APP的评价较为积极;特别是那些使用频率中低等的男生,随着使用时间的增加,他们对该APP的正面评价倾向更为明显。而女性用户的评价则更为多元,整体评价不如男生,但在使用频率较低或时间不长的情境下,她们也可能给出正面的评价。这显现出不同性别用户在认知和情绪加工模式上存在显著差异 [23] 。男性用户倾向于理性模式,“日渐生情”,他们需要一段时间去逐渐体验和了解,随着使用时间的增长和频率的提高,他们可能会感受到越来越好的使用体验。相反,女性用户则倾向于感性模式,“一见钟情”,她们更容易迅速产生强烈的兴趣,但随着时间的推移和深入的使用,她们可能会有更挑剔的高要求,这会降低她们的体验值。这些认知和情感加工的差异可能会导致在平台使用目的和使用习惯上存在显著不同。访谈结果显示,女性用户期望在小红书APP中获取到专业且有品味的美学体验;在浏览和阅读小红书的资讯内容时,她们更加注重视觉设计和内容质量;她们更倾向于获取来自权威、专业且高质量来源的产品评测和使用心得。此外,女性用户对小红书APP的社交功能有更高的期待。而小红书的内容实用性对于男性用户更为重要。他们更倾向于查看关于电子产品、户外运动、健身和美食等领域的推荐和资讯。同时,小红书APP在用户界面和使用体验上注重简约和实用性,这符合更多男性用户的审美和喜好。目前,使用小红书APP的男女比例为3:7左右 [24] ,因此,小红书APP应深入探索并针对女性用户的独特需求和偏好进行产品设计和运营策略的优化。
4.3. 用户体验访谈评价
用户访谈文本词云图结果显示“容易”、“推荐”、“功能”、“有用”、“满意”、“简单”、“愉快”等为高频率词汇,揭示了访谈中的核心议题,同时也反映出用户对小红书APP的整体态度:认为其易于学习和使用、值得推荐、功能丰富、使用体验轻松愉快且满意度较高。
5. 结论
1) 经过修订的中文版SUPQ-Q量表和UMUX量表符合测量学标准,具有合理的结构,并已证明在中国具有文化适用性,适用于用户体验相关内容的测试。
2) 中国大学生群体对小红书APP的使用体验整体呈积极态势,特别是那些长期且频繁登录小红书的用户。这一趋势中存在性别差异:男生在使用时间长、频率高时,评价更偏正面,且中低使用频率的男生,使用时间增长将提升其积极评价。女生整体评价低于男生,但在使用频率低或时间短的情况下,也可能给出好评价。
6. 总结与建议
小红书APP需要更加精准地定位女性用户的需求,提高其用户体验感和忠诚度。建议策略包括:1) 强化内容监管:小红书APP应加大对低质量及低价值内容的审查力度,确保女性用户的信息安全和权益得到保护。同时,重视隐私保护措施,增强女性用户对APP的信任度。2) 丰富品类与优化搜索功能:APP应拓展女性用户关注的产品类别,如化妆品、健康、美容、时尚等,并优化搜索引擎,使用户更便捷地获取感兴趣的内容。3) 精准个性化推荐:利用AI技术和数据分析,小红书APP可针对女性用户喜好进行精准内容推荐,提高用户活跃度和粘性。4) 增加社交互动功能:考虑到女性用户对社交的重视,APP应增设如即时通讯、关注好友、内容分享等社交功能,以提升用户体验和互动性。5) 提升品牌信誉:通过与高端品牌合作及实施严格的验证机制,小红书APP可以提高平台推荐的商品或服务的可信度,从而增强女性用户的购买意愿。
基金项目
国家自然科学基金重点项目(Grant No. 61936010);重庆文理学院横向项目(No. WLHX-2020-0033)。
NOTES
*通讯作者。