1. 引言
ChatGPT于2022年11月发布，是OpenAI开发的一个强大的大型语言模型。该模型使用转化器架构进行训练，利用无监督学习来生成不同领域的类人文本。在教育领域，ChatGPT的横空出世也带来了深远的影响。ChatGPT具有类似人类的文本处理能力，广泛的训练后，该模型有能力对各种提示产生连贯的、符合语境的反应，包括问题、提示和文本补充。ChatGPT不仅能够生成文本，还可以理解自然语言查询并提供答案和摘要，甚至可以在不同语言之间进行文本交流 [1] 。
有人认为ChatGPT为提高高等教育中的语言学习提供了很好的机会。例如，ChatGPT生成真实对话的能力可以为学习者提供真实的语言使用范例。该模型可以生成写作提示，对书面工作提供反馈，从而可以提高学习者的写作技能 [2] ；ChatGPT是写作的力量增倍器，希望自己的学生能够利用技术写得更多、更好 [3] 。但是其强大功能让人们既欣于享受科技带来的便利，同时也忧心于其带来的威胁和隐患。由于ChatGPT是一个无监督的学习模型，学者利用ChatGPT上传研究数据以获得答案的同时，也要承担ChatGPT数据储存不当造成的隐私泄露的风险 [4] 。Chomsky认为，ChatGPT本质上是高科技剽窃，是一种更难发现的剽窃行为，可能会给高校和教师带来麻烦。Johann Neem指出，就像用机器帮助自己举哑铃，并不意味着自己的肌肉会发达一样，用机器写论文也不意味着自己的思维会发展 [3] 。
当前，ChatGPT辅助人们写作的运用逐渐增多，但是关于对比ChatGPT文本与二语习作文本方面的研究还相对缺乏。在外语写作中，ChatGPT的写作相较于人工习作质量是否一定会更高？如果ChatGPT表现更为出色，我们需要确定它在哪些方面可能超过了人工习作，又在哪些方面仍存在不足。因此，对这个课题进行深入研究具有重要意义。
衡量二语写作质量的指标有很多，二语习得研究一直将准确度、复杂度(包括词汇复杂度和语法复杂度)、流利度等作为反映学习者口语表达或书面语表达效果的指标 [5] ，研究者通常通过相应指标来研究二语学习者学习能力的发展。其中比较重要的一项衡量二语写作质量的指标则是文本复杂度，即，语法复杂度和词汇复杂度。在本研究中，我们借鉴词汇复杂度和语法复杂度这两个维度，拟回答以下两个问题：
1) ChatGPT与人工二语写作在文本复杂度上有何差异？
2) ChatGPT对二语写作学习者有何影响和启示？
2. 研究设计
2.1. 研究背景
本研究在我国东部某高校一年级研究生的《高级商务英语写作》课程中进行。《商务英语写作研究与实践》是一门理论研究和实践写作相结合的课程主要关注商务领域内使用英语语言沟通的问题，课程一周2课时，一学期16课时。教师在课堂讲授过程中主要讲授各种英语题材的写作策略，辅之以范例学习以及技术支持的合作学习理念。同时也强调过程性写作，同伴互评与教师评价相结合的机制。参与者为25位应用语言学专业的一年级研究生，他们都通过了专业英语四级考试和该校的研究生入学考试，是较高英语水平的学习者。课程教师是有20年丰富教学经验的资深教师，擅于启发式写作教学。
2.2. 语料收集
在本学期的写作课程中，教师在课外布置了四次英语写作任务。本研究作为一个初步研究只采用了其中一次写作任务的数据。本次写作任务为一封英文求职信，该任务给出了明确的写作要求，例如，假设了学生的姓名、求职公司及职位，列举了求职责的经历和个人特征等，学生有一周时间去完成任务，且未规定文章字数，最终收集学生习作25篇。同时，按照相同的指令输入ChatGPT，由ChatGPT生成习作。针对相同指令，ChatGPT可以在不同时间段生成不同文本，为了便于进行数据统计和对比，我们输入10次指令，得出10篇文本。因此本文的文本复杂度分析是基于25篇学生习作和10篇ChatGPT所生成文本的。
2.3. 数据分析
在本研究中，我们使用文本分析工具Coh-Metrix来对比ChatGPT和二语学习者的商务作文文本进行分析。文本复杂度(text complexity)具体是指文本在语言特征上呈现出来的复杂程度 [6] ，本研究使用Coh-Metrix对其进行测量分析。Coh-Metrix是由美国孟菲斯大学的McNamara等人研发的一种基于网络的文本分析，其对文本分析生成的结果有十二个板块，这些板块共有106个指标提供给研究者做文本的分析。研究者不仅可以利用这些指标从不同维度的指标对文本进行深入的分析来对文本的复杂度做出判断，也可以用来对比不同文本的复杂度，本研究主要针对词法、句法复杂度进行对比分析。词法复杂度主要是从单词平均音节数、单词平均字母数、实义词类型–符号比、单词类型–符号比、实义词词频、平均词频6个指标来体现；句法复杂度主要从平均句子长度、文本词汇量、相邻句子句法相似度、段落所有句子句法相似度、阅读容易度5个指标来体现。我们将Coh-Metrix得出的指标数据通过数据分析软件SPSS进行独立样本检验，进一步分析探究。
同时，本研究还对学生习作文本和ChatGPT文本进一步进行定性分析，深入探究两者差异。
3. 研究结果
3.1. ChatGPT文本和学生习作在词法上的对比
1) 词法复杂度对比
将从课程管理平台收集到的学生习作输入Coh-Metrix中得出各项指标数据，随后挑选出反映词法复杂度的相应指标，并输入数据分析软件SPSS进行独立样本检验，得出统计结果。学生习作和ChatGPT文本的词汇复杂度的描述性统计量见(表1)，词汇复杂度独立样本t检验结果见(表2)。
根据表1和表2，学生习作与ChatGPT文本的所有词汇类符–形符比(t = 2.83, P < 0.05)、实义词类符–形符比(t = 2.83, P < 0.05)有显著差异，且学生习作的词汇类符–形符比相比ChatGPT文本的更高(平均值差值分别为0.029和0.036)，说明学生习作文本词汇密度更高，词汇使用相较而言更为丰富；学生习作与ChatGPT文本的平均词频、实义词词频、单词平均音节数量及单词平均字数都没有表现出显著差异(P > 0.05)，这可能说明，在特定商务命题下，两者的词汇难度差异不大。
Table 1. Descriptive statistics of lexical complexity
表1. 词汇复杂度的描述性统计
Table 2. Lexical complexity independent sample t test results
表2. 词汇复杂度独立样本t检验结果
2) 针对词法的定性分析
除了针对词法复杂度各项指标进行定量分析，我们也对学生习作和ChatGPT文本分别进行了定性分析。分析发现，尽管作文提交为电子版，且部分文档软件有自动矫正拼写功能，仍有部分学生不可避免地会产生拼写错误。一些可能是打字导致的手误，例如，“promote”写成了“pormote”，“senior”写成了“senoir”；而还有一些则是对单词拼写的遗忘或者不熟悉导致的错误，例如，“advertisement”写成了“advitisement”，“continue”写成了“contienue”。
此外，学生文本中还出现了一些词性选择错误，例如，“…are what I always pursuit”中“pursuit”应改为使用它的动词词性“pursue”，这个可能源于学生对该词汇的词性了解不够透彻，因而在实际使用中选错了正确的词形。然而，ChatGPT文本中并没有出现这样的基本错误。
由研究结果可知，学生习作在词汇多样性上面不输给ChatGPT，这可能和他们是英语专业硕士研究生作为较高水平的英语学习者有关系；然而在基本的拼写和词性选择上，人工却更容易犯错。因此，同学们完成写作后应当仔细检查，避免手误导致的拼写错误，也可以借助拼写检查工具和语法纠错工具来帮助自己检查错误。同时也应当加强对词汇拼写的记忆，通过阅读和实践运用加强对词汇各词性的深入理解，进而提高对词汇的运用水平。
3.2. ChatGPT文本和学生习作在句法上的对比
1) 句法复杂度对比
参照词法复杂度操作，我们挑选出反映句法复杂度的相应指标，并输入数据分析软件SPSS进行独立样本检验，得出统计结果。学生习作和ChatGPT文本的句法复杂度具体的描述性统计量见(表3)，句法复杂度独立样本t检验结果见(表4)。
根据表3和表4，学生习作与ChatGPT文本的句法复杂度的多项指标都体现出明显差异。首先，学生习作与ChatGPT文本词汇量有显著差异，前者词的数量明显少于后者(t = −3.29, p < 0.05, MD = −41.22)，可见在得到相同指令的前提下，学生习作的文本相较更短些；其次，平均句子长度有显著差异，学生习作的平均句子长度相比ChatGPT文本的更短(t = −2.17, P ≤ 0.05, MD = −1.73)，说明学生在写作时倾向于使用相对简短的句子；此外，学生习作与ChatGPT文本的相邻句子和段落所有句子的句法相似度也有显著差异，且学生的相邻句子句法相似度(t = 2.68, P < 0.05)及段落所有句子的句法相似度(t = 2.68, P < 0.05)相比于ChatGPT文本的都更高(平均值分别为0.043和0.02)，可见学生习作句法结构相对较单一，缺乏多样性。学生习作与ChatGPT文本的阅读容易度没有表现出明显差异。
Table 3. Descriptive statistics of syntactic complexity
表3. 句法复杂度的描述性统计
Table 4. Syntactic complexity independent sample T-test results
表4. 句法复杂度独立样本t检验结果
2) 针对句法的定性分析
在对ChatGPT和学生文本的句法分析中，我们也发现很多ChatGPT生成的文本几乎都可以避免，而学生习作中的常见错误：
a) 搭配错误
经过分析，25份学生习作文本中有19份都产生了搭配错误、词组搭配错误，例，“I am satisfied about my job...”中的“about”应改为“with”用到词组“be satisfied with”，可见同学对词组搭配上可能容易搞混，导致语法错误；中式英文错误，例1，“...and there are many places worth learning from.”这句话直译成中文是“值得学习的地方”，但是把“地方”这样的范畴词直接翻译成相对应的英文，会让英文句子显得生硬，不够纯正，可以改成“...and there is a lot to learn from it”。
b) 逻辑错误
逻辑错误主要体现在衔接问题上，部分学生的文本段落太长，该分段的地方未分段，增加文章阅读难度；也有的文本中句子的连接较生硬，缺少连接词或者短语，例，“For the past year and a half, I’ve worked as...I am also serving...”前后两句话改变了动词时态，中间却无任何衔接词，可以插入一个时间衔接词“Currently”，使文章前后逻辑更流畅。
c) 文体错误
例1，“I have to ensure that the quality of...”中的“I have to”用在这里并无语法错误，然而却带有一些负面的主观色彩，并不适合用在求职信中描述自己的职责，可以改为“My task is to ensure that the quality of...”，这样客观的描述会更符合该商务命题的写作。
例2，“I will attach some articles I wrote for your reference.”这句话本身语法也没有问题，然而用在商务求职信里便显得语言不够得体，可以用宾语前置的方法让句子更正式得体，可修改为“Some of the articles I wrote are attached for your reference.”。
相比较而言，ChatGPT文本基本没有以上句法错误，且格式规范，语法丰富多样，条理清晰有逻辑。不仅如此，它还能根据给定的信息在文本中补充具体的细节，让文本更加丰富完整，例如，“In addition to my technical skills, I am a highly organized and detail-oriented individual, with excellent time management and communication skills.”，我们在指令中并没有给到该文本中出现的对个人品质的描述，这是ChatGPT根据指令自行补充的，从而让求职者的形象更为立体。
对句法复杂度的定量分析结果显示，学生习作文本相较于ChatGPT文本中句子长度更短，句式结构更为单一；进一步定性分析发现，学生在句法方面还出现了搭配错误、逻辑错误和文体错误等，而ChatGPT不仅可以避免以上错误，还能够根据指令，添加细节，充实文本。
针对以上不足，首先，学生应当训练自己写长句以及句式变换运用的能力。学习者和教学者可以借鉴由王初明提出的写长法 [7] 。写长法主张以写促学，该方法重视写作任务的设计，在考虑学生的语言水平的同时，将输出(写)与一定的输入相结合，以促使学生为完善写作增加输入量，帮助学生借助写长作文意识到自身的知识缺口，进而引导学生在轻松愉悦的氛围中提升写作以及相关语言技能。在写作过程中，学习者可以尝试使用并练习各种句式，如并列句、复合句和复杂句等，以提高句子多样化运用的能力。
其次，学生应当在平时的学习中积累常用词组的搭配，以避免基本的搭配错误。学习者可以通过二语文章的阅读来掌握常用词组和短语的正确搭配方式。此外，学生还可以利用在线资源、字典和相关的学习资料来学习和强化搭配的知识。通过不断地积累和应用，学生可以避免常见的搭配错误，提高写作的准确性和专业性。
再者，在文章构思的过程中应当注意是否符合逻辑，用句是否符合题材的文体要求。学生应该学习使用不同的连接词和过渡词，通过合理的段落划分和适当的过渡方式来保证文章的逻辑性和连贯性。此外，不同文体对语言的要求是不同的，如叙事文要求文字流畅、生动，说明文要求条理清晰、准确，议论文则要求观点明确、有说服力。因此，在构思文章时要考虑到所写作文体的特点，并用相应的句式和词汇来表达。
4. 总结
本研究从词法、句法两个方面对ChatGPT习作和学生习作的文本复杂度进行了对比分析。在词法方面分析结果得出，在特定商务命题下，学生群体在词汇多样性上面不输给ChatGPT，这可能和他们是英语专业硕士研究生作为较高水平的英语学习者有关系；然而在基本的拼写和词性选择上，人工却相对更容易犯错。对句法复杂度的定量分析结果显示，学生习作文本相较于ChatGPT文本中句子长度更短，句式结构更为单一；进一步定性分析发现，学生在句法方面还出现了搭配错误、逻辑错误和文体错误等，而ChatGPT不仅可以避免以上错误，还能够根据指令，添加细节，充实文本。
不过，本研究尚存在一些不足之处，今后将作进一步研究。首先，受到商务题材严肃性的限制，一些在思辨性作文中可能存在的问题并未暴露，例如隐喻，个人经验，文化俗语等，ChatGPT可能无法理解，而却人工能够处理；另外，本研究作为一个初步研究并未让二语写作学习者深入接触并使用ChatGPT。研究者们可进一步探究ChatGPT在帮助二语学习者写作能力提升方面的潜力。
本研究致力于更加深入地理解二语学习者在语言学习过程中存在的问题和困难，以及为进一步研究如何结合人工智能通过规范化的语言练习和教学促进二语学习者的语法和句式习得提供参考意义。