讲座概况

3月20日晚19时，由三位来自上海财经大学信息管理与工程学院AILab的博士生郭必扬、王子源、江敏祺主讲的《ChatGPT文本特征及其与人类的对比性研究：ChatGPT有多接近人类？对比、评测、识别》主题讲座在武东路T6如期举行。

讲座PART1

讲座伊始，郭必扬同学介绍了有关ChatGPT的背景。ChatGPT是由OpenAI公司于2022年11月30日发布的一款AI聊天程序。其一经发布便轰动全球，引发人们好奇的同时又不免勾起大家的担忧。

接着，他简要概括了其所在团队的研究内容——收集分析大量人类及ChatGPT问答数据并开源了Human ChatGPT Comparison Corpus（HC3）语料集。该语料集涵盖多个与人类生活息息相关的领域，兼顾中英文，可用于大型语言模型的研究。

同时，他们还基于此进行大量人工测评与语言学分析，总结了许多有趣的结论。这些结论有助于人们思考未来大型语言模型将走向何方。其团队还开发了多种ChatGPT内容检测器以应对不同的使用场景，这些检测器可用于UGC平台的监管，提升内容的可靠性、安全性。

讲座PART2

紧接着，三位博士生同学从四个部分细致介绍了他们所做的研究成果。

语料收集

郭必扬同学首先向大家讲解了第一部分——人类与ChatGPT问答对比语料集的收集工作。其团队通过Q-A公开数据集（如专业咨询平台、UGC平台上的高赞回答等）爬取Wiki页面简介以获取人类专家回答，同时收集面对相同问题时ChatGPT所做出的回答。

人工测评

随后，王子源同学通过腾讯会议远程连线讲座，向大家介绍了研究的第二部分——人工测评。该项目通过图灵测试的方法，让专家与不熟悉ChatGPT的普通人通过多种测试判断不同的回答是来自人类还是ChatGPT。测试发现，在对ChatGPT的识别上，专家具有较高的准确性，而普通人在单项识别时不能做出准确的判断。除此之外，此次人工测评还进行了针对ChatGPT的有用性测试，即在未知情况下比较人类回答与ChatGPT回答的有用性。结果发现，在除医疗领域之外的情况下，ChatGPT被选择的比例大于50%，被认为更加有用。

比对分析

王子源同学接着向大家介绍了ChatGPT的文本特征与其在语言学方面与人类的对比部分。通过对大量数据的分析，团队发现：

ChatGPT文本特点：

（1）写作更有组织有条理，逻辑清晰。

（2）倾向于给出一个很长很详细的答案。

（3）回答中较少的偏见和有害信息。

（4）拒绝回答超出知识范围的问题。

（5）可能会捏造事实。

ChatGPT与人类的回答差异则在于：

（1）ChatGPT严格遵循问题本身，人类会发散扩展到问题之外。

（2）ChatGPT提供客观答案，而人类更加主观。

（3）ChatGPT语言相比人类更加正式。

（4）ChatGPT回答中很少掺杂情感，而人类有更明显的感受表达。

从语言学的角度，ChatGPT回答与人类回答相比具有如下特征：

（1）ChatGPT说的话更长，但词汇量更小。

（2）ChatGPT使用更多名词、动词、介词、连词，更少使用副词、代词和标点。

（3）ChatGPT相对有更长的依存距离，句子结构更加复杂。

（4）ChatGPT的PPL指标大多很低，符合模型特征。

内容检测

江敏祺同学在讲座最后向大家讲解了研究中对ChatGPT的内容检测部分。由于ChatGPT生成的内容开始充斥各种平台，对信息的可靠性、可信度造成威胁，因此人们有必要知道一个内容是否是AI生成的。为此，其团队通过分别训练、交叉测试的方法研制出了几套检测模型用于检测某段内容是否是由ChatGPT生成，大部分模型都有较高的准确性，但在语言较规范的领域（如维基百科）检测性能较低。

讲座PART3

三位博士生同学积极与听众同学们互动，热心地回答同学提出的问题，同时在现场向大家展示了团队构建的检测模型。

在本场讲座中，三位博士生通俗易懂地解释了他们在ChatGPT领域所做出的研究成果，用幽默风趣的语言与热情洋溢的互动进一步加深了同学们对于ChatGPT的了解。

讲座结束后，许多同学发表了自己对于本次讲座的感想，其中来自22级的火喆说道：

“通过本次讲座，我了解到了ChatGPT的文本特征。ChatGPT并不是我们的“敌人”，只要我们将其用在正道上，它将会成为我们得力的工具和助手。三位学长的讲述生动有趣、干货满满，激发了我们的学习热情，也在我们今后的学习道路上树立了榜样。”