“未来已来,智领时代”ChatGPT系列活动 | 上海财经大学学术讲座回顾:ChatGPT文本特征及其与人类的对比性研究
讲座概况
3月20日晚19时,由三位来自上海财经大学信息管理与工程学院AILab的博士生郭必扬、王子源、江敏祺主讲的《ChatGPT文本特征及其与人类的对比性研究:ChatGPT有多接近人类?对比、评测、识别》主题讲座在武东路T6如期举行。
讲座PART1
讲座伊始,郭必扬同学介绍了有关ChatGPT的背景。ChatGPT是由OpenAI公司于2022年11月30日发布的一款AI聊天程序。其一经发布便轰动全球,引发人们好奇的同时又不免勾起大家的担忧。
接着,他简要概括了其所在团队的研究内容——收集分析大量人类及ChatGPT问答数据并开源了Human ChatGPT Comparison Corpus(HC3)语料集。该语料集涵盖多个与人类生活息息相关的领域,兼顾中英文,可用于大型语言模型的研究。
同时,他们还基于此进行大量人工测评与语言学分析,总结了许多有趣的结论。这些结论有助于人们思考未来大型语言模型将走向何方。其团队还开发了多种ChatGPT内容检测器以应对不同的使用场景,这些检测器可用于UGC平台的监管,提升内容的可靠性、安全性。
讲座PART2
紧接着,三位博士生同学从四个部分细致介绍了他们所做的研究成果。
语料收集
郭必扬同学首先向大家讲解了第一部分——人类与ChatGPT问答对比语料集的收集工作。其团队通过Q-A公开数据集(如专业咨询平台、UGC平台上的高赞回答等)爬取Wiki页面简介以获取人类专家回答,同时收集面对相同问题时ChatGPT所做出的回答。
人工测评
随后,王子源同学通过腾讯会议远程连线讲座,向大家介绍了研究的第二部分——人工测评。该项目通过图灵测试的方法,让专家与不熟悉ChatGPT的普通人通过多种测试判断不同的回答是来自人类还是ChatGPT。测试发现,在对ChatGPT的识别上,专家具有较高的准确性,而普通人在单项识别时不能做出准确的判断。除此之外,此次人工测评还进行了针对ChatGPT的有用性测试,即在未知情况下比较人类回答与ChatGPT回答的有用性。结果发现,在除医疗领域之外的情况下,ChatGPT被选择的比例大于50%,被认为更加有用。
比对分析
王子源同学接着向大家介绍了ChatGPT的文本特征与其在语言学方面与人类的对比部分。通过对大量数据的分析,团队发现:
ChatGPT文本特点:
(1)写作更有组织有条理,逻辑清晰。
(2)倾向于给出一个很长很详细的答案。
(3)回答中较少的偏见和有害信息。
(4)拒绝回答超出知识范围的问题。
(5)可能会捏造事实。
ChatGPT与人类的回答差异则在于:
(1)ChatGPT严格遵循问题本身,人类会发散扩展到问题之外。
(2)ChatGPT提供客观答案,而人类更加主观。
(3)ChatGPT语言相比人类更加正式。
(4)ChatGPT回答中很少掺杂情感,而人类有更明显的感受表达。
从语言学的角度,ChatGPT回答与人类回答相比具有如下特征:
(1)ChatGPT说的话更长,但词汇量更小。
(2)ChatGPT使用更多名词、动词、介词、连词,更少使用副词、代词和标点。
(3)ChatGPT相对有更长的依存距离,句子结构更加复杂。
(4)ChatGPT的PPL指标大多很低,符合模型特征。
内容检测
江敏祺同学在讲座最后向大家讲解了研究中对ChatGPT的内容检测部分。由于ChatGPT生成的内容开始充斥各种平台,对信息的可靠性、可信度造成威胁,因此人们有必要知道一个内容是否是AI生成的。为此,其团队通过分别训练、交叉测试的方法研制出了几套检测模型用于检测某段内容是否是由ChatGPT生成,大部分模型都有较高的准确性,但在语言较规范的领域(如维基百科)检测性能较低。
讲座PART3
三位博士生同学积极与听众同学们互动,热心地回答同学提出的问题,同时在现场向大家展示了团队构建的检测模型。
在本场讲座中,三位博士生通俗易懂地解释了他们在ChatGPT领域所做出的研究成果,用幽默风趣的语言与热情洋溢的互动进一步加深了同学们对于ChatGPT的了解。
讲座结束后,许多同学发表了自己对于本次讲座的感想,其中来自22级的火喆说道:
“通过本次讲座,我了解到了ChatGPT的文本特征。ChatGPT并不是我们的“敌人”,只要我们将其用在正道上,它将会成为我们得力的工具和助手。三位学长的讲述生动有趣、干货满满,激发了我们的学习热情,也在我们今后的学习道路上树立了榜样。”
(本文转载自上海财经大学 ,如有侵权请电话联系13810995524)
* 文章为作者独立观点,不代表MBAChina立场。采编部邮箱:news@mbachina.com,欢迎交流与合作。
热门推荐
备考交流
最新动态
- 信息管理与工程学院 | 上海财经大学2024年MEM项目(非全日制)调剂通知 2024-03-30
- 24招生 | 上海财经大学2024年工程管理硕士(MEM)(非全日制)招生简章 2023-10-23
- 上海财经大学讲座回顾|人工智能技术在经管领域的应用 2023-04-17
活动日历
- 01月
- 02月
- 03月
- 04月
- 05月
- 06月
- 07月
- 08月
- 09月
- 10月
- 11月
- 12月
- 05/04 报名 | “中国经济变局下的企业风险管理”复旦大学李若山教授公开课暨联合宣讲会
- 05/08 集赞赢取精美礼品 | 面试诀窍、备考经历、海外交换,报名5月8日面试圆桌派,用10个问题揭秘三位高分学长的备考秘籍!
- 05/12 招生工作|浙工大校园开放日暨MBA、MEM项目宣讲会通知
- 05/12 「复旦大学 EMBA 项目」与「复旦-台大 EMBA 项目」介绍会 | 活动预告
- 05/17 限时抢位!长江商学院MBA项目5月北京体验课
- 05/18 5月18日 | 全国首场中国商学院招生巡展暨2025招生政策发布会(北京站)重磅来袭!
- 05/18 5月18日 | 北京体育大学邀您参加中国商学院招生巡展暨2025招生政策发布会(北京站)
- 05/18 5月18日 | 中国矿业大学(北京)邀您参加中国商学院招生巡展暨2025招生政策发布会(北京站)
- 05/18 5月18日 | 北京师范大学邀您参加中国商学院招生巡展暨2025招生政策发布会(北京站)
- 05/18 5月18日 | 天津大学邀您参加中国商学院招生巡展暨2025招生政策发布会(北京站)