ChatGPT,是共存还是取代?美国明尼苏达大学法学院教授有话说

自ChatGPT横空出世以来,它富有逻辑、又极具幽默感的回答获得了网友们的一致好评,而“天选打工人”的自带属性也引发了众多舆论热议。在AI技术不断迭代的当下,ChatGPT的海量数据库是否能为它开启独立律师之路呢?

2022年底,明尼苏达大学-双子城的法学院教授邀请ChatGPT一同参加期末考试,并就其表现探讨了它对法律教育及律师行业的潜在影响。

本次研究小组由明大法学院的Jonathan Choi、Kristin Hickman、Amy Monahan以及Daniel Schwarcz教授一同组成,使用2022年12月15日更新的ChatGPT版本进行测算。

GPT-3经过了语言模型参数数量的不断扩大以及人类反馈强化学习(RLHF)的优化,已经达到几乎与真人无异的回答模式,同时也在计算机编程、数据处理、医学诊断等特定技术领域表现优异。为此,ChatGPT与明大法学院学生一同进行了四门期末考试,包含:宪法中的联邦制和权力分立、员工福利、税收和侵权行为

ChatGPT的考试及评分过程如下:一位教授使用ChatGPT生成考试的答案,并确保全过程毫无人工干涉,而后将其答卷混入法学院其他考生的答卷中,由剩余三位教授在真实情境下进行评分流程。

最后,这位教授再次抽出ChatGPT的成绩,就学生整体的成绩表现以及每场考试的难度进行了“正态分布”(Curving)。在本次期末考试中,ChatGPT的成绩达到了及格,相比法学院学生的表现,ChatGPT属于C+水平。法学院学生情况介绍

明大法学院位列U.S. News and World Reports排名第21位。在2022年,法学院毕业生首场通过律师资格考试(Bar Examination)的数据高达99%,位列全美第二。

在本次期末考试中,明大法学院学生的平均成绩为B+(经过Curving的数据)。

ChatGPT的考试成绩略显平庸,甚至在明大法学院会处于留校察看的状态,但只要保持同水准的发挥,ChatGPT的成绩也足以获得法学博士 (Juris Doctor)的学位。尽管ChatGPT表现得时好时坏,它依然有着明显的优势及劣势:

  • ChatGPT有着扎实的法律法规基础、精准正确的措辞及陈述;
  • ChatGPT在有限的考试时间内可以实现精准的写作文本(即毫无拼写及语法错误),并有着完善的结构性及组织性;
  • 当问题涉及到课堂具体案例或理论时,ChatGPT表现得极差;
  • ChatGPT无法识别开放性问题所涵盖的所有角度,也无法分辨假设事实中的因果关系;
  • 当术语富有多重含义时,ChatGPT会因为误判而造成偏题。

Jonathan Choi教授表示:“就ChatGPT本身而言,它还不是一名优秀的法学生,但它可以成为学生和执业律师的好帮手。”比如说,ChatGPT可以在以下情境中起到辅助作用:

  • ChatGPT准备备忘录初稿、或生成最初的论点,再由律师自行筛选并调整;
  • 对于年度更新的文件,ChatGPT可以参考过去的文件进行调整,使律师的工作更加高效;
  • ChatGPT也可以协助学生背诵法律法规,尤其是案例复杂的法律规则上,ChatGPT的出现可以帮助学生更好地分析并用于实施。

尽管在法律处理上,ChatGPT仍面临着难以识别或深入分析的难点,但人工智能已经开始从事一些简单的法律工作,如:处理DoNotPay.com等网站上的停车罚单,协助简单的遗嘱设立,以及起草离婚协议。

在语言模型的不断优化及改进下,相信在未来ChatGPT能取得更好的成绩。Choi教授表示:“在日常的实践中,大家可以多多尝试ChatGPT,但切记,法律理解、研究及推理技能仍需不断加强,这也是目前的语言模型尚不能取代的。”

在不久的将来,很多律师会与ChatGPT等人工智能进行合作,这是一个既能节省时间和金钱,又能提高工作质量的好方法。而该研究小组也计划继续为律师和法学生开发和测试不同的语言模型,在高效并合理合法的前提下将ChatGPT运用到法律作品中。

来源:美国明尼苏达大学