NLP“消失”之后
作者 吴洋洋
发表于 2023年7月
ChatGPT的发布改变了很多人的工作,首先就是那些处理自然语言的工程师。

正在清华大学电子信息专业读研二的蔡紫宴3年前决定换掉自己的专业,从经济学转到人工智能相关专业—“自然语言处理”(Natural L anguageProcessing,NLP)。

这是一个当时听起来十分时髦的研究领域。非计算机专业的人对这个领域或许陌生,但只要你曾與苹果的Siri等聊天机器人互动过,或是使用过Google翻译、输入法中的关键词联想功能,那么你就或多或少地接触过NLP。

然而研究生入学一年多后,蔡紫宴就发现,他在课堂和比赛中学到的自然语言处理技术,正在快速迭代。

易变的前沿

“我们看到NLP领域很多研究都被ChatGPT‘消灭’了。”四川大学神经网络方向副研究员郭泉说,如果说此前学校里的学生、研究员们还在试图通过不同的模型使机器更准确地完成分词、提取人名等传统N L P任务,那么ChatGPT已经可以跳过这些中间环节,直接生成结果,而且做得很好。

NLP是个古老的领域,但技术迭代周期在以翻倍的速度缩短。早在1940年代,工程师们就尝试用提前设定好的规则(比如语法),训练机器理解语言。1990年代,基于统计的技术开始应用到NLP中。2010年之后,深度学习成为主流。然后就来到了2020年,当年3月,OpenAI发布了其第3代大语言模型(LargeLanguage Model,LLM)GPT-3(基于Transformer)。

从时间跨度来看,NLP领域的技术迭代时间从最早的30年、20年减少到了10年—差不多是一位在这一领域求学的学生从大学入学到博士毕业的时长。

蔡紫宴担心,再过两年,他在学校和实践中所学的技术都会被淘汰,“你对一些自然语言的理解可能被完全颠覆,在考试、实习时你当作定理来背的很多东西都没意义了。”蔡紫宴说,他3年前开始学习自然语言处理的相关知识,当时主要与预训练语言模型相关,双向编码的BERT模型更被看好,而如今GPT模型表现出了更好的潜力。

“这就像一棵进化树,在一个分支十分辉煌后突然走向尽头,另一个分支逐渐登上舞台。”蔡紫宴说,如果早些年N L P 的研究类似于纯手工的作坊,在2 017年G oogle提出Transformer和后来预训练语言模型一统天下后,NLP领域的研究就像拥有了自动缝纫机的纺织工—现在,则进一步转向全自动化底座的流水线。

学术期刊和会议对收录论文的要求也一夕之间发生改变。蔡紫宴发现,但凡论文涉及模型效果,只要论文没有理论性创新,就必须考虑“大模型”。不然,审稿人基本都会问“你的研究结果与ChatGP T相比表现如 何”。

进入“大模型时代”以来,技术的演进速度并没有慢下来,而是更快了。

本文刊登于《第一财经杂志》2023年7期
龙源期刊网正版版权
更多文章来自
订阅