如今，机器学习不仅是人工智能领域研究的重点，也正在成为整个计算机科学研究的热点。2020 年 5 月，OpenAI 发布了无监督转化语言模型 GPT-3，其展现出的从海量未标记数据中「学习」且不限于某一特定任务的「通用」能力，让 AI 研究者看到了基于大规模预训练模型探索通用人工智能的可能，这其中作为人工智能的领军人物清华唐杰为之付出了很多努力。
全部登顶的语言模型
2021 年 6 月，以 1.75 万亿的参数量成为迄今全球规模最大的预训练模型。不仅如此，有清华唐杰参与研究的悟道团队还基于 GPT 与 BERT各自在自然语言生成（NLG）和自然语言理解（NLU）任务上的优点，成功将两者融合并提出通用语言模型 GLM，将所有自然语言任务都化归为生成任务进行统一处理，GLM 也成为首个在 NLU、NLG、Seq2Seq、不定长填空等任务中全部登顶的语言模型。超大规模预训练模型是否代表了「会学习的机器」？不断增大的模型（以及不断增加的算力）最终能把我们带到哪里？预训练模型究竟从数据中学到了什么？未来的机器智能是否会改变我们对数据、信息、知识乃至智慧的定义？带着这些疑问，机器之心专访了智源研究院学术副院长、悟道项目负责人、清华大学计算机系教授唐杰。智源研究院学术副院长、悟道项目负责人、清华唐杰教授，在 2021 北京智源大会上发布悟道 2.0。
人工智能的不断探索
清华唐杰教授早先从事数据挖掘和知识工程方面的研究，他曾经不愿意也不敢相信机器智能可以超越人，但大规模预训练模型改变了他的想法。如今，他开始反问为何机器智能不可以超越人。清华唐杰教授表示，万亿参数大模型只是一个开始，作为一种科学上的探索，智源悟道团队将坚持在「大」这条路上走下去，探索其边界，因为他们已经在大模型上观察到了以往小模型上所不曾有过的现象。但他同时也指出，单靠增加训练数据量或模型参数规模不足以实现「智能」，悟道团队目前践行的「知识+数据双轮驱动」，正是尝试将知识这种符号信息与神经网络相结合，构建所谓的「神经-符号结合模型」，从而赋予机器认知能力。在更远期的规划中，清华唐杰教授希望让悟道模型拥有自学习的能力，以及作为一个主体与现实世界交互的能力，正如人类儿童在成长中所经历的那样。
至于眼下，一个重点将是基于悟道 2.0 构建一个平台和生态，让企业、开发者和研究人员真正用起来——用他的话说就是「大规模预训练模型不是用来作秀的」，并根据用户的反馈优化和迭代。不过，这方面的工作将由其他团队牵头完成。悟道团队将持续聚焦，这也是清华唐杰教授个人的研究风格——专注、专注再专注，直到拿出严谨、可靠和有力的成果。
