WebCPM是由面壁智能与清华、人大、腾讯的研究人员合作开发的,是中文领域首个基于交互式网页搜索的问答开源模型框架。该项目的相关工作已被自然语言处理顶级会议ACL 2023录用。WebCPM的出现标志着一个重要的里程碑,它支持用户通过与搜索引擎的交互来收集所需的事实性知识并生成答案,实现了类似人类的搜索行为。
提升问答搜索效果的创新模型
在WebCPM问世之前,长文本开放问答(LFQA)模型是用户搜索复杂、开放式问题的主要工具。然而,传统的LFQA模型存在一个缺陷:它通常依赖于非交互式的检索方法,即仅使用原始问题作为查询语句来检索信息。而WebCPM这样的交互式网页搜索模型改变了这一现状,它不仅提供了获取多样化信息来源的途径,还反映了人类解决问题的认知过程,从而提高了可解释性。
WebCPM模型框架的组成
WebCPM模型框架由搜索模型和答案综合模型两部分组成。
搜索模型模仿人类的网页搜索行为,并与搜索引擎进行交互来进行信息检索。作者将网页搜索任务划分为三个子任务:搜索行为预测、查询语句生成和事实摘要支持。搜索行为预测模块在每一步决定执行哪个具体的搜索行为。该模块可以调用其他两个模块来生成下一步的查询语句或摘录重要信息。每个子任务都是基于生成式中文大模型进行训练的。通过组合这三个训练得到的模块,WebCPM能够在搜索引擎界面上执行一系列操作,以收集与问题相关的信息。
答案综合模型根据原问题和收集到的事实生成连贯的答案。然而,与人类不同,经过训练的搜索模型偶尔会收集到不相关的噪声,这可能会影响生成答案的质量。为了解决这一问题,作者在答案综合模型的训练数据中引入了噪声,使其具备一定的去噪能力,从而只关注重要的事实,以生成高质量的答案。
面壁智能:推动国产大模型领域的研究与应用
WebCPM的开发公司面壁智能是一家致力于人工智能大模型技术创新与应用落地的公司。他们自主研发了CPM大模型,积累了多年的大模型训练经验。WebCPM作为面壁智能团队的重要成果,将推动国内大模型领域的前沿研究、应用开发以及产业发展。
随着WebCPM的发布,中文领域的问答搜索迎来了一次重要的突破。该模型的交互式网页搜索能力使用户能够更自然地与搜索引擎进行沟通,并从多样化的信息来源中获得答案。与传统的非交互式检索方法相比,WebCPM的优势在于能够模拟人类搜索行为,提供更全面、准确的答案。
在未来,随着WebCPM的进一步完善和应用,我们可以预见到它在各个领域的广泛应用。无论是在教育领域中为学生提供更便捷的问题解答,还是在商业领域中为用户提供更精准的产品信息,WebCPM都将发挥重要的作用。同时,它也将促进国内大模型领域的持续创新与发展。
总之,中文领域首个基于交互式网页搜索的问答开源模型框架WebCPM的发布具有重要意义。它不仅提升了问答搜索的效果和可解释性,还推动了国内大模型领域的研究与应用。相信随着技术的不断进步,WebCPM将为用户提供更加智能、便捷的搜索体验,为各行各业的发展带来新的机遇和挑战。