大语言模型(Large Language Models,LLMs)目前正在重塑各行各业的学习方式、思维模式和研究范式。如何使LLMs与行业结合、重构LLMs与行业的关系,是推动企业数字化变革和社会发展的重要命题。要实现LLMs在垂域发挥重要作用,最重要的是提升LLMs的推理能力。本文以如何提升LLMs在会计领域的推理能力为起点,提出会计垂域推理能力的概念、研究路径、评测标准,分析中文开源模型清华智谱的GLM系列的评测结果,为后续的推理研究提供标准范式,并为如何提升会计推理能力提供评价标准,力图推动LLMs在会计领域达到应有水平。同时,为验证LLMs的会计推理能力,本文比较了GLM-6B、GLM-130B、GLM-4在算术推理能力和会计常识推理能力方面的差别,并将OPENAI的GPT-4作为基准进行分析。结果表明,在不同推理提示工程下,模型规模显著影响推理能力,虽然各种模型算术推理能力已经得到极大的提高,但是会计推理能力还远不能达到应用水平,需要在应用中逐层优化,研究为LLMs会计垂域进入应用实践的优化过程提供参考。
