自ChatGPT问世以来，大型语言模型在各个领域引起了广泛兴趣，并催生了基于语言模型的应用，包括但不限于自动文本生成、信息检索、智能助理、聊天机器人以及智能教育系统等。这些应用的表现和效果往往取决于模型本身的对话能力、逻辑推理能力以及上下文理解能力等核心特征。在实际应用中，为了满足不同领域对模型能力的个性化需求，研究人员通常会基于预训练的大型语言模型进行微调，以适应特定任务的要求。然而，微调具有一定规模的语言模型需要大量的计算资源，其中显存容量往往成为主要限制因素。主流的优化算法如Adam在训练...