近年来，Transformer 架构在自然语言处理领域取得了巨大成功，从机器翻译到文本生成，其强大的建模能力为语言理解与生成带来了前所未有的突破。 然而，随着模型规模的不断扩大和应用场景的日益复杂，传统 Transformer 架构逐渐暴露出缺陷，尤其是在处理长 ...

近年来，Transformer 架构在自然语言处理领域取得了巨大成功，从机器翻译到文本生成，其强大的建模能力为语言理解与生成带来了前所未有的突破。 然而，随着模型规模的不断扩大和应用场景的日益复杂，传统 Transformer 架构逐渐暴露出缺陷，尤其是在处理长 ...

自从GPT、PaLM、Llama等预训练大语言模型在自然语言处理任务上表现出色，大语言模型发展迅速，从单模态扩展到多模态，如MiniGPT-4、LLaVA等在应用场景中效果惊艳。全面、科学地评估这些模型的性能成为研究者的重要挑战。 传统评估方法多关注模型在下游任务上 ...

这项由上海AI实验室的何泽丰、瞿晓烨、李亚夫、朱桐、黄思远等研究人员以及中文大学的成宇教授共同完成的研究，发表在2025年1月的arXiv预印本平台，论文编号为arXiv:2512.24165v1。有兴趣深入了解的读者可以通过该编号查询完整论文。