近日，我院2023级研究生高朝阳同学的研究工作“An Empirical Study on Challenges for LLM Application Developers”被软件工程领域顶级期刊TOSEM（ACM Transactions on Software Engineering and Methodology）录用，该研究由我院陈翔副教授指导完成，南通大学人工智能与计算机学院为第一署名单位。
这篇论文系统地开展了针对大型语言模型（LLM）应用开发者所面临挑战的实证研究，通过全面的数据收集与分析工作，为理解LLM开发过程中的复杂性和多样性提供了新的视角。研究团队从OpenAI开发者论坛中爬取了大量相关问题帖子，并运用严谨的人工标注和分类方法，构建了一个多层次多维度的开发挑战分类体系。这一体系不仅涵盖了API使用、GPT Builder开发、提示设计等关键技术领域，还深入探讨了成本、速率限制、数据隐私等非功能性挑战，全面揭示了LLM开发者在实践中的痛点与难点。
该研究针对LLM的后续研究具有重要指导意义。首先，它为LLM开发者提供了宝贵的实践指南，帮助他们更好地识别和应对开发过程中的各种挑战，从而提升开发效率和产品质量。其次，研究结果对LLM供应商具有重要的参考价值，促使他们改进产品文档、优化API设计、提供更全面的开发工具和支持资源，以满足开发者的实际需求。此外，该研究还推动了学术界对LLM开发领域的关注，为后续研究提供了丰富的研究素材和理论基础，有助于进一步探索LLM技术的边界和应用潜力。
TOSEM 是中国计算机学会推荐的 A 类国际期刊和中科院一区期刊，也是软件工程领域公认的两大顶级期刊之一，具有广泛的国际影响力。该论文的录用实现了我院在软件工程顶级期刊TOSEM 上发表论文的历史性突破，充分彰显了我院智能软件工程研究团队在该领域的科研实力与学术影响力。
https://dl.acm.org/doi/10.1145/3720540
