2024年10月16日上午10：00，统计与数据科学学院第六十六期本科生论坛在范孙楼116如期举行。南开大学统计与数据科学学院张瑶老师为大家带来了关于“大模型推理中的知识增强技术”的前沿分享。
张瑶老师首先为同学们介绍了大模型推理的背景：自然语言处理(NLP)，语言模型(LM)和大语言模型(LLM)，自然语言处理旨在开发能够理解、分析和生成人类语言的技术，而语言模型是自然语言处理中的一个重要概念，它描述了一个词或词序列在特定上下文中的概率分布。语言模型通过估计词的出现概率来预测未知词或词序列，这有助于完成各种NLP任务，如语言生成、语音识别和机器翻译等，而大语言模型则是在大规模文本语料上训练、包含百亿级别（或更多）参数的语言模型。
紧接着，张瑶老师用一个模型推理在游戏情景中出现谬误的例子，趣味性地引出了大模型面临着严重的知识困境的问题，并且重点讲解了对大模型进行知识增强的几种技术，包括了提示工程(Prompt Engineering)，检索增强生成(Retrieval Augmented Generation, RAG)，微调(Fine-tuning)。提示工程是设计和优化与人工智能语言模型交互的输入指令的技术，目的是引导AI生成更准确、相关和有用的输出。它通过LLM的输入，使其能够在生成响应之前更好地理解用户的意图和上下文。RAG通过引入信息检索组件，利用用户输入从新数据源提取信息，并与LLM结合生成更好的响应。微调则是在预训练模型的基础上，针对具体下游任务使用较小规模但有标签的目标数据集对该模型的部分或全部参数进行进一步的训练。最后张瑶老师讲述了如何利用LangChain和开源LLM来本地实现RAG。整场讲解生动有趣，同学们收获颇丰。
据悉，张瑶老师会在2025年春季学期开设自然语言处理的课程，她十分欢迎想做科研的同学联系她。