> For the complete documentation index, see [llms.txt](https://dizzzzy.gitbook.io/notebook/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://dizzzzy.gitbook.io/notebook/vulnerability-detection/bcsd/bcsd3-llms.md). # BCSD3-LLMs 入门学习大模型 ## 给大模型喂数据 * 长文本 * RAG * 检索增强的生成，即知识库 * RAG，全称Retrieval-Augmented Generation，是一种结合了信息检索与文本生成的创新技术。它通过在生成过程中引入外部知识库（如互联网、数据库等）的检索能力，为模型提供额外信息，从而增强生成内容的丰富性、准确性和多样性。简而言之，RAG让AI学会了“查资料”，再基于资料创作 * Fine-tuning * 微调 * 基于**预训练**好的大型模型（如BERT、GPT等），针对特定任务或数据集进行小规模的参数调整。这一过程旨在让模型快速适应新任务，提高在特定场景下的表现。微调是迁移学习的一种形式，通过复用已有知识，加速模型在新领域的收敛速度

### ChatGPT的RLHF * Step1——SFT * Supervised Fine-tuning * 类似监督学习，基于预训练的模型，提供demonstration data * Step2——alignment * 训练一个reward model * 针对reward继续规范模型