《大模型基础》全面介绍大语言模型（LLMs）的基础知识、架构设计、训练优化及应用实践。本书从语言模型的基础理论出发，深入探讨基于统计、RNN和Transformer的模型架构，重点分析大语言模型的架构类型（如Encoder-only、Encoder-Decoder、Decoder-only）及代表模型（如BERT、T5、GPT系列）。书中详细讲解Prompt工程、参数高效微调、模型编辑和检索增强生成等关键技术，结合实际案例展示这些技术在不同场景中的应用。通过系统的学习和实践指导，本书neng 帮助读者深入理解\有效应用大语言模型技术。
语言模型基础
-
基于统计方法的语言模型：介绍n-grams模型及其统计学原理，解释如何通过统计语言符号的频率预测概率。
-
基于RNN的语言模型：探讨RNN的基本结构和循环神经网络在语言模型中的应用，及训练中的挑战。
-
基于Transformer的语言模型：详细介绍Transformer架构及其在语言模型中的应用，包括不同的预训练任务。
-
语言模型的采样方法：讨论概率最大化方法和随机采样方法，如贪心搜索、波束搜索、Top-K采样和Top-P采样。
-
语言模型的评测：介绍内在评测（如困惑度）和外在评测（如BLEU和ROUGE指标）方法，及基于语言模型的评测方法。
大语言模型架构
-
大数据与大模型：探讨数据规模和模型规模对模型性能的影响，及大语言模型的涌现能力。
-
大语言模型架构概览：介绍主流的模型架构（Encoder-only、Encoder-Decoder、Decoder-only）及功能对比。
-
基于Encoder-only架构的大语言模型：详细介绍BERT及其衍生模型（如RoBERTa、ALBERT、ELECTRA）。
-
基于Encoder-Decoder架构的大语言模型：介绍T5和BART模型的结构和预训练方法。
-
基于Decoder-only架构的大语言模型：讨论GPT系列和LLaMA系列模型的演进和特点。
-
非Transformer架构：介绍状态空间模型（SSM）和测试时训练（TTT）架构及代表性模型。
Prompt工程
-
Prompt工程简介：解释Prompt的概念和作用，及Prompt工程在垂域任务、数据增强和智能代理中的应用。
-
上下文学习：介绍上下文学习的概念和重要性，探讨如何选择有效的演示示例提升性能。
-
思维链：介绍思维链（Chain-of-Thought, CoT）的概念和方法，讨论CoT的不同模式及其应用。
-
Prompt技巧：提供编写高质量Prompt的技巧，探讨如何通过提问提升交互质量，及何时以及如何使用思维链技术。
-
相关应用：讨论基于大语言模型的Agent的构建，数据合成技术，Text-to-SQL转换，及GPTs的创建和应用。
参数高效微调
-
参数高效微调简介：讨论上下文学习和指令微调的优缺点，强调PEFT在计算效率、存储效率和适应性方面的优势。
-
参数附加方法：介绍Prompt-tuning、Prefix-tuning、Adapter-tuning和Proxy-tuning等方法。
-
参数选择方法：讨论BitFit、Child-tuning等基于规则和学习的方法。
-
低秩适配方法：介绍LoRA方法及改进变体，如AdaLoRA和DoRA。
-
实践与应用：介绍HF-PEFT框架及使用方法，展示PEFT技术在表格数据查询和分析中的应用案例。
模型编辑
-
模型编辑简介：讨论模型编辑的概念和目标，定义模型编辑的目标和性质。
-
模型编辑经典方法：介绍外部拓展法和内部修改法及代表性方法。
-
附加参数法：T-Patcher：讨论T-Patcher方法的具体实现，包括补丁的位置和形式。
-
定位编辑法：ROME：介绍ROME方法及在精准知识编辑中的应用。
-
模型编辑应用：探讨模型编辑的实际应用，如精准模型更新、保护被遗忘权、提升模型安全。
检索增强生成
-
检索增强生成简介：介绍检索增强生成的背景和组成。
-
检索增强生成架构：讨论RAG架构的不同分类，黑盒和白盒增强架构及对比。
-
知识检索：详细介绍知识检索的各个环节，包括知识库构建、查询增强、检索器、检索效率增强和检索结果重排。
-
生成增强：探讨生成增强的不同方面，如何时增强、何处增强、多次增强和降本增效。
-
实践与应用：展示检索增强生成技术的实践和应用，包括搭建简单RAG系统和RAG的典型应用。
资源资料下载地址
《大模型基础》报告下载地址： https://url23.ctfile.com/f/65258023-8434020435-605e6e?p=8894 (访问密码: 8894)
相关文章
暂无评论...
