forked from datawhalechina/happy-llm
feat:部分章节添加章节引言
This commit is contained in:
parent
50bd19efb4
commit
9c461438c7
|
|
@ -1,5 +1,7 @@
|
|||
# 第五章 动手搭建大模型
|
||||
|
||||
|
||||
|
||||
## 5.1 动手实现一个 LLaMA2 大模型
|
||||
|
||||
Meta(原Facebook)于2023年2月发布第一款基于Transformer结构的大型语言模型LLaMA,并于同年7月发布同系列模型LLaMA2。我们在第四章已经学习和了解了LLM,以及如何训练LLM等内容。本小节我们就来学习如何动手实现一个LLaMA2模型。
|
||||
|
|
|
|||
|
|
@ -1,5 +1,7 @@
|
|||
# 第六章 大模型训练流程实践
|
||||
|
||||
第五章中,我们从零开始动手搭建了 LLaMA2 模型,并完整实现了其预训练和微调的全流程。在本章中,我们将深入探讨大模型的训练流程实践,重点介绍如何利用主流的大模型框架高效地进行模型训练和性能优化。
|
||||
|
||||
## 6.1 模型预训练
|
||||
|
||||
在上一章,我们逐步拆解了 LLM 的模型结构及训练过程,从零手写实现了 LLaMA 模型结构及 Pretrain、SFT 全流程,更深入地理解了 LLM 的模型原理及训练细节。但是,在实际应用中,手写实现的 LLM 训练存在以下问题:
|
||||
|
|
|
|||
|
|
@ -1,5 +1,7 @@
|
|||
# 大模型应用
|
||||
|
||||
在前面的章节中,我们系统地介绍了大模型的基础知识、训练方法和微调技术。本章将重点探讨大模型在实际应用中的关键技术和框架,涵盖大模型评测、RAG(检索增强生成)以及Agent(智能体)等核心内容,帮助读者深入理解大模型的实际应用场景和实现方法。
|
||||
|
||||
## 7.1 LLM 的评测
|
||||
|
||||
近年来,随着人工智能领域的迅猛发展,大规模预训练语言模型(简称大模型)成为了推动技术进步的核心力量。这些大模型在自然语言处理等任务中展现出了令人惊叹的能力。然而,要准确衡量一个大模型的性能,必须依靠科学而合理的评测。
|
||||
|
|
|
|||
Loading…
Reference in New Issue