大语言模型 - AI 学习知识库

Transformer 架构

🔧

Transformer 详解

架构原理 · 25 分钟

深入理解 Self-Attention、Multi-Head Attention、FFN 与 Layer Norm 的工作机制。

Transformer Attention 架构

📐

位置编码详解

位置信息 · 12 分钟

绝对位置编码、相对位置编码（RoPE、ALiBi）与旋转位置编码的原理对比。

RoPE ALiBi 位置编码

LLM 预训练

📚

预训练数据处理

数据工程 · 18 分钟

语料采集、清洗、去重、质量过滤，以及 tokenizer 的选择与训练。

数据处理 Tokenizer 语料

⚡

预训练优化技术

训练技巧 · 15 分钟

混合精度训练、梯度 checkpointing、ZeRO 优化、以及长上下文训练策略。

混合精度 ZeRO Gradient Checkpointing

指令微调与对齐

🎯

SFT 有监督微调

Fine-tuning · 12 分钟

指令数据构建、训练策略选择、以及如何避免灾难性遗忘。

SFT 指令微调

👍

RLHF 与 PPO

强化学习对齐 · 20 分钟

理解 Reward Model 训练、PPO 算法流程，以及 RLHF 的完整 pipeline。

RLHF PPO Reward Model

🎨

DPO 与其他对齐方法

对齐技术 · 15 分钟

DPO、ORPO、RLAIF 等新型对齐技术，以及它们的优缺点对比。

DPO ORPO 对齐

📊

模型评估

评估指标 · 15 分钟

Perplexity、Benchmark 评估、人类评估与 LLM-as-Judge 方法。

评估 Perplexity Benchmark

Prompt Engineering

💡

基础 Prompt 技巧

Few-Shot · 10 分钟

Zero-Shot、Few-Shot、CoT (Chain-of-Thought) 等 Prompt 策略。

Zero-Shot Few-Shot CoT

🧠

高级 Prompt 技术

复杂任务 · 15 分钟

ReAct、Tree-of-Thought、Self-Consistency 等复杂推理与任务分解技术。

ReAct ToT Self-Consistency

RAG 与 Agent

📖

RAG 技术详解

检索增强 · 18 分钟

向量化、向量检索、混合检索、Re-ranking 与 RAG 优化策略。

RAG 向量检索 Embedding

🤖

LLM Agent

自主智能体 · 20 分钟

Agent 架构、Tool Use、Planning、Memory 与多 Agent 协作系统。

Agent Tool Use Planning

主流模型

🌟

GPT-4 与 Claude

闭源模型 · 15 分钟

闭源大模型的能力对比、API 使用与成本优化策略。

GPT-4 Claude

🦙

开源模型生态

Llama · Mistral · 15 分钟

Llama、Mistral、Qwen 等开源模型的特点与部署优化方法。

Llama Mistral Qwen

LangChain 示例

      from langchain_openai import ChatOpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

# 初始化模型
llm = ChatOpenAI(model="gpt-4", temperature=0.7)

# 定义 Prompt
prompt = PromptTemplate(
    template="用简洁的语言解释{concept}，举例说明",
    input_variables=["concept"]
)

# 创建 Chain
chain = LLMChain(llm=llm, prompt=prompt)

# 执行
result = chain.run("什么是 Transformer 架构")
print(result)

    