自然语言处理 - AI 学习知识库

词向量与表示

📝

词嵌入技术

Word2Vec · 12 分钟

理解 CBOW 与 Skip-gram 模型，以及如何通过词向量捕捉语义关系。

词向量 Word2Vec Embedding

🌐

GloVe 与 FastText

词向量 · 10 分钟

基于全局词频统计的 GloVe，以及如何处理 OOV 问题的 FastText。

GloVe FastText OOV

序列建模

🔄

Attention 机制

核心原理 · 15 分钟

Self-Attention、Multi-Head Attention 工作原理详解，理解 Query-Key-Value 架构。

Attention Multi-Head Transformer

🧩

位置编码

位置信息 · 8 分钟

理解 Transformer 中位置编码的作用，绝对位置编码与相对位置编码的区别。

位置编码 Positional Encoding

预训练语言模型

🤖

BERT 原理与实践

预训练 · 20 分钟

理解 BERT 的 Masked Language Model 与 Next Sentence Prediction 预训练任务。

BERT MLM NSP

⚡

GPT 系列

生成模型 · 18 分钟

从 GPT 到 GPT-4，理解因果语言建模与 Few-Shot Learning 能力。

GPT 生成模型 Few-Shot

🔀

T5 与 BART

编码器-解码器 · 15 分钟

理解 Text-to-Text 统一框架，以及 BART 的降噪预训练目标。

T5 BART Seq2Seq

📚

RoBERTa、ALBERT、ELECTRA

BERT 变体 · 15 分钟

BERT 的各项改进与优化策略，理解模型轻量化与训练效率的平衡。

RoBERTa ALBERT 模型优化

NLP 任务与应用

🏷️

文本分类

情感分析 · 12 分钟

使用预训练模型进行文本分类，理解 Fine-tuning 策略与文本数据增强。

文本分类情感分析 Fine-tuning

❓

问答系统

阅读理解 · 15 分钟

抽取式问答与生成式问答，RAG 技术与检索增强的原理。

QA RAG 阅读理解

🌐

机器翻译

Seq2Seq · 15 分钟

从 RNN 机器翻译到 Transformer，理解 BLEU 评估指标与翻译质量优化。

机器翻译 BLEU

📄

文本生成

NLG · 15 分钟

贪婪解码、束搜索、温度采样等生成策略，理解重复控制与内容质量优化。

文本生成束搜索 NLG

Hugging Face 示例

      from transformers import AutoTokenizer, AutoModel

# 加载预训练模型
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModel.from_pretrained("bert-base-chinese")

# 编码文本
inputs = tokenizer("深度学习是机器学习的子领域", return_tensors="pt")

# 获取词向量
outputs = model(**inputs)
embeddings = outputs.last_hidden_state
print(embeddings.shape)  # [1, 序列长度, 768]

    