深度学习核心 - AI 学习知识库

神经网络基础

🔗

神经网络基础

MLP · 8 分钟

神经元模型、多层感知器结构、前向传播与反向传播算法原理。

MLP 反向传播梯度下降

🔥

激活函数对比

激活函数 · 6 分钟

Sigmoid、ReLU、Leaky ReLU、Tanh、Swish 等激活函数的优缺点与适用场景。

ReLU Sigmoid 激活函数

📐

梯度消失与梯度爆炸

核心问题 · 10 分钟

理解深层网络中梯度传播的挑战，以及 ReLU、残差连接等解决方案。

梯度问题残差连接

⚡

权重初始化

训练技巧 · 8 分钟

Xavier、He 初始化等策略，以及 Batch Normalization 的作用与原理。

初始化 BatchNorm

正则化与优化

🛡️

正则化技术

防止过拟合 · 10 分钟

L1/L2 正则、Dropout、Early Stopping、Batch Normalization 防止过拟合的原理与实践。

正则化 Dropout Early Stopping

📦

优化器选择指南

SGD · Adam · 8 分钟

SGD、Momentum、Adam、RMSprop 等优化器的原理与选择策略。

优化器 Adam SGD

卷积神经网络 CNN

🖼️

卷积操作原理

CNN 基础 · 12 分钟

理解卷积核、步长、填充等概念，以及卷积如何提取空间特征。

卷积特征提取

🏗️

经典 CNN 架构

LeNet · AlexNet · VGG · 15 分钟

从 LeNet 到 ResNet 的经典网络架构演进，理解残差连接的革命性意义。

ResNet VGG 架构

👁️

经典 CNN 架构

GoogLeNet · Inception · 12 分钟

Inception 模块、深度可分离卷积、EfficientNet 等高效网络设计思想。

Inception EfficientNet

📱

目标检测算法

YOLO · FPN · 15 分钟

从 R-CNN 到 YOLO，理解 One-Stage 与 Two-Stage 检测器的区别与演进。

YOLO 目标检测

循环神经网络 RNN

🔄

RNN 与 LSTM

序列模型 · 15 分钟

理解循环神经网络的梯度问题，以及 LSTM、GRU 如何通过门控机制解决长期依赖。

LSTM GRU 序列

⏺️

Seq2Seq 与注意力机制

机器翻译 · 15 分钟

编码器-解码器架构，以及 Attention 机制如何解决信息瓶颈问题。

Seq2Seq Attention

PyTorch 示例

      import torch.nn as nn

# 定义一个简单的卷积神经网络
class SimpleCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1)
        self.relu = nn.ReLU()
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1)
        self.fc = nn.Linear(64 * 8 * 8, 10)

    def forward(self, x):
        x = self.pool(self.relu(self.conv1(x)))
        x = self.pool(self.relu(self.conv2(x)))
        x = x.view(x.size(0), -1)
        return self.fc(x)

    