神经网络的基本概念

神经网络基础结构

值得参考的资料：

1. 神经网络15分钟入门！足够通俗易懂了吧 - 知乎
2. 90分钟！清华博士带你一口气搞懂人工智能和神经网络-bilibili

神经元

神经元接受多个加权输入和bias，如果结果大于激活的阈值，那么就会进行输出

即：

img

层

MLP神经网络可分为三层：输入层，隐藏层，输出层

img

激活函数

决定神经元是否应该被激活的函数，常见的有：

• sigmoid函数 f(x)=1 if x>0 else 0
• tanh函数 f(x)=(e^x +e^-x)/(e^x-e^-x)
• ReLU函数，f(x)=x if x>0 else 0
• softmax函数，将输出转换成概率分布, f(x)=a_x/sigma(a_x)

神经网络的原理

前面说每一个神经元都有许许多多个参数（权重等），想要找到最好的模型，就需要找到一组最佳参数。

通过对模型的性能进行评估，来调整参数，直到效果符合要求。

这里需要解决两个问题：

1. 如何评估模型的效果

2. 如何更好的调整参数

损失函数（loss function）

损失函数用于衡量模型的预测值与真实值之间的差异。

常见的损失函数包括：

• 均方误差（MSELoss）：回归问题常用，计算输出与目标值的平方差。
• 交叉熵损失（CrossEntropyLoss）：分类问题常用，计算输出和真实标签之间的交叉

梯度下降算法

我们考虑：每一组参数就会有一个损失值，那么损失值可以看做是关于这些参数的一个多元函数，我们的任务变成了找到这组多元函数的最小值。

所以我们需要反向传播算法来计算梯度，从而调整每一个参数，使得顺势能够最小。

训练模型

• 在深度学习中，模型的训练过程通常包括以下几个步骤：
  1. 前向传播（Forward Propagation） ：通过输入数据和模型参数，计算输出。
  2. 计算损失（Loss Calculation） ：根据模型的输出和真实标签，计算损失函数的值。
  3. 反向传播（Backward Propagation） ：根据损失函数，计算损失对模型参数的梯度。
  4. 参数更新（Parameter Update） ：使用优化算法（如梯度下降）更新模型参数。