机器学习基础-监督学习-目标函数之均方误差（Mean Squared Error，MSE）-五八三

均方误差（Mean Squared Error，MSE）是在回归问题中常用的目标函数，用于衡量预测值与真实值之间的平均差异。下面将详细讲解均方误差，并提供相应的公式和代码示例。

在回归问题中，假设有 N 个样本，其中 $y_i$ 表示第 i 个样本的真实值， $\hat{y}_i$ 表示对第 i 个样本的预测值。那么均方误差（MSE）可以通过以下公式计算：

MSE = \frac{1}{N}\sum_{i=1}^{1}(y_i-\hat y_i)^2

公式中，首先计算每个样本的预测误差（即真实值与预测值之间的差），然后将所有样本的误差平方求和，并除以样本数量 N，最后得到平均误差。

以下是一个使用 Python 编写的计算均方误差的示例函数：

import numpy as np



def mean_squared_error(y_true, y_pred):
    N = len(y_true)  # 样本数量
    mse = np.sum((y_true - y_pred) ** 2) / N  # 计算平方差的平均值
    return mse

函数接受两个参数：y_true 表示真实值的数组，y_pred 表示预测值的数组。它首先计算真实值与预测值之间的差的平方，然后求和并除以样本数量 N，得到均方误差（MSE）。

使用上述函数计算均方误差的示例代码：

y_true = np.array([1, 2, 3, 4, 5])  # 真实值数组
y_pred = np.array([1.2, 2.3, 3.5, 4.1, 5.2])  # 预测值数组

mse = mean_squared_error(y_true, y_pred)
print("Mean Squared Error:", mse)

以上示例中，我们假设 y_true 和 y_pred 分别表示真实值和预测值的 NumPy 数组。函数 mean_squared_error 计算并返回均方误差，最后打印输出结果。

通过计算均方误差，我们可以评估回归模型的性能，数值越小表示预测结果与真实值的拟合程度越好。

当使用均方误差作为目标函数时，通常会将其最小化，以使模型的预测结果与真实值之间的差异最小化。在训练过程中，通过调整模型的参数来最小化均方误差。一种常见的方法是使用梯度下降法（Gradient Descent）来更新模型参数。

梯度下降法是一种优化算法，用于寻找目标函数的最小值。在均方误差的情况下，我们希望找到使均方误差最小化的模型参数。以下是梯度下降法的一般步骤：

初始化模型参数：给定模型参数的初始值，通常使用随机初始化。
前向传播：使用当前模型参数对训练样本进行前向传播，计算预测值。
计算误差：计算预测值与真实值之间的误差。
反向传播：根据误差，计算模型参数对误差的梯度。
参数更新：使用梯度下降法更新模型参数，使目标函数的值减小。
重复步骤 2-5，直到达到停止条件（例如达到最大迭代次数或误差收敛）。

下面是一个使用梯度下降法训练线性回归模型并计算均方误差的示例代码：

import numpy as np



def gradient_descent(X, y, learning_rate=0.01, num_iterations=1000):
    N, d = X.shape  # 样本数量和特征维度
    theta = np.zeros(d)  # 初始化模型参数

    for i in range(num_iterations):
        y_pred = np.dot(X, theta)  # 前向传播，计算预测值
        error = y_pred - y  # 计算误差

        # 计算梯度并更新参数
        gradient = np.dot(X.T, error) / N
        theta -= learning_rate * gradient

    return theta

# 生成样本数据
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])  # 特征矩阵
y = np.array([2, 5, 8])  # 真实值

# 添加偏置项
X = np.c_[np.ones(X.shape[0]), X]

# 使用梯度下降法训练模型
theta = gradient_descent(X, y)

# 计算预测值
y_pred = np.dot(X, theta)

# 计算均方误差
mse = mean_squared_error(y, y_pred)
print("Mean Squared Error:", mse)

在上述示例中，我们使用梯度下降法来训练一个简单的线性回归模型。首先，我们生成了样样本数据 X 和真实值 y。然后，我们将特征矩阵 X 添加了偏置项（全为 1 的列），并调用 gradient_descent 函数进行模型训练。该函数使用梯度下降法来更新模型参数 theta，使均方误差最小化。

最后，我们计算预测值 y_pred，并使用 mean_squared_error 函数计算均方误差 mse。最终打印输出均方误差的值。

通过梯度下降法的迭代过程，模型参数逐步更新，使得均方误差逐渐减小，最终达到收敛。这样训练出的模型参数可以用于对新样本进行预测。

请注意，上述代码示例是一个简化的线性回归模型的训练过程，并且没有包括一些优化技巧和细节（如学习率调整、批量梯度下降等）。在实际应用中，可能需要更复杂的模型和更高级的优化算法来处理不同的问题。

文章版权归作者所有，未经允许请勿转载，侵权请联系 admin@trc20.tw 删除。

THE END