最小二乘法学习卡片
最小二乘法基本概念
- 基本任务
- 用连续函数逼近离散测量数据
- 核心思想
- 通过平方误差最小化实现最佳拟合
- 误差处理
- 简单误差相加会因正负抵消而失真 → 采用平方误差累加
拟合函数选择
- 常用选择
- 多项式函数是最常用的拟合函数形式
- 通用表达
- 数学家追求更通用的线性无关函数族作为逼近工具
- 素材库比喻
- 线性无关函数族就像做菜的调料，不同函数具有独特性质才能组合逼近任意函数
最小二乘数学表达
- 目标函数
- 最小化所有点误差平方和: Σ(yᵢ - f(xᵢ))²
- 求解方法
- 对系数求偏导并令导数为零，得到多元函数极值的必要条件
- 权重扩展
- 引入权重函数可调整不同数据点的重要性
内积在最小二乘法中的应用
- 内积定义
- 两个函数乘积在区间内的积分，推广了点乘概念
- 离散形式
- 向量内积 Σf(xᵢ)g(xᵢ) 是连续内积的离散对应
- 统一表达
- 通过带权内积将最小二乘问题转化为线性方程组
正规方程组
- 矩阵形式
- 系数矩阵为Kramer矩阵，要求函数组线性无关保证可解
- 求解步骤
- 1. 计算所有必要的累加项
2. 列出正规方程组
3. 求解系数
- 示例计算
- 通过计算各阶次幂次和加权和构建法方程矩阵
数值计算问题
- 希尔伯特矩阵
- 在0到1区间内多项式最小二乘法中出现的病态矩阵
- 误差放大
- 高阶多项式拟合(≥4次)会因矩阵病态性导致数值不稳定
- 实践建议
- 谨慎选择拟合函数阶数，避免高阶多项式拟合
点击卡片翻转查看内容