← 返回目录

第 2 章：函数逼近

2.1 正交多项式基础

填空 带权内积的定义：在区间 \([a,b]\) 上，权函数 \(\rho(x)>0\)，内积为
\(\langle f,g\rangle =\)
\[\langle f,g\rangle = \int_a^b \rho(x)f(x)g(x)\,dx\]
简答 正交多项式系 \(\{p_n\}\) 的三项递推关系的一般形式是什么？为什么正交多项式的零点都是实的、单重的，且落在 \((a,b)\) 内？
三项递推：\(p_{n+1}(x) = (a_n x + b_n)p_n(x) - c_n p_{n-1}(x)\)，系数由正交条件唯一确定。

零点性质：设 \(p_n\) 在 \((a,b)\) 内的奇数重零点为 \(x_1,\dots,x_k\)，令 \(q(x)=\prod(x-x_i)\)，则 \(\langle p_n, q\rangle = \int\rho\, p_n q\,dx\)。若 \(k<n\)，则 \(\deg q < n\)，由正交性 \(\langle p_n,q\rangle=0\)，但 \(p_n q\) 在 \((a,b)\) 上不变号，矛盾。故 \(k=n\)，即 \(p_n\) 恰有 \(n\) 个单实零点在 \((a,b)\) 内。
证明 Legendre 多项式 \(P_n\) 定义在 \([-1,1]\) 上（权函数 \(\rho\equiv1\)），满足 Rodrigues 公式 \(P_n(x)=\frac{1}{2^n n!}\frac{d^n}{dx^n}(x^2-1)^n\)。证明 \(\{P_n\}\) 两两正交。
设 \(m < n\)，需证 \(\int_{-1}^1 P_m P_n\,dx=0\)。

令 \(Q_n = (x^2-1)^n\)，则 \(P_n = \frac{1}{2^n n!}Q_n^{(n)}\)。对 \(\int_{-1}^1 P_m Q_n^{(n)}\,dx\) 分部积分 \(n\) 次：每次边界项为零（因 \(Q_n\) 在 \(\pm1\) 处有 \(n\) 重零点），得 \((-1)^n\int_{-1}^1 P_m^{(n)} Q_n\,dx\)。

因 \(\deg P_m = m < n\)，故 \(P_m^{(n)}\equiv0\)，积分为零。
填空 Legendre 多项式的递推关系（前几项）：
\(P_0=\)，\(P_1=\)，\(P_2=\)，\(P_3=\)

递推：\((n+1)P_{n+1}(x)=\)
\(P_0=1,\;P_1=x,\;P_2=\frac{1}{2}(3x^2-1),\;P_3=\frac{1}{2}(5x^3-3x)\)
\((n+1)P_{n+1}(x) = (2n+1)xP_n(x) - nP_{n-1}(x)\)
证明 设 \(\{p_0,p_1,\dots\}\) 是 \([a,b]\) 上关于权 \(\rho\) 的正交多项式系（\(\deg p_k=k\)），\(f\in L^2_\rho[a,b]\)。证明最佳 \(L^2\) 逼近的误差满足 Bessel 不等式：\(\sum_{k=0}^n \frac{\langle f,p_k\rangle^2}{\langle p_k,p_k\rangle}\le\|f\|^2\)。
令 \(a_k=\langle f,p_k\rangle/\langle p_k,p_k\rangle\)，\(S_n=\sum_{k=0}^n a_k p_k\)。展开： \[0\le\|f-S_n\|^2 = \|f\|^2 - 2\langle f,S_n\rangle + \|S_n\|^2 = \|f\|^2 - \sum_{k=0}^n\frac{\langle f,p_k\rangle^2}{\langle p_k,p_k\rangle}\] 故 \(\sum_{k=0}^n\frac{\langle f,p_k\rangle^2}{\langle p_k,p_k\rangle}\le\|f\|^2\)。

2.2 Chebyshev 多项式

填空 Chebyshev 多项式的三角定义与递推：
\(T_n(x)=\)（\(|x|\le1\)），\(T_n(x)=\)（\(|x|>1\)）

\(T_0=\)，\(T_1=\)，\(T_{n+1}=\)
\(T_n(x)=\cos(n\arccos x)\)；\(T_n(x)=\cosh(n\,\mathrm{arccosh}\,x)\)
\(T_0=1,\;T_1=x,\;T_{n+1}=2xT_n-T_{n-1}\)
填空 \(T_n\) 的零点、极值点、首项系数，以及正交性（权函数是什么？）：
零点：\(x_k=\cos\frac{(2k-1)\pi}{2n}\)，\(k=1,\dots,n\)
极值点：\(\tilde x_k=\cos\frac{k\pi}{n}\)，\(k=0,\dots,n\)，\(T_n(\tilde x_k)=(-1)^k\)
首项系数：\(2^{n-1}\)（\(n\ge1\)）
正交性：\(\int_{-1}^1\frac{T_m T_n}{\sqrt{1-x^2}}\,dx=\begin{cases}0&m\neq n\\\pi/2&m=n\neq0\\\pi&m=n=0\end{cases}\)（权函数 \(\rho=(1-x^2)^{-1/2}\)）
证明 最优性：在所有首一 \(n\) 次多项式中，\(2^{1-n}T_n\) 的 \(\|\cdot\|_\infty\) 范数最小，值为 \(2^{1-n}\)。
\(\|\tilde T_n\|_\infty=2^{1-n}\)（\(T_n\) 在 \(n+1\) 个极值点交替取 \(\pm1\)）。反设存在首一 \(p\) 使 \(\|p\|_\infty<2^{1-n}\)，令 \(q=\tilde T_n-p\)，\(\deg q\le n-1\)。在 \(n+1\) 个极值点处 \(q\) 交替变号，故有 \(n\) 个零点，矛盾。
证明 以 \(T_{n+1}\) 的零点为节点的 Lagrange 插值误差：\(\|f-L_n\|_\infty\le\frac{\|f^{(n+1)}\|_\infty}{(n+1)!\,2^n}\)。
余项 \(|f-L_n|=\frac{|f^{(n+1)}(\xi)|}{(n+1)!}|\omega_{n+1}|\)。节点为 \(T_{n+1}\) 零点时 \(\omega_{n+1}=2^{-n}T_{n+1}\)（首项系数 \(2^n\)），故 \(|\omega_{n+1}|\le 2^{-n}\)，代入即得。
证明 证明 \(T_n(2x-1)=T_{2n}(\sqrt{x})\)，其中 \(0<x<1\)。
令 \(t=\sqrt{x}\in(0,1)\)，设 \(\theta=\arccos t\)，则 \(\cos\theta=t=\sqrt{x}\)。
\(T_{2n}(\sqrt{x})=\cos(2n\theta)\)。
另一方面，\(2x-1=2\cos^2\theta-1=\cos(2\theta)\)，故 \(T_n(2x-1)=\cos(n\cdot2\theta)=\cos(2n\theta)\)。两式相等。
填空 离散正交性：以 \(T_n\) 的 \(n\) 个零点 \(x_k=\cos\frac{(2k-1)\pi}{2n}\) 为节点，\(\{T_j\}_{0\le j<n}\) 关于离散内积 \((u,v)=\sum_{k=1}^n u(x_k)v(x_k)\) 满足：
\((T_i,T_j)=\)
\[(T_i,T_j)=\begin{cases}0&i\neq j\\n/2&i=j\neq0\\n&i=j=0\end{cases}\]

2.3 最小二乘逼近

简答 写出连续最小二乘逼近的正规方程，并说明当基函数正交时方程如何简化。
正规方程：\(G\mathbf{a}=\mathbf{b}\)，\(G_{ij}=\langle\varphi_i,\varphi_j\rangle\)，\(b_i=\langle f,\varphi_i\rangle\)。
正交时 \(G\) 为对角阵，\(a_j=\langle f,\varphi_j\rangle/\|\varphi_j\|^2\)，无需解方程组。
证明 最小二乘逼近的最优性：\(p^*=\sum a_j\varphi_j\) 是 \(f\) 在子空间 \(V_n=\mathrm{span}\{\varphi_j\}\) 中的最佳 \(L^2\) 逼近，当且仅当残差 \(f-p^*\perp V_n\)。
对任意 \(q\in V_n\)：\(\|f-q\|^2=\|f-p^*+(p^*-q)\|^2=\|f-p^*\|^2+2\langle f-p^*,p^*-q\rangle+\|p^*-q\|^2\)。
若 \(f-p^*\perp V_n\)，则中间项为零，\(\|f-q\|^2\ge\|f-p^*\|^2\)，故 \(p^*\) 最优。
反之若 \(p^*\) 最优，对任意 \(v\in V_n\) 令 \(q=p^*+tv\)，\(\frac{d}{dt}\|f-q\|^2|_{t=0}=-2\langle f-p^*,v\rangle=0\)，故 \(f-p^*\perp V_n\)。

2.4 最小二乘问题的数值解法

证明 设 \(A\in\mathbb{R}^{m\times n}\)（\(m>n\)），证明 \(x^*\) 是最小二乘问题 \(\min_x\|Ax-b\|_2^2\) 的解，当且仅当 \(A^T(Ax^*-b)=0\)。
令 \(f(x)=\|Ax-b\|_2^2=(Ax-b)^T(Ax-b)\)，对任意方向 \(d\)：

\(f(x^*+td)=\|A(x^*+td)-b\|_2^2=f(x^*)+2t(Ax^*-b)^TAd+t^2\|Ad\|_2^2\)。

必要性：若 \(x^*\) 是极小值点，则 \(\nabla f(x^*)=2A^T(Ax^*-b)=0\)。

充分性：若 \(A^T(Ax^*-b)=0\)，则对任意 \(d\)：\(f(x^*+d)=f(x^*)+\|Ad\|_2^2\ge f(x^*)\)，故 \(x^*\) 是全局最小值点。
简答 为什么直接用法方程 \(A^TAx=A^Tb\) 求解最小二乘问题在数值上不稳定？QR 分解如何改善这一问题？
法方程的不稳定性：\(\kappa_2(A^TA)=\kappa_2(A)^2\)，条件数平方放大，当 \(A\) 本身条件数较大时，\(A^TA\) 的条件数极大，导致解对舍入误差高度敏感。

QR 分解：对 \(A\) 做 QR 分解 \(A=QR\)（\(Q\) 列正交，\(R\) 上三角），则 \(\|Ax-b\|_2=\|QRx-b\|_2=\|Rx-Q^Tb\|_2\)（正交变换不改变范数）。最小二乘解满足 \(Rx^*=Q^Tb\)，条件数为 \(\kappa_2(R)=\kappa_2(A)\)，避免了平方放大。
证明 设 \(A=QR\)，其中 \(Q\in\mathbb{R}^{m\times n}\) 列正交（\(Q^TQ=I\)），\(R\in\mathbb{R}^{n\times n}\) 上三角且可逆，证明最小二乘解为 \(x^*=R^{-1}Q^Tb\)。
将 \(A=QR\) 代入法方程 \(A^T(Ax^*-b)=0\)：

\((QR)^T(QRx^*-b)=0 \Rightarrow R^TQ^T(QRx^*-b)=0\)。

因 \(Q^TQ=I\)：\(R^T(Rx^*-Q^Tb)=0\)。

\(R^T\) 可逆（\(R\) 可逆），故 \(Rx^*=Q^Tb\)，即 \(x^*=R^{-1}Q^Tb\)。