Approssimazione dei minimi quadrati con funzioni continue

Descrizione del problema

Suppongo di avere una funzione $f$$f$ continua su un certo intervallo $[a,b]$$[a,b]$ (invece che un insieme di dati), e suppongo di considerare un set di funzioni $\{\phi _{j}(x)\}$$\{\phi _{j}(x)\}$ che costituiscono un insieme di generatori indipendenti. Voglio determinare $\phi _{\ast }(x)=\sum _{j=1}^{n}\alpha _{j}^{*}\phi _{j}(x)$$\phi _{\ast }(x)=\sum _{j=1}^{n}\alpha _{j}^{*}\phi _{j}(x)$ tali che

$$(\vert f-\phi _{\ast }\vert )^{2}=\min _{\phi \in V}(\vert f-\phi \vert )^{2}$$

$$(\vert f-\phi _{\ast }\vert )^{2}=\min _{\phi \in V}(\vert f-\phi \vert )^{2}$$

Considero il prodotto scalare $L_{2}$$L_{2}$ pesato, tale che

$$g\cdot h=\int _{a}^{b}\omega (x)g(x)h(x)\,dx$$

$$g\cdot h=\int _{a}^{b}\omega (x)g(x)h(x)\,dx$$

dove $\omega (x)$$\omega (x)$ viene chiamata peso.

Si dice funzione peso una funzione $\omega (x)\geq 0\forall x\in [a,b]$$\omega (x)\geq 0\forall x\in [a,b]$, e tale che $\int _{a}^{b}\omega (x)dx<\infty$$\int _{a}^{b}\omega (x)dx<\infty$. Il prodotto scalare induce una norma

$$\vert g\vert ={\sqrt {\int _{a}^{b}\omega (x)g(x)\,dx}}$$

$$\vert g\vert ={\sqrt {\int _{a}^{b}\omega (x)g(x)\,dx}}$$

Chiamo

$$\psi (a_{0},\dots ,a_{n})=(\vert f-\phi \vert )^{2}=\int _{a}^{b}[f(x)-\sum _{j=0}^{n}a_{j}\phi _{j}(x)]^{2}\omega _{x}\,dx$$

$$\psi (a_{0},\dots ,a_{n})=(\vert f-\phi \vert )^{2}=\int _{a}^{b}[f(x)-\sum _{j=0}^{n}a_{j}\phi _{j}(x)]^{2}\omega _{x}\,dx$$

Per ogni $i=0,\dots ,n$$i=0,\dots ,n$ considero

$${\frac {\partial \psi }{\partial a_{i}}}=\int _{a}^{b}{\frac {\partial }{\partial a_{i}}}[f-\sum _{j=0}^{n}\phi (x)^{2}]\omega (x)\,dx$$

$${\frac {\partial \psi }{\partial a_{i}}}=\int _{a}^{b}{\frac {\partial }{\partial a_{i}}}[f-\sum _{j=0}^{n}\phi (x)^{2}]\omega (x)\,dx$$

$$=\int _{a}^{b}2*(f(x)-\sum _{j=0}^{n}a_{j}\phi _{j}(x))*(-\phi _{j}(x))*\omega (x)\,dx$$

$$=\int _{a}^{b}2*(f(x)-\sum _{j=0}^{n}a_{j}\phi _{j}(x))*(-\phi _{j}(x))*\omega (x)\,dx$$

e impongo

$$2(-f\cdot \phi _{i}+\sum _{j=0}^{n}a_{j}*\phi _{i}\cdot \phi _{j})=0$$

$$2(-f\cdot \phi _{i}+\sum _{j=0}^{n}a_{j}*\phi _{i}\cdot \phi _{j})=0$$

Ottengo il sistema delle equazioni normali

$$C{\boldsymbol {a}}={\boldsymbol {b}}$$

$$C{\boldsymbol {a}}={\boldsymbol {b}}$$

con

$$C=(c_{ij})=\phi _{i}\cdot \phi _{j}$$

$$C=(c_{ij})=\phi _{i}\cdot \phi _{j}$$

$$b_{i}=f\cdot \phi _{i}$$

$$b_{i}=f\cdot \phi _{i}$$

Come nel caso discreto, $C=H_{\psi }$$C=H_{\psi }$, e dimostriamo che $C$$C$ è simmetrica e definita positiva.

Proposizione 5.2

Se $C$$C$ è simmetrica definita positiva, allora esiste unica la soluzione del sistema

$$C{\boldsymbol {a}}={\boldsymbol {b}}$$

$$C{\boldsymbol {a}}={\boldsymbol {b}}$$

ed è un minimo.

 

Dimostrazione

La simmetria è ovvia per le proprietà del prodotto scalare

$$c_{ij}=\phi _{i}\cdot \phi _{j}=\int _{a}^{b}\phi _{i}\phi _{j}\omega (x)\,dx=\phi _{j}\cdot \phi _{i}\forall i,j$$

$$c_{ij}=\phi _{i}\cdot \phi _{j}=\int _{a}^{b}\phi _{i}\phi _{j}\omega (x)\,dx=\phi _{j}\cdot \phi _{i}\forall i,j$$

Dimostro che per ogni $z\neq 0$$z\neq 0$.

$${\boldsymbol {z}}^{t}C{\boldsymbol {z}}>0$$

$${\boldsymbol {z}}^{t}C{\boldsymbol {z}}>0$$

dove

$${\boldsymbol {z}}^{t}C{\boldsymbol {z}}=\sum _{i,j=0}^{n}z_{i}C_{ij}z_{j}$$

$${\boldsymbol {z}}^{t}C{\boldsymbol {z}}=\sum _{i,j=0}^{n}z_{i}C_{ij}z_{j}$$

e sostituendo le espressioni dei $C_{ij}$$C_{ij}$ ottengo

$$=(\sum _{i}z_{i}\phi _{i})*\sum _{j}\phi _{j}z_{j})$$

$$=(\sum _{i}z_{i}\phi _{i})*\sum _{j}\phi _{j}z_{j})$$

$$=(\vert \sum _{j=0}^{n}\phi _{j}z_{j}\vert )^{2}\geq 0$$

$$=(\vert \sum _{j=0}^{n}\phi _{j}z_{j}\vert )^{2}\geq 0$$

$z^{t}Cz=0$$z^{t}Cz=0$ se e solo se $\vert \phi \vert =0$$\vert \phi \vert =0$, cioè

$$\sum _{j=0}^{n}\phi _{j}z_{j}=0$$

$$\sum _{j=0}^{n}\phi _{j}z_{j}=0$$

e quindi se e solo se $z_{j}=0\forall j$$z_{j}=0\forall j$.
Si garantisce che l'unica soluzione del sistema lineare è un minimo.

 

Esempio sullo spazio dei polinomi

Considero come peso $w(x)=1$$w(x)=1$, e i generatori $\phi _{j}=x^{j},\quad j=0,\dots ,n$$\phi _{j}=x^{j},\quad j=0,\dots ,n$ (spazio dei polinomi di grado n).

$$c_{ij}=\int _{a}^{b}x^{i}x^{j}\,dx=\int _{a}^{b}x^{i+j}\,dx=1/(i+j+1)*[b^{i+j+1}-a^{i+j+1})$$

$$c_{ij}=\int _{a}^{b}x^{i}x^{j}\,dx=\int _{a}^{b}x^{i+j}\,dx=1/(i+j+1)*[b^{i+j+1}-a^{i+j+1})$$

Si ottiene una matrice di Henkel, costante lungo le antidiagonali.
Nel caso in cui $[a,b]=[0,1]$$[a,b]=[0,1]$ si ha $c_{ij}=1/(i+j+1)$$c_{ij}=1/(i+j+1)$ e $C$$C$ è la matrice di Hilbert.

$${\begin{array}{cccc}1&1/2&1/3&1/4\\1/2&1/3&1/4&1/8\\1/3&1/4&1/5&1/6\\1/4&1/5&1/6&1/7\end{array}}$$

$${\begin{array}{cccc}1&1/2&1/3&1/4\\1/2&1/3&1/4&1/8\\1/3&1/4&1/5&1/6\\1/4&1/5&1/6&1/7\end{array}}$$

E' un esempio di matrice malcondizionata.

Sistema di generatori ortogonali

Per evitare di avere sistemi con matrici mal condizionate, considero $\phi _{i}\cdot \phi _{j}=0\forall i\neq j$$\phi _{i}\cdot \phi _{j}=0\forall i\neq j$, in modo che $C$$C$ sia una matrice diagonale.

Introduco famiglie di polinomi ortogoali rispetto a funzioni peso assegnate.

Caso 1 polinomi di Legendre

Questi polinomi sono ortogonali sull'intervallo $[-1,1]$$[-1,1]$ con $\omega (x)=1$$\omega (x)=1$.

$$l_{i}\cdot l_{j}=\int _{a}^{b}l_{i}l_{j}\,dx=k*\delta _{ij}$$

$$l_{i}\cdot l_{j}=\int _{a}^{b}l_{i}l_{j}\,dx=k*\delta _{ij}$$

$$l_{0}(x)=1$$

$$l_{0}(x)=1$$

$$l_{1}(x)=x$$

$$l_{1}(x)=x$$

$$(j+1)*l_{j+1}(x)=(2j+1)x*l_{j}(x)-jl_{j-1}(x)\quad {\hbox{formula di ricorsione a tre termini}}$$

$$(j+1)*l_{j+1}(x)=(2j+1)x*l_{j}(x)-jl_{j-1}(x)\quad {\hbox{formula di ricorsione a tre termini}}$$

dove $l_{i}\cdot l_{i}=2/(2i+1)$$l_{i}\cdot l_{i}=2/(2i+1)$.

Segue che, siccome il sistema dei minimi quadrati ha una matrice diagonale, si ha

$$a_{j}=\int _{-1}^{1}{\frac {f*\phi _{j}}{2/(2j+1)}}$$

$$a_{j}=\int _{-1}^{1}{\frac {f*\phi _{j}}{2/(2j+1)}}$$

Il condizionamento spettrale di una matrice simmetrica e definita positiva è

$${\frac {\lambda _{max}(C)}{\lambda _{min}(C)}}={\frac {2/(0+1)}{2/(2n+1)}}=2n+1$$

$${\frac {\lambda _{max}(C)}{\lambda _{min}(C)}}={\frac {2/(0+1)}{2/(2n+1)}}=2n+1$$

e il condizionamento cresce in maniera lineare rispetto a $n$$n$.

Caso 2 polinomi di Chebyshev

Definisco i pesi

$$w(x)={\frac {1}{\sqrt {1-x^{2}}}}$$

$$w(x)={\frac {1}{\sqrt {1-x^{2}}}}$$

e

$$t_{j}(x)=\cos(j*\arccos x)$$

$$t_{j}(x)=\cos(j*\arccos x)$$

$$t_{i}\cdot t_{j}=\int _{-1}^{1}{\frac {\cos(j*\arccos(x))*\cos(i*\arccos(x))}{\sqrt {1-x^{2}}}}=$$

$$t_{i}\cdot t_{j}=\int _{-1}^{1}{\frac {\cos(j*\arccos(x))*\cos(i*\arccos(x))}{\sqrt {1-x^{2}}}}=$$

$$={\begin{cases}0&\iff i\neq j\\\pi &\iff i=j=0\\\pi /2&\iff i=j>0\end{cases}}$$

$$={\begin{cases}0&\iff i\neq j\\\pi &\iff i=j=0\\\pi /2&\iff i=j>0\end{cases}}$$

$$a_{j}=\int _{-1}^{1}{\frac {f*t_{j}}{{\sqrt {1-x^{2}}}*(t_{j}\cdot t_{j})}}$$

$$a_{j}=\int _{-1}^{1}{\frac {f*t_{j}}{{\sqrt {1-x^{2}}}*(t_{j}\cdot t_{j})}}$$

Cerco

$$K_{2}(C)={\frac {\pi }{\pi /2}}=2$$

$$K_{2}(C)={\frac {\pi }{\pi /2}}=2$$

e il condizionamento è indipendente dalla dimensione.