Descomposició en valors singulars

Visualització de la DVS d'una matriu M de distorsió bidimensional real. Primer, veiem el disc unitat (en blau) amb els dos vectors canònics unitaris. Després veiem l'acció de M, que distorsiona el disc en una el·lipse. La DVS descompon M en tres transformacions simples: una rotació V^*, una homotècia Σ al llarg dels eixos coordenats rotats, i una segona rotació U. Les longituds σ₁ i σ₂ dels semieixos de l'el·lipse són els valors singulars de M.

En àlgebra lineal, la descomposició en valors singulars (DVS) és una descomposició de matrius d'una matriu real o complexa, amb gran nombre d'aplicacions en el processament de senyals i l'estadística.

Formalment, la descomposició en valors singulars d'una matriu M real o complexa de dimensió m×n és una factorització de la forma

$\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$

on U és una matriu unitària de dimensió m×m real o complexa, Σ és una matriu diagonal rectangular de dimensió m×n amb entrades reals no-negatives a la diagonal, i V* (la matriu transposada conjugada de V) és una matriu unitària real o complexa de dimensió n×n. Les entrades de la diagonal Σ_i,i de Σ són conegudes com els valors singulars de M. Les m columnes de U i les n columnes de V s'anomenen vectors singulars per l'esquerra i vectors singulars per la dreta de M, respectivament.

La descomposició en valors singulars i la descomposició espectral estan íntimament lligades. De fet:

• Els vectors singulars per l'esquerra de M són vectors propis de MM* .
• Els vectors singulars per la dreta de M són vectors propis de M*M.
• Els valors singulars no-nuls de M (que hom troba a les entrades de la diagonal de Σ) són les arrels quadrades dels valors propis tant de M*M com de MM* .

Algunes aplicacions de la DVS són el càlcul de la pseudoinversa d'una matriu, l'ajust de dades pel mètode dels mínims quadrats, aproximacions de matrius, i la determinació del rang, la imatge i el nucli d'una matriu.

Enunciat del teorema

Suposem que M és una matriu de dimensió m×n a entrades en un cos K, que pot ser el cos dels reals o el dels complexos. Aleshores existeix una factorització de la forma

$\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$

on U és una matriu unitària de dimensió m×m sobre K, la matriu Σ és una matriu diagonal de dimensió m×n amb valors reals no-negatius a la diagonal, i la matriu unitària V* de dimensió n×n denota la matriu transposada conjugada de la matriu unitària V de dimensió n×n. Una tal factorització s'anomena una descomposició en valors singulars de M.

Les entrades $\sigma _{i}$ de la diagonal de Σ es coneixen com els valors singulars d'M. Per convenció, hom acostuma a escriure la llista de valors singulars en ordre descendent. En aquest cas, la matriu diagonal Σ està unívocament determinada per M (però no ho estan les matrius U ni V).

Interpretacions intuïtives

Rotació, homotècia, rotació

En el cas especial (però comú) en què M és una matriu quadrada de dimensió m×m amb determinant positiu, i a entrades reals, aleshores U, V*, i Σ són també matrius m×m a entrades reals, Σ pot ser vista com una homotècia, i U i V* poden ser vistes com a matrius de rotació.

Si es donen aquestes condicions, l'expressió $\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}\,$ pot ser interpretada com una composició (o successió) de tres transformades geomètriques: una rotació, una homotècia i una altra rotació. Per exemple, la figura superior explica com es pot descriure una matriu de distorsió en termes d'aquesta composició de funcions.

Valors singulars com a semieixos d'una el·lipse o d'un el·lipsoide

Com es mostra en la figura, els valors singulars poden ser interpretats com els semieixos d'una el·lipse en dues dimensions. Aquest concepte es pot generalitzar a l'espai euclidià n-dimensional, on els valors singulars d'una matriu quadrada n×n arbitrària es poden interpretar com els semieixos d'un el·lipsoide n-dimensional. Vegeu més avall per més detalls.

Les columnes de U i V són bases ortonormals

Com que U i V* són unitàries, les columnes de cadascuna d'elles formen un conjunt de vectors ortonormals, que poden interpretar-se com a vectors d'una base. Per la definició de matriu unitària, el mateix aplica per les seves transposades conjugades U* i V. En altres paraules, U, U* , V i V* són bases ortonormals.

Exemple

Considerem la matriu 4×5

$\mathbf {M} ={\begin{bmatrix}1&0&0&0&2\\0&0&3&0&0\\0&0&0&0&0\\0&4&0&0&0\end{bmatrix}}$

Una descomposició en valors singulars d'aquesta matriu és $\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$

${\begin{aligned}\mathbf {U} &={\begin{bmatrix}0&0&1&0\\0&1&0&0\\0&0&0&-1\\1&0&0&0\end{bmatrix}}\\{\boldsymbol {\Sigma }}&={\begin{bmatrix}4&0&0&0&0\\0&3&0&0&0\\0&0&{\sqrt {5}}&0&0\\0&0&0&0&0\end{bmatrix}}\\\mathbf {V} ^{*}&={\begin{bmatrix}0&1&0&0&0\\0&0&1&0&0\\{\sqrt {0.2}}&0&0&0&{\sqrt {0.8}}\\0&0&0&1&0\\-{\sqrt {0.8}}&0&0&0&{\sqrt {0.2}}\end{bmatrix}}\end{aligned}}$

Notem que ${\boldsymbol {\Sigma }}$ és nul·la fora de la diagonal, i que un element de la diagonal és zero. A més, com que les matrius $\mathbf {U}$ i $\mathbf {V} ^{*}$ són unitàries, si les multipliquem per les seves transposades conjugades obtenim la matriu identitat, com es veu més avall. En aquest cas, com que $\mathbf {U}$ i $\mathbf {V} ^{*}$ són a entrades reals, totes dues són matrius ortogonals.

${\begin{aligned}\mathbf {U} \mathbf {U} ^{*}&={\begin{bmatrix}0&0&1&0\\0&1&0&0\\0&0&0&-1\\1&0&0&0\end{bmatrix}}\cdot {\begin{bmatrix}0&0&0&1\\0&1&0&0\\1&0&0&0\\0&0&-1&0\end{bmatrix}}\\&={\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\\0&0&0&1\end{bmatrix}}\equiv \mathbf {I} _{4}\end{aligned}}$

i

${\begin{aligned}\mathbf {V} \mathbf {V} ^{*}&={\begin{bmatrix}0&0&{\sqrt {0.2}}&0&-{\sqrt {0.8}}\\1&0&0&0&0\\0&1&0&0&0\\0&0&0&1&0\\0&0&{\sqrt {0.8}}&0&{\sqrt {0.2}}\end{bmatrix}}\cdot {\begin{bmatrix}0&1&0&0&0\\0&0&1&0&0\\{\sqrt {0.2}}&0&0&0&{\sqrt {0.8}}\\0&0&0&1&0\\-{\sqrt {0.8}}&0&0&0&{\sqrt {0.2}}\end{bmatrix}}\\&={\begin{bmatrix}1&0&0&0&0\\0&1&0&0&0\\0&0&1&0&0\\0&0&0&1&0\\0&0&0&0&1\end{bmatrix}}\equiv \mathbf {I} _{5}\end{aligned}}$

En aquest cas concret, aquesta descomposició en valors singulars no és única. Si escollim $V$ tal que

$\mathbf {V} ^{*}={\begin{bmatrix}0&1&0&0&0\\0&0&1&0&0\\{\sqrt {0.2}}&0&0&0&{\sqrt {0.8}}\\{\sqrt {0.4}}&0&0&{\sqrt {0.5}}&-{\sqrt {0.1}}\\-{\sqrt {0.4}}&0&0&{\sqrt {0.5}}&{\sqrt {0.1}}\end{bmatrix}}$

també obtenim una descomposició en valors singulars vàlida.

Valors singulars, vectors singulars, i la seva relació amb la DVS

Un nombre real no-negatiu σ és un valor singular de M si i només si existeixen vectors unitaris u de K^m i v de Kⁿ tals que

$\mathbf {M} {\vec {v}}=\sigma {\vec {u}}\,{\text{ i }}\mathbf {M} ^{*}{\vec {u}}=\sigma {\vec {v}}$

Els vectors u i v s'anomenen vector singular per l'esquerra i vector singular per la dreta de σ, respectivament.

En qualsevol descomposició en valors singulars

$\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$

les entrades de la diagonal de Σ són iguals als valors singulars de M. Les columnes de U i V són, respectivament, vectors singulars per l'esquerra i per la dreta pels corresponents valors singulars. En conseqüència, el teorema implica que:

• Una matriu M de dimensió m × n té, com a molt, p = min(m,n) valors singulars diferents.
• Sempre és possible trobar una base ortogonal U de K^m formada per vectors singulars per l'esquerra de M.
• Sempre és possible trobar una base ortogonal V de Kⁿ formada per vectors singulars per la dreta de M.

Un valor singular pel qual podem trobar dos vectors singulars per l'esquerra (o per la dreta) que siguin linealment independents s'anomena degenerat.

Els valors singulars no-degenerats sempre tenen vectors singulars per l'esquerra i per la dreta únics, llevat de multiplicació per un factor de mòdul unitari e^iφ (en el cas real, llevat de signe). En conseqüència, si tots els valors singulars de M són no-degenerats i no-nuls, llavors la seva descomposició en valors singulars és única, llevat de multiplicar una columna de U per un factor de mòdul unitari i alhora multiplicar la corresponent columna de V pel mateix factor de mòdul unitari.

Els valors singulars degenerats, per definició, tenen vectors singulars no-únics. És més, si u₁ i u₂ són dos vectors singulars per l'esquerra corresponents al valor singular σ, llavors qualsevol combinació lineal normalitzada és també un vector singular per l'esquerra corresponent al valor singular σ. El mateix és vàlid per vectors singulars per la dreta. En conseqüència, si M té valors singulars degenerats, llavors la seva descomposició en valors singulars no és única.

Aplicacions de la DVS

Pseudoinversa

Hom pot emprar la descomposició en valors singulars per calcular la pseudoinversa d'una matriu. En efecte, la pseudoinversa de la matriu M amb descomposició en valors singulars $\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$ és

$\mathbf {M} ^{+}=\mathbf {V} {\boldsymbol {\Sigma }}^{+}\mathbf {U} ^{*}$

on Σ⁺ és la pseudoinversa de Σ, formada tot substituint els elements no-nuls de la diagonal pels seus respectius recíprocs i transposant la matriu resultant. La pseudoinversa és una forma de resoldre problemes de mínims quadrats ordinaris.

Resolució d'equacions lineals homogènies

Podem escriure un sistema d'equacions lineals homogènies com a $\mathbf {A} {\vec {x}}=\mathbf {0}$ per una matriu $\mathbf {A}$ i un vector ${\vec {x}}$. Una situació típica és que $\mathbf {A}$ és coneguda, i hem de determinar ${\vec {x}}$ no-nul que satisfaci l'equació. Un tal ${\vec {x}}$ pertany al nucli de $\mathbf {A}$ i de vegades s'anomena un vector nul (per la dreta) de $\mathbf {A}$. El vector ${\vec {x}}$ pot caracteritzar-se com un vector singular per la dreta corresponent a un valor singular de $\mathbf {A}$ que és zero. Aquesta observació significa que si $\mathbf {A}$ és una matriu quadrada i no té cap valor singular nul, llavors l'equació no té solució ${\vec {x}}$ no-nul·la. També vol dir que si hi ha diversos valors singulars nuls, llavors qualsevol combinació lineal dels corresponents vectors singulars per la dreta n'és una solució vàlida. De forma anàloga a la definició de vector nul (per la dreta), un vector no-nul ${\vec {x}}$ que satisfaci ${\vec {x^{*}}}\mathbf {A} =\mathbf {0}$, on ${\vec {x^{*}}}$ denota el transposat conjugat de ${\vec {x}}$, s'anomena vector nul per l'esquerra de $\mathbf {A}$.

Minimització de mínims quadrats totals

Un problema de mínims quadrats totals es refereix a determinar el vector $\mathbf {x}$ que minimitza la 2-norma d'un vector $\mathbf {A} \,\mathbf {x}$ amb la restricció $\|\mathbf {x} \|=1$. La solució resulta ser el vector singular per la dreta de $\mathbf {A}$ corresponent al valor singular més petit.

Imatge, nucli i rang

Una altra aplicació de la DVS és que proveeix d'una representació explícita de la imatge i el nucli d'una matriu M. Els vectors singulars per la dreta corresponents a valors singulars nuls de M generen el nucli de M. Per exemple, les últimes dues columnes de $\mathbf {V}$ generen el nucli en l'exemple anterior. Els vectors singulars per l'esquerra corresponents als valors singulars no-nuls de M generen la imatge de M. Com a conseqüència, el rang de M és igual al nombre de valors singulars no-nuls, la qual cosa equival al nombre d'elements no-nuls de la diagonal de ${\boldsymbol {\Sigma }}$.

En àlgebra lineal numèrica, els valors singulars poden emprar-se per determinar el rang efectiu d'una matriu, atès que els errors d'arrodoniment poden portar a valors singulars no-nuls però molt petits en una matriu mal condicionada.

Aproximació per matrius de rang baix

Algunes aplicacions pràctiques necessiten resoldre el problema d'aproximar una matriu $\mathbf {M}$ amb una altra matriu ${\tilde {\mathbf {M} }}$, anomenada truncada, que tingui un rang específic $r$. En el cas que l'aproximació es basi en minimitzar la norma de Frobenius de la diferència entre $\mathbf {M}$ i ${\tilde {\mathbf {M} }}$ amb la restricció que $\operatorname {rang} \left({\tilde {\mathbf {M} }}\right)=r$, resulta que la solució ve donada per la DVS de $\mathbf {M}$, és a dir

${\tilde {\mathbf {M} }}=\mathbf {U} {\tilde {\boldsymbol {\Sigma }}}\mathbf {V} ^{*}$

on ${\tilde {\boldsymbol {\Sigma }}}$ és la mateixa matriu que ${\boldsymbol {\Sigma }}$, excepte que conté només els $r$ valors singulars més grans (els altres valors singulars se substitueixen per zero). Això es coneix com el Teorema d'Eckart-Young, atès que va ser demostrat per aquests dos autors en 1936 (encara que més tard es va descobrir que el resultat era conegut per autors anteriors; vegeu Stewart 1993).

Models separables

Hom pot interpretar la DVS com descompondre una matriu en una suma ordenada i amb pesos de matrius separables. Per separable, volem dir que una matriu $\mathbf {A}$ pot escriure's com a producte exterior de dos vectors $\mathbf {A} =\mathbf {u} \otimes \mathbf {v}$, o, en coordenades, $\mathbf {A(i,j)} =\mathbf {u} (i)\mathbf {v} (j)$. De forma específica, es pot descompondre la matriu M com:

$\mathbf {M} =\sum _{i}\mathbf {A} _{i}=\sum _{i}\sigma _{i}U_{i}\otimes V_{i}^{\dagger }$

Aquí, $U_{i}$ i $V_{i}$ són les columnes i-simes de les corresponents matrius de la DVS, $\sigma _{i}$ són els valors singulars ordenats, i cada $\mathbf {A} _{i}$ és separable. La DVS es pot emprar per trobar la descomposició d'un filtre de processament d'imatges en filtres separables horitzontals i verticals. Notem que el nombre de $\sigma _{i}$ no-nuls és exactament el rang de la matriu.

Els models separables apareixen amb freqüència en sistemes biològics, i la descomposició DVS és útil per analitzar-los. Per exemple, es poden descriure els camps receptius d'una àrea visual V1 mitjançant un filtre de Gabor en el domini espacial multiplicat per una funció de modulació en el domini temporal. Llavors, donat un filtre lineal avaluat a través de, per exemple, una correlació inversa, es poden reconfigurar les dues dimensions espacials en una sola dimensió, obtenint per tant un filtre bidimensional (espai, temps) que es pot descompondre mitjançant DVS. La primera columna d'U en la descomposició DVS és Gabor mentre que la primera columna de V representa la modulació de temps (o viceversa). Hom pot definir llavors un índex de separabilitat, $\alpha ={\frac {1}{\sum _{i}\sigma _{i}^{2}}}\sigma _{1}^{2}$, que és la fracció de la potència de la matriu M assolida per la primera matriu separable de la descomposició.

Matriu ortogonal més propera

És possible usar la DVS de $\mathbf {A}$ per determinar la matriu ortogonal $\mathbf {R}$ més propera a $\mathbf {A}$. La proximitat de l'ajust es mesura per la norma de Frobenius de $\mathbf {R} -\mathbf {A}$. La solució és el producte $\mathbf {U} \mathbf {V} ^{*}$. Això té sentit des d'un punt de vista intuïtiu, perquè una matriu ortogonal tindria una descomposició $\mathbf {U} \mathbf {I} \mathbf {V} ^{*}$ on $\mathbf {I}$ és la matriu identitat, de tal manera que si $\mathbf {A} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$ llavors el producte $\mathbf {A} =\mathbf {U} \mathbf {V} ^{*}$ ve a ser el mateix que substituir els valors singulars per uns.

Un problema similar, amb aplicacions interessants en l'anàlisi de formes geomètriques, és el problema de Procuste ortogonal, que consisteix en trobar una matriu ortogonal $\mathbf {R}$ que millor apliqui $\mathbf {A}$ en $\mathbf {B}$. Més específicament,

$\mathbf {R} =\arg \min _{\boldsymbol {\Omega }}\|\mathbf {A} {\boldsymbol {\Omega }}-\mathbf {B} \|_{F}\quad \mathrm {restringit\ a} \quad {\boldsymbol {\Omega }}^{T}{\boldsymbol {\Omega }}=\mathbf {I}$

on $\|\cdot \|_{F}$ denota la norma de Frobenius.

Aquest problema és equivalent a trobar la matriu ortogonal més propera a una matriu donada $\mathbf {M} =\mathbf {A} ^{T}\mathbf {B}$.

Algorisme de Kabsch

L'algorisme de Kabsch (conegut en altres contextos com a problema de Wahba) usa la DVS per calcular la rotació òptima (amb relació a la minimització per mínims quadrats) que alineï un conjunt de punts amb un altre conjunt de punts. S'usa, entre altres aplicacions, per comparar les estructures de les molècules.

Relació amb la descomposició en valors propis

La descomposició en valors singulars és molt general, en el sentit que es pot aplicar a qualsevol matriu m × n, mentre que la descomposició espectral només pot aplicar-se a certs tipus de matrius quadrades. Tot i això, les dues descomposicions estan relacionades.

Donada una DVS de M, segons s'ha descrit més amunt, es compleixen les següents relacions:

${\begin{aligned}\mathbf {M} ^{*}\mathbf {M} &=\mathbf {V} {\boldsymbol {\Sigma ^{*}}}\mathbf {U} ^{*}\,\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}=\mathbf {V} ({\boldsymbol {\Sigma }}^{*}{\boldsymbol {\Sigma }})\mathbf {V} ^{*}\\\mathbf {M} \mathbf {M} ^{*}&=\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}\,\mathbf {V} {\boldsymbol {\Sigma }}^{*}\mathbf {U} ^{*}=\mathbf {U} ({\boldsymbol {\Sigma }}{\boldsymbol {\Sigma }}^{*})\mathbf {U} ^{*}\end{aligned}}$

El segon membre d'aquestes relacions descriuen les descomposicions en valors propis del primer membre. En conseqüència:

• Les columnes de V (vectors singulars per la dreta) són vectors propis de $\mathbf {M} ^{*}\mathbf {M}$.
• Les columnes de U (vectors singulars per l'esquerra) són vectors propis de $\mathbf {M} \mathbf {M} ^{*}$.
• Els elements no-nuls de Σ (valors singulars no-nuls) són les arrels quadrades dels valors singulars no-nuls de $\mathbf {M} ^{*}\mathbf {M}$ o $\mathbf {M} \mathbf {M} ^{*}$.

En el cas especial que M és una matriu normal, que per definició és quadrada, el teorema espectral diu que pot ser diagonalitzada de forma unitària usant una base de vectors propis, de tal manera que es pot escriure com a $\mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}$ per alguna matriu unitària U i una matriu diagonal D. Quan M és també semidefinida positiva, la descomposició $\mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}$ és també una descomposició en valors singulars.

Tot i això, la descomposició en valors propis i la descomposició en valors singulars difereixen per qualsevol altra matriu M: la descomposició en valors propis és $\mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{-1}$ on U no és necessàriament unitària i D no és necessàriament semidefinida positiva, mentre que la DVS és $\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$ on Σ és una matriu diagonal semidefinida positiva, i U i V són matrius unitàries que no estan necessàriament relacionades excepte a través de la matriu M.

Existència

Un valor propi λ d'una matriu es caracteritza per la relació algebraica M u = λ u. Quan M és hermítica, també tenim una caracterització variacional. Sigui M una matriu simètrica real de dimensió n × n. Definim f:ℝⁿ → ℝ per f(x) = x^T M x. Pel teorema de Weierstrass, aquesta funció contínua té un màxim en algun u quan està restringida a l'esfera unitat tancada $\{\|x\|\leq 1\}.$. Pel teorema dels multiplicadors de Lagrange, necessàriament u satisfà

$\nabla f=\nabla {\vec {x}}^{T}\mathbf {M} {\vec {x}}=\lambda \cdot \nabla {\vec {x}}^{T}{\vec {x}}$

on el símbol $\nabla$ denota l'operador nabla.

Un càlcul breu mostra que la relació anterior implica M u = λ u (aquí és necessària la simetria de M). Per tant, λ és el valor propi més gran de M. El mateix càlcul sobre el complement ortogonal de u ens dona el següent valor propi més gran, i així successivament. El cas hermític complex és similar; en aquest cas, f(x) = x* M x és una funció real de 2n variables reals.

Els valors singulars són similars en el sentit que es poden descriure de forma algebraica o mitjançant principis variacionals. En canvi, al contrari que el cas de valors propis, no és necessari que M sigui hermítica o simètrica.

Aquesta secció dona aquests dos arguments per l'existència de la descomposició en valors singulars.

Basada en el teorema espectral

Sigui M una matriu m per n a entrades complexes. M*M és semidefinida positiva i hermítica. Pel teorema espectral, existeix una matriu unitària V de dimensió n per n tal que

$\mathbf {V} ^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} ={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}}$

on D és diagonal i definida positiva. Fent una partició adequada de V podem escriure

${\begin{bmatrix}\mathbf {V} _{1}^{*}\\\mathbf {V} _{2}^{*}\end{bmatrix}}\mathbf {M} ^{*}\mathbf {M} {\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\\\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}}$

Per tant V₁*M*MV₁ = D i V₂*M*MV₂ = 0. L'última igualtat implica que MV₂ = 0.

Addicionalment, com que V és unitària, V₁*V₁ = I, V₂*V₂ = I i V₁V₁* + V₂V₂* = I.

Definim

$\mathbf {U} _{1}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}$

Aleshores

$\mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M}$

Observem que aquest és gairebé el resultat desitjat, excepte que U₁ i V₁ no són unitàries en general, sinó isometries. Per finalitzar l'argument, només hem d'"emplenar" aquestes matrius per fer-les unitàries. Per exemple, podem escollir U₂ tal que

$\mathbf {U} ={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}$

sigui unitària.

Definim

${\boldsymbol {\Sigma }}={\begin{bmatrix}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}}$

on afegim o suprimim files nul·les per fer que el nombre de files nul·les iguali el nombre de columnes de U₂. Llavors

${\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}{\begin{bmatrix}\mathbf {} D^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}}{\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}^{*}={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}\\0\end{bmatrix}}=\mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}V_{1}^{*}=\mathbf {M}$

que és el resultat desitjat:

$\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$

Notem que l'argument podria haver començat diagonalitzant MM* en comptes de M*M (Això mostra directament que MM* i M*M tenen els mateixos valors propis no-nuls).

Basada en caracterització variacional

Els valors singulars també es poden caracteritzar com els màxims de u^TMv, considerada com una funció de u i v, sobre subespais particulars. Els vectors singulars són els valors de u i v on s'arriba a aquests màxims.

Sigui M una matriu m × n a entrades reals. Siguin $S^{m-1}$ i $S^{n-1}$ els conjunts de vectors unitaris segons la 2-norma en ℝ^m i ℝⁿ respectivament. Definim la funció

$\sigma ({\vec {u}},{\vec {v}})={\vec {u}}^{T}M{\vec {v}}$

per vectors u ∈ $S^{m-1}$ i v ∈ $S^{n-1}$. Considerem la funció σ restringida a $S^{m-1}$ × $S^{n-1}$. Com que tant $S^{m-1}$ com $S^{n-1}$ són conjunts compactes, el seu producte també és compacte. Addicionalment, com que σ és contínua, té un màxim per almenys un parell de vectors u ∈ $S^{m-1}$ i v ∈ $S^{n-1}$. Aquest valor màxim es denota per σ₁ i els corresponents vectors es denoten per u₁ i v₁. Com que $\sigma _{1}$ és el valor més gran de $\sigma (u,v)$ llavors ha de ser no-negatiu. Si fos negatiu, canviant el signe de u₁ o de v₁ faria que la funció fos positiva i per tant de valor més gran.

Proposició: u₁, v₁ són vectors singulars per l'esquerra i per la dreta de M amb el seu corresponent valor singular σ₁.

Demostració: De forma similar al cas dels valors propis, per hipòtesi els dos vectors satisfan l'equació dels multiplicadors de Lagrange:

$\nabla \sigma =\nabla \;{\vec {u}}^{T}\mathbf {M} {\vec {v}}-\lambda _{1}\cdot \nabla \;{\vec {u}}^{T}{\vec {u}}-\lambda _{2}\cdot \nabla \;{\vec {v}}^{T}{\vec {v}}$

Després de treballar amb aquesta expressió, obtenim

$\mathbf {M} {\vec {v}}_{1}=2\lambda _{1}{\vec {u}}_{1}+0$

i

$\mathbf {M} ^{T}{\vec {u}}_{1}=0+2\lambda _{2}{\vec {v}}_{1}$

Multiplicant per l'esquerra la primera equació per ${\vec {u}}_{1}^{T}$ i la segona equació per ${\vec {v}}_{1}^{T}$, i recordant que ||u|| = ||v|| = 1 obtenim

${\begin{aligned}{\vec {u}}_{1}^{T}\mathbf {M} {\vec {v}}_{1}&=\sigma _{1}=2\lambda _{1}\\{\vec {v}}_{1}^{T}\mathbf {M} ^{T}{\vec {u}}_{1}&=\sigma _{1}=2\lambda _{2}\end{aligned}}$

Per tant σ₁ = 2 λ₁ = 2 λ₂. Per les propietats del funcional φ definit per

$\phi ({\vec {w}})={\vec {u}}_{1}^{T}{\vec {w}}$

tenim

$\mathbf {M} {\vec {v}}_{1}=\sigma _{1}{\vec {u}}_{1}$

De forma semblant,

$\mathbf {M} ^{T}{\vec {u}}_{1}=\sigma _{1}{\vec {v}}_{1}$

Això demostra la proposició.

Es poden trobar més vectors singulars i valors singulars tot maximitzant σ(u, v) sobre u, v normalitzats que siguin ortogonals a u₁ i v₁, respectivament.

El pas del cas real al complex és semblant al cas de valors propis.

Significat geomètric

Com que U i V són unitàries, sabem que les columnes u₁, …, u_m de U proporcionen una base ortonormal de K^m i les columnes v₁, …, v_n de V proporcionen una base ortonormal de Kⁿ (respecte als productes escalars estàndard en aquests espais).

La transformació lineal T :Kⁿ → K^m que porta cada vector x a Mx té una descripció particularment simple respecte a aquestes bases ortonormals: tenim que T(v_i) = σ_i u_i, per i = 1,...,mín(m,n), on σ_i és la i-sima entrada de la diagonal de Σ, i T(v_i) = 0 per i > mín(m,n).

El contingut geomètric del teorema DVS es pot resumir, per tant, de la següent forma: per cada aplicació lineal T :Kⁿ → K^m es poden trobar bases ortonormals de Kⁿ i K^m tals que T envia l'i-sim vector base de Kⁿ a un múltiple no-nul de l'i-sim vector base de K^m, i envia la resta de vectors de la base al vector nul. Per tant, respecte a aquestes bases, l'aplicació T es representa per una matriu diagonal amb entrades reals no-negatives.

Per tenir una imatge més visual dels valors singulars i la descomposició en valors singulars —almenys quan treballem en espais vectorials reals— considerem l'esfera unitat S en ℝⁿ. L'aplicació lineal T envia aquesta esfera a un el·lipsoide en ℝ^m. Els valors singulars no-nuls són simplement les longituds dels semieixos d'aquest el·lipsoide. Especialment, quan n=m, i tots els valors singulars són diferents i no-nuls, la DVS de l'aplicació lineal es pot analitzar fàcilment com una composició de tres moviments consecutius: considerem l'el·lipsoide T(S) i específicament els seus eixos; llavors considerem les direccions en ℝⁿ enviades per T sobre aquests eixos. Resulta que aquestes direccions són mútuament ortogonals. Apliquem primer una isometria v* que envia aquestes direccions als eixos coordenats de ℝⁿ. En un segon moviment, apliquem un endomorfisme d diagonalitzat al llarg dels eixos coordenats i eixamplant o estrenyent en cada direcció, usant les longituds dels semieixos de T(S) com a coeficients d'eixamplament. La composició dov* envia l'esfera unitat en un el·lipsoide isomètric a T(S). Per definir el tercer i últim moviment u, apliquem una isometria a aquest el·lipsoide per portar-lo a sobre de T(S). Es pot comprovar fàcilment que la composició u ∘ d ∘ v* coincideix amb T.

Càlcul de la descomposició en valors singulars

Enfocament numèric

Habitualment, la DVS d'una matriu M es calcula mitjançant un procediment de dos passos. En el primer pas, es redueix la matriu a una matriu bidiagonal. Això comporta O(mn²) operacions en coma flotant (flops), assumint que m ≥ n (aquesta formulació usa la notació O gran). El segon pas és calcular la DVS de la matriu bidiagonal. Aquest pas només es pot dur a terme mitjançant un mètode iteratiu (com en els algorismes per calcular valors propis). Tot i això, en la pràctica és suficient amb calcular la DVS fins a una determinada precisió, com l'èpsilon de la màquina. Si considerem constant aquesta precisió, llavors el segon pas comporta O(n) iteracions, cadascuna costant O(n) flops. Per tant, el primer pas és més costós, i el cost global és O(mn²) flops (Trefethen & Bau III 1997, Lecture 31).

Es pot realitzar el primer pas usant transformacions de Householder per un cost de 4mn² − 4n³/3 flops, assumint que només es necessiten els valors singulars, i no els vectors singulars. Si m és molt més gran que n llavors és convenient reduir primer la matriu M a una matriu triangular superior mitjançant la factorització QR, i llavors usar transformacions de Householder per continuar reduint la matriu a una forma bidiagonal; el cost combinat és 2mn² + 2n³ flops (Trefethen & Bau III 1997, Lecture 31).

El segon pas es pot dur a terme mitjançant una variant de l'algorisme QR per calcular els valors propis, que fou descrit originàriament per Golub & Kahan (1965). La subrutina DBDSQR de LAPACK implementa aquest mètode iteratiu, amb algunes modificacions per poder cobrir el cas en què els valors singulars són molt petits (Demmel & Kahan 1990). En conjunt amb un primer pas usant transformacions de Householder i, si cal, factorització QE, això forma la rutina DGESVD pel càlcul de la descomposició en valors singulars.

També s'ha implementat el mateix algorisme en la GNU Scientific Library (GSL). La GSL també ofereix un mètode alternatiu, que usa una ortogonalització de Jacobi en el pas 2 (GSL Team 2007). Aquest mètode calcula la DVS de la matriu bidiagonal tot resolent una seqüència de problemes DVS 2 per 2, de forma similar a com l'algorisme de valors propis de Jacobi resol una seqüència de mètodes de valors propis 2 per 2 (Golub & Van Loan 1996, §8.6.3). Finalment, un altre mètode pel pas 2 usa la idea d'un algorisme divideix i venceràs (Trefethen & Bau III 1997, Lecture 31).

Resultat analític d'una DVS 2 per 2

Els valors singulars d'una matriu 2 per 2 es poden calcular de forma analítica. Suposem que la matriu és $\mathbf {M} =z_{0}\mathbf {I} +z_{1}\sigma _{1}+z_{2}\sigma _{2}+z_{3}\sigma _{3}$

on els $z_{i}\in \mathbb {C}$ són nombres complexos que parametritzen la matriu, $\mathbf {I}$ és la matriu identitat, i $\sigma _{i}$ denoten les matrius de Pauli. Aleshores els dos valors singulars estan donats per

${\begin{aligned}\sigma _{\pm }&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm {\sqrt {(|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2})^{2}-|z_{0}^{2}-z_{1}^{2}-z_{2}^{2}-z_{3}^{2}|^{2}}}}}\\&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm 2{\sqrt {(\mathrm {Re} z_{0}z_{1}^{*})^{2}+(\mathrm {Re} z_{0}z_{2}^{*})^{2}+(\mathrm {Re} z_{0}z_{3}^{*})^{2}+(\mathrm {Im} z_{1}z_{2}^{*})^{2}+(\mathrm {Im} z_{2}z_{3}^{*})^{2}+(\mathrm {Im} z_{3}z_{1}^{*})^{2}}}}}\end{aligned}}$

Descomposicions en valors singulars reduïdes

En la pràctica, és força inusual trobar la DVS completa, incloent una descomposició unitària completa del nucli de la matriu. En canvi, acostuma a ser suficient (i més ràpid i econòmic en termes d'emmagatzematge) calcular una versió reduïda de la DVS. Podem distingir els següents casos per una matriu M de dimensió m×n i de rang r:

DVS 'aprimada'

$\mathbf {M} =\mathbf {U} _{n}{\boldsymbol {\Sigma _{n}}}\mathbf {V} ^{*}$

Només es calculen els n vectors columna de U corresponents als vectors fila de V* . La resta de vectors columna de U no es calculen. Això és significativament més ràpid i més econòmic que la DVS completa si n≪m. La matriu U_n és per tant m×n, Σ_n és n×n diagonal, i V és n×n.

El primer pas en el càlcul d'una DVS 'aprimada' acostuma a ser una factorització QR de M, que pot ser un càlcul significativament més ràpid si n≪m.

DVS compacta

$\mathbf {M} =\mathbf {U} _{r}{\boldsymbol {\Sigma }}_{r}\mathbf {V} _{r}^{*}$

Només es calculen els r vectors columna de U i els r vectors fila de V* corresponents als valors singulars no-nuls Σ_r. La resta de vectors de U i V* no es calculen. Això és més ràpid i més econòmic que la DVS 'aprimada' si r≪n. La matriu U_r és per tant m×r, Σ_r és r×r diagonal, i V_r* és r×n.

DVS truncada

${\tilde {\mathbf {M} }}=\mathbf {U} _{t}{\boldsymbol {\Sigma }}_{t}\mathbf {V} _{t}^{*}$

Només es calculen els t vectors columna de U i els t vectors fila de V* corresponents als t valors singulars Σ_t més grans. La resta de la matriu és descartada. Això pot ser molt més ràpid i econòmic que la DVS compacta si t≪r. La matriu U_t és per tant m×t, Σ_t és t×t diagonal, i V_t* és t×n.

És clar que la DVS truncada ja no és una descomposició exacta de la matriu original M, però com hem vist més amunt, la matriu aproximada ${\tilde {\mathbf {M} }}$ és, en un sentit molt útil, l'aproximació més propera a M que es pot aconseguir per una matriu de rang t.

Normes

Normes Ky Fan

La suma dels k valors singulars més grans de M és una norma matricial, la k-norma Ky Fan de M.

La primera de les normes de Ky Fan, la 1-norma Ky Fan, és el mateix que la norma d'operador de M com a operador lineal respecta les normes euclidianes de K^m i Kⁿ. En altres paraules, la 1-norma Ky Fan és la norma d'operador induïda pel producte intern euclidià estàndard $\ell ^{2}$. Per aquesta raó, també s'anomena 2-norma d'operador. Hom pot verificar fàcilment la relació entre la 1-norma Ky Fan i els valors singulars. En general és cert, per operadors afitats en espais de Hilbert (possiblement de dimensió infinita), que

$\|\mathbf {M} \|=\|\mathbf {M} ^{*}\mathbf {M} \|^{\frac {1}{2}}$

Però en el cas matricial, M*M^½ és una matriu normal, i llavors ||M* M||^½ és el valor propi més gran de M* M^½, és a dir, el valor singular més gran de M.

L'última de les normes Ky Fan, la suma de tots els valors singulars, és la norma de traça (també conegut com a 'norma nuclear'), definida com ||M|| = Tr[(M*M)^½] (els valors propis de M* M són els quadrats dels valors singulars).

Norma Hilbert–Schmidt

Els valors singulars estan relacionats amb una altra norma en l'espai dels operadors. Considerem el producte interior de Hilbert–Schmidt sobre les matrius n × n, definit per $\langle \mathbf {M} ,\mathbf {N} \rangle =\operatorname {tr} (\mathbf {N} ^{*}\mathbf {M} )$. La norma induïda és $\|\mathbf {M} \|=\langle \mathbf {M} ,\mathbf {M} \rangle ^{\frac {1}{2}}=\operatorname {tr} (\mathbf {M} ^{*}\mathbf {M} )^{\frac {1}{2}}$. Com que la traça és invariant per equivalència unitària, això ens diu que

$\|\mathbf {M} \|=\left(\sum \sigma _{i}^{2}\right)^{\frac {1}{2}}$

on $\sigma _{i}$ són els valors singulars de M. Això s'anomena la norma de Frobenius, 2-norma de Schatten o norma de Hilbert–Schmidt de M. Un càlcul directe mostra que si

$\mathbf {M} =(m_{ij})$

la norma de Frobenius de M coincideix amb

$\left(\sum _{ij}|m_{ij}|^{2}\right)^{\frac {1}{2}}$

DVS de tensors

Lamentablement, el problema de trobar una aproximació de rang baix a un tensor està mal plantejat. En altres paraules, no existeix una possible millor solució, però en canvi existeix una successió d'aproximacions cada cop millors que convergeixen a matrius infinitament grans. Tot i això, hi ha diverses maneres d'intentar trobar una descomposició.

Existeixen dos tipus de descomposicions de tensors, que generalitzen la DVS en matrius multidimensionals. Un d'aquests tipus descompon un tensor en suma de tensors de rang 1, veure l'algorisme Candecomp-PARAFAC (CP). L'algorisme CP no ha de ser confós amb una descomposició de rang R, però donat N, descompon el tensor en suma de N tensors de rang 1 que s'ajusten de manera òptima al tensor original. El segon tipus de descomposició calcula els subespais ortonormals associats als diferents eixos o models d'un tensor (espai de files ortonormal, espai de columnes, espai fibrat, etc.). Aquesta descomposició s'acostuma a anomenar Tucker3/TuckerM, DVS M-modal, DVS multilineal i de vegades DVS d'ordre superior (HOSVD, de l'anglès Higher-order singular value decomposition). Addicionalment, l'anàlisi de components principals multilineal en aprenentatge de subespais multipleals tracta les mateixes operacions matemàtiques que la descomposició de Tucker, però usades en un context diferent de reducció dimensional.

Operadors afitats en espais de Hilbert

La factorització $\mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}$ es pot estendre a un operador afitat M en un espai de Hilbert separable H. De fet, per tot operador afitat M, existeixen una isometria parcial U, una d'unitària V, un espai de mesura (X, μ), i un mesurable no-negatiu f tals que

$\mathbf {M} =\mathbf {U} T_{f}\mathbf {V} ^{*}$

on $T_{f}$ és la multiplicació per f sobre L²(X, μ).

Això es pot demostrar tot seguint un argument similar al cas matricial que hem vist més amunt. V T_f V* és l'única arrel quadrada positiva de M*M, donada pel càlcul funcional de Borel per operadors autoadjunts. La raó per la qual no és necessari que U sigui unitària és que, al contrari que en el cas de dimensió finita, donada una isometria U₁ amb nucli no-trivial, no es pot trobar cap U₂ tal que

${\begin{bmatrix}U_{1}\\U_{2}\end{bmatrix}}$

sigui un operador unitari.

Com en el cas de matrius, la descomposició en valors singulars és equivalent a la descomposició polar per operadors: podem escriure senzillament

$\mathbf {M} =\mathbf {U} \mathbf {V} ^{*}\cdot \mathbf {V} T_{f}\mathbf {V} ^{*}$

i notem que U V* encara és una isometria parcial, mentre que V T_f V* és positiva.

Valors singulars i operadors compactes

Per estendre la noció de valors singulars i vectors singulars per l'esquerra/per la dreta al cas d'operadors, necessitem restringir-nos als operadors compactes. És un fet general que els operadors compactes sobre espais de Banach tenen només un espectre discret. Això també és cert per operadors compactes sobre espais de Hilbert, ja que els espais de Hilbert són un cas especial d'espais de Banach. Si T és compacte, tot λ no-nul del seu espectre és un valor propi. Addicionalment, un operador autoadjunt compacte es pot diagonalitzar mitjançant els seus vectors propis. Si M és compacte, també ho és M*M. Aplicant el resultat de diagonalització, la imatge unitària de la seva arrel quadrada positiva T_f té un conjunt de vectors propis ortonormals {e_i} corresponents a valors propis estrictament positius {σ_i}. Per qualsevol ψ ∈ H,

$\mathbf {M} \psi =\mathbf {U} T_{f}\mathbf {V} ^{*}\psi =\sum _{i}\langle \mathbf {U} T_{f}\mathbf {V} ^{*}\psi ,\mathbf {U} e_{i}\rangle \mathbf {U} e_{i}=\sum _{i}\sigma _{i}\langle \psi ,\mathbf {V} e_{i}\rangle \mathbf {U} e_{i}$

on la sèrie convegeix en la topologia de la norma de H. Notem que això recorda l'expressió del cas de dimensió finita. Els σ_i són anomenats valors singulars de M. {U e_i} i {V e_i} poden considerar-se com els vectors singulars per l'esquerra i per la dreta de M, respectivament.

Els operadors compactes en un espai de Hilbert són la clausura dels operadors de rang finit en la topologia d'operadors uniformes. La sèrie de damunt en dona una representació explícita. Una conseqüència immediata és que:

Teorema: M és compacte si i només si if M*M és compacte.

Història

La descomposició en valors singulars fou desenvolupada originàriament per geòmetres diferencials, que volien determinar si una forma bilineal es podia igualar a una altra mitjançant transformacions ortogonals independents. Eugenio Beltrami i Camille Jordan van descobrir independentment, en 1873 i 1874 respectivament, que els valors singulars de les formes bilineals, representats com una matriu, formen un conjunt complet d'invariants per formes bilineals sota substitucions ortogonals. James Joseph Sylvester també va arribar a la descomposició en valors singulars per matrius quadrades reals en 1889, aparentment de forma independent tant de Beltrami com de Jordan. Sylvester va anomenar als valors singulars els multiplicadors canònics de la matriu A. El quart matemàtic que va descobrir la descomposició en valors singulars de forma independent va ser Autonne en 1915, que hi va arribar mitjançant la descomposició polar. La primera demostració de la descomposició en valors singulars per matrius rectangulars i complexes sembla de Carl Eckart i Gale Young en 1936; van veure la descomposició com una generalització de la transformació de l'eix principal per matrius hermítiques.

En 1907, Erhard Schmidt va definir un concepte anàleg als valors singulars per operadors integrals (que són compactes, sota certes hipòtesis tècniques); sembla que no coneixia la feina paral·lela sobre valors singulars de matrius finites. Aquesta teoria va ser desenvolupada posteriorment per Émile Picard en 1910, que és el primer en anomenar els nombres $\sigma _{k}$ valors singulars (en francès, valeurs singulières).

Els mètodes pràctics per calcular la DVS es remunten a Kogbetliantz en 1954 i 1955, i a Hestenes en 1958, molt semblant a l'algorisme de valors propis de Jacobi, que usa rotacions del pla o rotacions de Givens. Tot i això, van ser substituïts pel mètode de Gene Golub i William Kahan publicat en 1965, que usa transformacions de Householder o reflexions. En 1970, Golub i Christian Reinsch van publicar una variant de l'algorisme de Golub/Kahan que encara és el més emprat en l'actualitat.

Vegeu també

• Correlació canònica
• Forma canònica
• Anàlisi de correspondències
• Maledicció de la dimensió
• Processament de senyals digitals
• Reducció de dimensions
• Descomposició espectral
• Anàlisi de Fourier
• Descomposició en valors singulars generalitzats
• Anàlisi semàntica latent
• Indexació semàntica latent
• Mínims quadrats
• Descomposició de matrius
• Anàlisi de components principals multilineal
• Cerca del veí més proper
• Descomposició polar
• Anàlisi de components principals
• Valor singular
• Sèrie temporal
• Descomposició en valors singulars bidimensional
• Compressió per wavelets

Bibliografia

• Trefethen, Lloyd N.; Bau III, David. Numerical linear algebra.. Philadelphia: Society for Industrial and Applied Mathematics, 1997. ISBN 978-0-89871-361-9. 
• Demmel, James; Kahan, William «Accurate Singular Values of Bidiagonal Matrices». SIAM Journal on Scientific and Statistical Computing, 11, 5, 01-09-1990, pàg. 873–912. DOI: 10.1137/0911052.
• Golub, Gene H.; Kahan, William «Calculating the Singular Values and Pseudo-Inverse of a Matrix». Journal of the Society for Industrial and Applied Mathematics Series B Numerical Analysis, 2, 2, 01-01-1965, pàg. 205–224. DOI: 10.1137/0702016. JSTOR: 2949777.
• Golub, Gene H.; Van Loan, Charles F. Matrix computations. 3. ed.. Baltimore, Md. [u.a.]: Johns Hopkins Univ. Press, 1996. ISBN 978-0-8018-5414-9. 
• GSL Team. «§13.4 Singular Value Decomposition». A: GNU Scientific Library. Reference Manual, 2007. 
• Halldor, Bjornsson and Venegas, Silvia A. (1997). "A manual for EOF and SVD analyses of climate data". McGill University, CCGCR Report No. 97-1, Montréal, Québec, 52pp.
• Hansen, Per Christian «The truncatedSVD as a method for regularization». BIT, 27, 4, 01-12-1987, pàg. 534–553. DOI: 10.1007/BF01937276.
• Johnson, Roger A. Horn; Charles R.. «Section 7.3». A: Matrix analysis. 19. print.. Cambridge [u.a.]: Cambridge Univ. Press, 2005. ISBN 0-521-38632-2. 
• Johnson, Roger A. Horn; Charles R.. «Chapter 3». A: Topics in matrix analysis. 8. print.. Cambridge [u.a.]: Cambridge Univ. Press, 2007. ISBN 0-521-46713-6. 
• Samet, Hanan. Foundations of multidimensional and metric data structures. San Francisco, CA: Morgan Kaufmann Pubs [u.a.], 2006. ISBN 0-12-369446-9. 
• Strang, Gilbert. «Section 6.7». A: Introduction to linear algebra. 3. ed.. Wellesley, Mass.: Wellesley-Cambridge Press, 1998. ISBN 0-9614088-5-5. 
• Stewart, G. W. «On the Early History of the Singular Value Decomposition». SIAM Review, 35, 4, 01-12-1993, pàg. 551–566. DOI: 10.1137/1035134.
• «Singular value decomposition and principal component analysis». A: D.P. Berrar, W. Dubitzky, M. Granzow. A Practical Approach to Microarray Data Analysis. Norwell, MA: Kluwer, 2003, p. 91-109. 
• «Section 2.6». A: Numerical recipes : the art of scientific computing. 3rd ed.. Cambridge, UK: Cambridge University Press, 2007. ISBN 978-0-521-88068-8.  Arxivat 2016-03-04 a Wayback Machine.