Metoda LU

Metoda LU (ang. lower – dolny, upper górny) – metoda rozwiązywania układu równań liniowych. Nazwa pochodzi od użytych w tej metodzie macierzy trójkątnych, tj. dolnotrójkątnej (dolnej) i górnotrójkątnej (górnej). Metoda pozwala także na szybkie wyliczenie wyznacznika macierzy układu.

Opis metody LU

Niech dany będzie układ równań liniowych:

${\displaystyle \mathbf {A} \cdot \mathbf {x} =\mathbf {y} ,}$

gdzie ${\displaystyle \mathbf {A} }$ – macierz współczynników, ${\displaystyle \mathbf {x} }$ – wektor niewiadomych, ${\displaystyle \mathbf {y} }$ – wektor danych.

W metodzie LU macierz współczynników ${\displaystyle \mathbf {A} }$ zapisywana jest jako iloczyn pewnych macierzy dolnej ${\displaystyle \mathbf {L} }$ i górnej ${\displaystyle \mathbf {U} {:}}$

${\displaystyle \mathbf {A} =\mathbf {L} \cdot \mathbf {U} ,}$

gdzie:

${\displaystyle \mathbf {L} ={\begin{bmatrix}l_{11}&0&\cdots &0\\l_{21}&l_{22}&\cdots &0\\\vdots &\vdots &\ddots &0\\l_{n1}&l_{n2}&\cdots &l_{nn}\end{bmatrix}},\quad \mathbf {U} ={\begin{bmatrix}u_{11}&u_{12}&\cdots &u_{1n}\\0&u_{22}&\cdots &u_{2n}\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &u_{nn}\end{bmatrix}}.}$

Układ równań przyjmuje wówczas postać

${\displaystyle \mathbf {L} \cdot \mathbf {U} \cdot \mathbf {x} =\mathbf {y} ,}$

a jego rozwiązanie sprowadza się do rozwiązania dwóch układów równań z macierzami trójkątnymi:

${\displaystyle \mathbf {L} \cdot \mathbf {z} =\mathbf {y} ,}$

${\displaystyle \mathbf {U} \cdot \mathbf {x} =\mathbf {z} .}$

Ostatecznie liczba mnożeń, potrzebnych do wyznaczenia wektora ${\displaystyle \mathbf {x} ,}$ wynosi ${\displaystyle n^{2},}$ dodawań ${\displaystyle n^{2}-n.}$

Wyznacznik macierzy ${\displaystyle \mathbf {A} }$ tej postaci można obliczyć korzystając z twierdzenia Cauchy’ego:

${\displaystyle \mathbf {det(A)} =\mathbf {det(L\cdot \mathbf {U} )} =\mathbf {det(L)} \cdot \mathbf {det(U)} ,}$

oraz z faktu, że wyznacznik macierzy trójkątnej jest iloczynem elementów na przekątnej:

${\displaystyle \mathbf {det(L)} =l_{11}\cdot l_{22}\cdot \ldots \cdot l_{nn},}$

${\displaystyle \mathbf {det(U)} =u_{11}\cdot u_{22}\cdot \ldots \cdot u_{nn}.}$

Ponadto przeważnie przy rozkładzie LU na przekątnej jednej z macierzy znajdują się jedynki – wtedy wyznacznik macierzy ${\displaystyle \mathbf {A} }$ jest równy wyznacznikowi albo macierzy ${\displaystyle \mathbf {L} ,}$ albo ${\displaystyle \mathbf {U} ,}$ którego obliczenie wymaga wykonania ${\displaystyle n-1}$ mnożeń (zamiast ${\displaystyle 2n-1}$).

Zalety metody:

• bardzo oszczędna gospodarka pamięcią,
• wymaga najmniejszej liczby operacji w porównaniu z innymi metodami dokładnymi (nie biorąc pod uwagę procedur specjalnych).

Rozkład LU

Podstawowym problemem numerycznym w tej metodzie jest dokonanie rozkładu LU macierzy współczynników. Żeby ten rozkład macierzy był jednoznaczny, zakłada się, że elementy na głównej przekątnej jednej z macierzy, ${\displaystyle \mathbf {L} }$ albo ${\displaystyle \mathbf {U} ,}$ są równe 1.

Rozkład LU jest wyznaczany za pomocą metody Doolittle’a (opisana niżej).

Ta metoda nie jest niezawodna^[1], tzn. podczas obliczeń może wystąpić dzielenie przez zero. Istnieje jej modyfikacja pozbawiona tej wady, nazywana metodą Doolittle-Crouta, w której wykorzystuje się częściowy wybór elementu podstawowego^[2].

Element podstawowy to taki element w macierzy ${\displaystyle A,}$ który jest używany do rugowania zmiennych (czyli zerowania odpowiadających im współczynników) z kolejnych równań. Przy stosowaniu metody Doolittle’a wybiera się element podstawowy zawsze z przekątnej głównej, i jeśli ${\displaystyle a_{kk}}$ jest równe zero, metoda zawodzi.

W metodach zmodyfikowanych wybierany jest ten element z danej ${\displaystyle k}$-tej kolumny, który ma największy moduł^[3]. Następnie wiersz, w którym znajduje się wybrany element, zamieniany jest z ${\displaystyle k}$-tym wierszem, co powoduje, że element podstawowy pojawia się na przekątnej głównej. To gwarantuje, że podczas obliczeń nie wystąpi dzielenie przez zero.

Jednocześnie te zmodyfikowane metody nie zawsze dają rozkład LU macierzy ${\displaystyle \mathbf {A} }$^[2]. Może się zdarzyć, że otrzymany rozkład LU dotyczy macierzy ${\displaystyle \mathbf {A} ,}$ w której dokonano takich samych przestawień wierszy, jak podczas eliminacji zmiennych^[4]. Jednak ma to znaczenie (i komplikuje obliczenia) tylko wtedy, gdy rozkład LU służy do wyznaczenia macierzy odwrotnej; w innych zadaniach nie odgrywa roli.

Metoda Doolittle’a

W metodzie tej równość ${\displaystyle \mathbf {A} =\mathbf {LU} }$ traktuje się jako układ ${\displaystyle n}$ równań z ${\displaystyle n^{2}}$ niewiadomymi^[5]. Te niewiadome to elementy ${\displaystyle l_{ij}}$ dla ${\displaystyle i>j}$ (elementy poniżej przekątnej), oraz ${\displaystyle u_{ij}}$ dla ${\displaystyle j\geqslant i}$ (elementy na i powyżej przekątnej), przy założeniu, że na diagonali macierzy ${\displaystyle \mathbf {L} }$ znajdują się 1:

${\displaystyle {\begin{bmatrix}a_{11}&a_{12}&\cdots &a_{1n}\\a_{21}&a_{22}&\cdots &a_{2n}\\\vdots &\vdots &\ddots &\vdots \\a_{n1}&a_{n2}&\cdots &a_{nn}\end{bmatrix}}={\begin{bmatrix}1&0&\cdots &0\\l_{21}&1&\cdots &0\\\vdots &\vdots &\ddots &0\\l_{n1}&l_{n2}&\cdots &1\end{bmatrix}}\cdot {\begin{bmatrix}u_{11}&u_{12}&\cdots &u_{1n}\\0&u_{22}&\cdots &u_{2n}\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &u_{nn}\end{bmatrix}}.}$

Wyznaczanie kolejnych elementów macierzy ${\displaystyle \mathbf {L} }$ i ${\displaystyle \mathbf {U} }$ robi się naprzemiennie, tj. raz wyznacza wiersz macierzy ${\displaystyle \mathbf {U} ,}$ raz kolumnę macierzy ${\displaystyle \mathbf {L} .}$

Wzory ogólne na poszczególne elementy macierzy rozkładu przedstawiają się następująco:

dla wszystkich ${\displaystyle i\in \{1,2,\ldots ,n\}{:}}$

${\displaystyle u_{ij}=a_{ij}-\sum _{k=1}^{i-1}l_{ik}u_{kj}}$ dla ${\displaystyle j\in \{i,\ i+1,\ldots ,\ n\},}$

${\displaystyle l_{ji}={\frac {1}{u_{ii}}}\left(a_{ji}-\sum _{k=1}^{i-1}l_{jk}u_{ki}\right)}$ dla ${\displaystyle j\in \{i+1,\ i+2,\ldots ,\ n\}.}$

Z ostatniego równania wynika, że metoda nie zadziała, gdy ${\displaystyle u_{ii}=0.}$

Liczba działań potrzebna do rozkładu^[5]:

• mnożenia: ${\displaystyle {\frac {1}{3}}n^{3}-{\frac {1}{3}}n,}$
• dodawania: ${\displaystyle {\frac {1}{3}}n^{3}-{\frac {1}{2}}n^{2}+{\frac {1}{6}}n.}$

Przykład (macierz 3x3)

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}={\begin{bmatrix}1&0&0\\l_{21}&1&0\\l_{31}&l_{32}&1\end{bmatrix}}{\begin{bmatrix}u_{11}&u_{12}&u_{13}\\0&u_{22}&u_{23}\\0&0&u_{33}\end{bmatrix}}}$

Pierwszy wiersz macierzy U:

${\displaystyle 5=1\cdot u_{11}+0\cdot 0+0\cdot 0\rightarrow u_{11}=5}$

${\displaystyle 3=1\cdot u_{12}+0\cdot u_{22}+0\cdot 0\rightarrow u_{12}=3}$

${\displaystyle 2=1\cdot u_{13}+0\cdot u_{23}+0\cdot u_{33}\rightarrow u_{13}=2}$

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}={\begin{bmatrix}1&0&0\\l_{21}&1&0\\l_{31}&l_{32}&1\end{bmatrix}}{\begin{bmatrix}5&3&2\\0&u_{22}&u_{23}\\0&0&u_{33}\end{bmatrix}}}$

Pierwsza kolumna macierzy L:

${\displaystyle 1=l_{21}\cdot 5+1\cdot 0+0\cdot 0\rightarrow l_{21}={\frac {1}{5}}}$

${\displaystyle 3=l_{31}\cdot 5+l_{32}\cdot 0+1\cdot 0\rightarrow l_{31}={\frac {3}{5}}}$

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}={\begin{bmatrix}1&0&0\\{\frac {1}{5}}&1&0\\{\frac {3}{5}}&l_{32}&1\end{bmatrix}}{\begin{bmatrix}5&3&2\\0&u_{22}&u_{23}\\0&0&u_{33}\end{bmatrix}}}$

Drugi wiersz macierzy U:

${\displaystyle 2={\frac {1}{5}}\cdot 3+1\cdot u_{22}+0\cdot 0\rightarrow u_{22}={\frac {7}{5}}}$

${\displaystyle 0={\frac {1}{5}}\cdot 2+1\cdot u_{23}+0\cdot u_{33}\rightarrow u_{23}=-{\frac {2}{5}}}$

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}={\begin{bmatrix}1&0&0\\{\frac {1}{5}}&1&0\\{\frac {3}{5}}&l_{32}&1\end{bmatrix}}{\begin{bmatrix}5&3&2\\0&{\frac {7}{5}}&-{\frac {2}{5}}\\0&0&u_{33}\end{bmatrix}}}$

Druga kolumna macierzy L:

${\displaystyle 0={\frac {3}{5}}\cdot 3+l_{32}\cdot {\frac {7}{5}}+1\cdot 0\rightarrow l_{32}=-{\frac {9}{7}}}$

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}={\begin{bmatrix}1&0&0\\{\frac {1}{5}}&1&0\\{\frac {3}{5}}&-{\frac {9}{7}}&1\end{bmatrix}}{\begin{bmatrix}5&3&2\\0&{\frac {7}{5}}&-{\frac {2}{5}}\\0&0&u_{33}\end{bmatrix}}}$

Trzeci wiersz macierzy U:

${\displaystyle 4={\frac {3}{5}}\cdot 2+{\frac {9}{7}}\cdot {\frac {2}{5}}+1\cdot u_{33}\rightarrow u_{33}={\frac {16}{7}}}$

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}={\begin{bmatrix}1&0&0\\{\frac {1}{5}}&1&0\\{\frac {3}{5}}&-{\frac {9}{7}}&1\end{bmatrix}}{\begin{bmatrix}5&3&2\\0&{\frac {7}{5}}&-{\frac {2}{5}}\\0&0&{\frac {16}{7}}\end{bmatrix}}}$

Metoda Gaussa

Wersja pamięciożerna

Do macierzy, której rozkładu dokonujemy dopisujemy lewostronnie macierz jednostkową. Na prawym bloku macierzy wykonujemy operacje elementarne takie jak w metodzie Gaussa (odejmowanie i mnożenie). W lewym bloku macierzy zapisujemy współczynniki użyte do eliminacji.

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}{\begin{bmatrix}1&0&0&5&3&2\\0&1&0&1&2&0\\0&0&1&3&0&4\end{bmatrix}}{\begin{bmatrix}1&0&0&5&3&2\\{\frac {1}{5}}&1&0&0&{\frac {7}{5}}&-{\frac {2}{5}}\\{\frac {3}{5}}&0&1&0&-{\frac {9}{5}}&{\frac {14}{5}}\end{bmatrix}}{\begin{bmatrix}1&0&0&5&3&2\\{\frac {1}{5}}&1&0&0&{\frac {7}{5}}&-{\frac {2}{5}}\\{\frac {3}{5}}&-{\frac {9}{7}}&1&0&0&{\frac {16}{7}}\end{bmatrix}}}$

Wersja wymagająca mniej pamięci

Przepisujemy wiersz bez zmian, a elementy w kolumnie poniżej głównej przekątnej dzielimy przez element znajdujący się na głównej przekątnej.

Dla pozostałej części macierzy obliczamy uzupełnienie Schura:

${\displaystyle a_{ij}=a_{ij}-a_{ik}a_{kj}}$

Powyższe kroki wykonujemy dla ${\displaystyle k=1,\dots ,n-1}$

Gdy któryś z elementów na głównej przekątnej wynosi zero, to rozkład ${\displaystyle LU=A}$ nie istnieje, ale można spróbować dokonać rozkładu LU dla pewnej permutacji wierszy macierzy ${\displaystyle A.}$

Dla każdej nieosobliwej macierzy kwadratowej ${\displaystyle A}$ można dokonać rozkładu ${\displaystyle LU}$ macierzy powstałej z pewnej permutacji wierszy macierzy ${\displaystyle A.}$

Metoda Crouta

Metoda ta jest analogiczną do metody Doolittle’a, różnica polega na tym, że diagonala macierzy U jest wypełniona liczbami 1.

${\displaystyle {\begin{bmatrix}a_{11}&a_{12}&\cdots &a_{1n}\\a_{21}&a_{22}&\cdots &a_{2n}\\\vdots &\vdots &\ddots &\vdots \\a_{n1}&a_{n2}&\cdots &a_{nn}\end{bmatrix}}={\begin{bmatrix}l_{11}&0&\cdots &0\\l_{21}&l_{22}&\cdots &0\\\vdots &\vdots &\ddots &0\\l_{n1}&l_{n2}&\cdots &l_{nn}\end{bmatrix}}\cdot {\begin{bmatrix}1&u_{12}&\cdots &u_{1n}\\0&1&\cdots &u_{2n}\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &1\end{bmatrix}}}$

Przykład rozwiązania układu równań

Zostanie użyta ta sama macierz współczynników, jak w przykładzie dla metody Doolittle’a:

${\displaystyle {\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}\cdot {\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix}}={\begin{bmatrix}10\\5\\-2\end{bmatrix}}}$

Teraz zostaną zapisane dwa układy równań z macierzami trójkątnymi ${\displaystyle \mathbf {L} }$ i ${\displaystyle \mathbf {U} {:}}$

${\displaystyle {\begin{bmatrix}1&0&0\\{\frac {1}{5}}&1&0\\{\frac {3}{5}}&-{\frac {9}{7}}&1\end{bmatrix}}\cdot {\begin{bmatrix}z_{1}\\z_{2}\\z_{3}\end{bmatrix}}={\begin{bmatrix}10\\5\\-2\end{bmatrix}}}$

${\displaystyle {\begin{bmatrix}5&3&2\\0&{\frac {7}{5}}&-{\frac {2}{5}}\\0&0&{\frac {16}{7}}\end{bmatrix}}\cdot {\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix}}={\begin{bmatrix}z_{1}\\z_{2}\\z_{3}\end{bmatrix}}}$

Najpierw zostanie wyznaczony wektor ${\displaystyle \mathbf {z} }$ z pierwszego układu równań ${\displaystyle \mathbf {Lz} =\mathbf {y} .}$ Rozwiązanie układu równań z macierzą trójkątną jest bardzo proste: wyznaczane są kolejno elementy wektora niewiadomych ${\displaystyle z_{1},}$ następnie, gdy znane jest ${\displaystyle z_{1},}$ można wyznaczyć ${\displaystyle z_{2},}$ a na końcu ${\displaystyle z_{3},}$ ponieważ znane są ${\displaystyle z_{1}}$ i ${\displaystyle z_{2}{:}}$

1. ${\displaystyle 1\cdot {\color {blue}z_{1}}=10\rightarrow z_{1}=10}$
2. ${\displaystyle {\frac {1}{5}}\cdot z_{1}+1\cdot {\color {blue}z_{2}}={\frac {1}{5}}\cdot 10+z_{2}=5\rightarrow z_{2}=5-2=3}$
3. ${\displaystyle {\frac {3}{5}}\cdot z_{1}-{\frac {9}{7}}\cdot z_{2}+{\color {blue}z_{3}}={\frac {3}{5}}\cdot 10-{\frac {9}{7}}\cdot 3+z_{3}=-2\rightarrow z_{3}=-2-6+{\frac {27}{7}}=-{\frac {29}{7}}}$

Teraz drugi układ równań przyjmuje postać:

${\displaystyle {\begin{bmatrix}5&3&2\\0&{\frac {7}{5}}&-{\frac {2}{5}}\\0&0&{\frac {16}{7}}\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix}}={\begin{bmatrix}10\\3\\-{\frac {29}{7}}\end{bmatrix}}}$

Sposób rozwiązywania jest analogiczny jak dla pierwszego układu, z tym że elementy wektora ${\displaystyle \mathbf {x} }$ są wyznaczane „od końca”:

1. ${\displaystyle {\frac {16}{7}}\cdot {\color {blue}x_{3}}=-{\frac {29}{7}}\rightarrow x_{3}=-{\frac {29}{16}}}$
2. ${\displaystyle {\frac {7}{5}}\cdot {\color {blue}x_{2}}-{\frac {2}{5}}\cdot x_{3}={\frac {7}{5}}\cdot x_{2}+{\frac {29}{40}}=3\rightarrow x_{2}={\frac {3-{\frac {29}{40}}}{\frac {7}{5}}}={\frac {13}{8}}}$
3. ${\displaystyle 5\cdot {\color {blue}x_{1}}+3\cdot x_{2}+2\cdot x_{3}=5\cdot x_{1}+3\cdot {\frac {13}{8}}-2\cdot {\frac {29}{16}}=10\rightarrow x_{1}={\frac {10-{\frac {39}{8}}+{\frac {29}{8}}}{5}}={\frac {7}{4}}}$

Ostatecznie wynikiem jest wektor ${\displaystyle \mathbf {x} =\left[{\frac {7}{4}},{\frac {13}{8}},-{\frac {29}{16}}\right].}$

Przykład obliczania wyznacznika

Ponownie wykorzystane zostaną wyniki z przykładu dla metody Doolittle’a:

${\displaystyle \det \left({\begin{bmatrix}5&3&2\\1&2&0\\3&0&4\end{bmatrix}}\right)=\det \left({\begin{bmatrix}1&0&0\\{\frac {1}{5}}&1&0\\{\frac {3}{5}}&-{\frac {9}{7}}&1\end{bmatrix}}\right)\cdot \det \left({\begin{bmatrix}{\color {blue}5}&3&2\\0&{\color {blue}{\frac {7}{5}}}&-{\frac {2}{5}}\\0&0&{\color {blue}{\frac {16}{7}}}\end{bmatrix}}\right)}$

Ponieważ na przekątnej macierzy ${\displaystyle \mathbf {L} }$ są jedynki, dlatego wyznacznik macierzy ${\displaystyle \mathbf {\det(A)} =\mathbf {\det(U)} =5\cdot {\frac {7}{5}}\cdot {\frac {16}{7}}=16}$^[6].

Zobacz też

• rozkład Choleskiego
• rozkład macierzy
• rozkład QR

Przypisy

Bibliografia

• ZenonZ. Fortuna ZenonZ., BohdanB. Macukow BohdanB., JanuszJ. Wąsowski JanuszJ., Metody numeryczne, Warszawa: Wydawnictwa Naukowo-Techniczne, 1993, ISBN 83-204-1551-9 .