Системы линейных алгебраических уравнений решаются теоретически точными методами, основанными на последовательном исключении неизвестных, например, методом Гаусса. При большом числе неизвестных, решение линейной алгебраической системы методом, дающим точное решение, может быть достаточно сложным. Неизбежные округления при расчете дают не точное, а лишь приближённое решение. Метод итераций свободен от перечисленных недостатков.
Дана система
, (1)
где
, 
, 
.
Запишем систему (1) в матричном виде:
Если диагональные элементы 
(i=1,2,…,n), то выразим в первом уравнении системы (1) — 
, во втором — 
и т.д.
(2)
где 
при 
и 
при i=j (i,j=1,2,…,n).
Пусть 
и 
Если последовательность приближений 
имеет предел 
, то этот предел решение системы (2).
Систему (2) запишем в матричном виде:
(3)
Решим систему (2) методом последовательных приближений. За нулевое приближение, примем столбец свободных членов 
,
первое — 
,
второе — 
и т.д.,
(k+1) приближение — 
, к = 0,1,2,… (4)
Формулы приближений 
(5)
Приведем систему (1) к виду (2) так, чтобы 
. Например, уравнение 
для применения метода последовательных приближений запишем в виде 
.
Для системы 
положим 
, где 
. Данная система эквивалентна приведённой системе
, i = 1,2,..,n, где 
, 
, 
, при 
,
поэтому положим 
.
Метод последовательных приближений, определяемый формулами (4),(5), называется методом итераций. Число приближений, необходимых для получения решений системы (1) с заданной точностью мало, если малы по абсолютной величине элементы матрицы с. Модули диагональных коэффициентов системы (1) должны быть значительно больше по сравнению с модулями недиагональных коэффициентов системы. Свободные члены произвольны.
Для формулировки условий существования и единственности решения, введём числовую характеристику матрицы, называемую её нормой и определяемую следующими формулами:
. 
. 
(6)
При вычислении 
, 
, 
для каждой из строк (столбцов) матрицы вычисляется сумма абсолютных значений всех её элементов и из этих сумм выбирается наибольшая. Например, для матрицы
имеем 
, 
Теорема. Если хотя бы одна из введённых норм матрицы 
меньше единицы, то:
1. система линейных уравнений x=d+cx имеет единственное решение x* .
2. Итерационная последовательность 
сходится к решению x* при любом выборе начального приближения 
.
3. Если 
, то справедлива следующая оценка погрешности
(7)
Пример 5.
Диагональные коэффициенты системы преобладают над остальными коэффициентами при неизвестных. Приведём систему к виду (2)
(*)
В матричной форме
За нулевое приближение решения системы примем
. 
. 
. 
.
Подставляя нулевое приближение в правые части (*), получим первые приближения корней
продолжая процесс для первого приближения
. 
. 
. 
, получим второе приближение и т. д. см. таблицу
| k |  |
 |
 |
 |
| 0,1 | ||||
| 1,9160 | 3,1940 | 5,0385 | 0,1420 | |
| 1,9034 | 3,2001 | 5,0426 | 0,1432 | |
| 1,9031 | 3,2007 | 5,0428 | 0,1432 |
После трёх шагов поправки уже достаточно малы и вычисления можно прекратить.
2.8. Приближённое решение систем нелинейных уравнений методом Ньютона
Рассмотрим нелинейную систему уравнений
(1)
с действительными левыми частями.
Если 
, а 
, то (1) можно записать в виде
f(X)=0 (2)
Решим систему (2) методом последовательных приближений.
Если найдено к – ое приближение
одного из изолированных корней 
векторного уравнения (2), то точный корень уравнения (2) представим в виде 
, (3)
где 
— погрешность корня. Подставим (3) в (2), получим:
(4)
Разложим левую часть уравнения (4) по степеням 
, ограничиваясь линейными членами.
(5)
Получим матрицу Якоби системы функций (1)
или 
Формула (5) может быть записана в виде
, предполагая, что 
неособенная, получим 
, отсюда
, к = 0,1,2,…. – метод Ньютона. (6)
За нулевое приближение 
можно принять грубое значение искомого решения.
Пример 6.
Найти приближённо положительное решение системы.
начальное приближение 
Составим матрицу Якоби
, подставим 
Вычислим 
Найдём обратную матрицу 
По формуле (6) получим первое приближение
= 
Вычислим второе приближение 
=
= 
Получим х = 0,7852 . у = 0,4966 . z = 0,3699
