Градиентные методы

Начиная с некоторого x 0 R m , строится последовательность { x n } R m такая, что

f (x n +1 ) f ( x n )

(2)

при всех n N . Такие последовательности иногда называют релаксационными , а методы построения релаксационных последовательностей — итерационными методами или методами спуска . Последовательность, удовлетворяющую ( 2 ), строят в надежде, что уменьшая на каждом шаге (переходе от x n к x n +1 ) значение функции, мы приближаемся к минимуму (по крайней мере, локальному). Будем говорить, что метод, начиная с данного x 0 R m , а) условно сходится , если последовательность { x n } релаксационна и

f ( x n ) ® Q при n ® ;

б) сходится , если

x n ® x * = argmin f ( x ) при n ® ;

в) линейно сходится (или сходится со скоростью геометрической прогрессии, или имеет первый порядок сходимости), если при некоторых C > 0 и q [0, 1)

|| x n - x*|| Cq n ;

(3)

г) сверхлинейно сходится , если для любого q (0, 1) и некоторого (зависящего от q ) C выполнено неравенство (3) ; д ) квадратично сходится (или имеет второй порядок сходимости), если при некоторых C > 0 и q [0, 1) и всех n N

|| x n - x*|| Cq 2n .

Выше уже отмечалось , что если x не является точкой локального минимума функции f , то двигаясь из x в направлении, противоположном градиенту (еще говорят, в направлении антиградиента), мы можем локально уменьшить значение функции. Этот факт позволяет надеяться, что последовательность { x n }, рекуррентно определяемая формулой

x n +1 = x n - a f ( x n ),

(4)

где a - некоторое положительное число, будет релаксационной . К этой же формуле приводит и следующее рассуждение. Пусть у нас есть некоторое приближение x n . Заменим в шаре B( x n , e ) с центром в точке x n функцию f ее линейным (вернее, афинным ) приближением:

f ( x ) » j ( x ) = ( def ) f ( x n ) + ( f ( x n ), x - x n )

(функция j аппроксимирует f в окрестности точки x n с точностью o ( x - x n ) . Разумеется, (линейная) безусловная задача j ( x ) ® min неразрешима, если f ( x n ) ¹ Q . В окрестности же B( x n , e ) функция j имеет точку минимума. Эту точку естественно взять за следующее приближение x n +1 . 2. Градиентный метод с постоянным шагом. В общем случае число a в формуле (4) может на каждом шаге (т. е. для каждого n ) выбираться заново:

x n +1 = x n - a n f ( x n ).

(5)

Именно методы, задаваемые формулой ( 5 ), называются градентными . Если a n = a при всех n , то получающийся метод называется градиентным методом с постоянным шагом (с шагом a .) Поясним геометрическую суть градиентного метода. Для этого выберем способ изображения функции с помощью линий уровня.

оценка азс в Туле
оценка стоимости аренды нежилого помещения в Липецке
оценка катера в Белгороде