40110

Методы наискорейшего и координатного спуска для минимизации выпуклой функции без ограничений. Их алгоритмы и геометрическая интерпретация

Доклад

Менеджмент, консалтинг и предпринимательство

Все методы спуска решения задачи безусловной минимизации различаются либо выбором направления спуска, либо способом движения вдоль направления спуска. Решается задача минимизации функции f(x) на всём пространстве Rn. Методы спуска состоят в следующей процедуре построения последовательност

Русский

2013-10-15

94.5 KB

45 чел.

25. Методы наискорейшего и координатного спуска для минимизации выпуклой функции без ограничений. Их алгоритмы и геометрическая интерпретация.

Выпуклой функцией на выпуклом множестве X называется функция: f(x1 + (1 – )x2)  f(x1)+ (1 – )f(x2)      x1, x2 X, [0,1]

Если в точке x0 у выпуклой функции f локальный min, то в этой точке grad f = 0.

У выпуклой функции локальный min совпадает с глобальным.

Общих методов решения нелинейной задачи не существует, однако для некоторых классов нелинейных задач разработаны общие методы, в частности, когда функция является выпуклой. Тогда задача заключается в минимизации выпуклой дифференцируемой  функции f(x), то есть

f(x)  min

Все методы спуска решения задачи безусловной минимизации различаются либо выбором направления спуска, либо способом движения вдоль направления спуска.

Решается задача минимизации функции f(x) на всём пространстве Rn. Методы спуска состоят в следующей процедуре построения последовательности {Xk}. В качестве начального приближения выбирается любая точка X0Rn. Последовательные приближения X1, X2, … строятся по следующей схеме:

  1.  в точке Xk выбирают направление спуска –Sk n-мерный вектор;
  2.  находят (k+1)-е приближение по формуле Xk+1 = XkkSk.

Направление Sk и параметр k выбираются из условия сходимости последовательности решений к некоторому оптимальному решению X*, то есть необходимо обеспечить неравенство f(Xk+1) < f(Xk).

Вообще говоря, можно бесконечно долго приближаться к X*. В некоторых случаях мы можем попасть в точку  X*, в которой grad f = 0. Поэтому решение задачи часто находиться с точностью до некоторого  или .

| Xk+1Xk| <  

| f(Xk+1) – f(Xk)| < .

Метод наискорейшего спуска 

Если функция дифференцируема, то можно использовать градиентные методы. МНС является одним из вариантов градиентного спуска. Суть градиентного метода заключается в следующем: выбрать произвольную точку X0 и с помощью антиградиента -f(X0), вычисленного в этой точке, определить направление наискорейшего убывания функции и сместиться из точки X0 по этому направлению:

Таким образом, строится последовательность {Xk}.

Если величину k выбирать так, чтобы значение f = f(Xk+1) – f(Xk) было наименьшим, то градиентный метод называется МНС. В силу того, что f(Xk) известно и учитывая, что Xk+1=Xk kf(Xk), получаем, что приращение f является функцией одной переменной k, то есть f  = f (k).

Согласно необходимому условию ext функции одной переменной должно выполняться:

Величину k , при которой достигается наименьшее значение f , можно определить одним из методов одномерной минимизации.

Поиск решения прекращается, когда | Xk+1Xk| < или | f(Xk+1) – f(Xk)| < .

Алгоритм метода наискорейшего спуска:

0 шаг. Выберем .

1 шаг. Находим . Если , то остановка и  Хk – решение.

2 шаг. Находится .

3 шаг. .

4 шаг. Если | Xk+1Xk| < или | f(Xk+1) – f(Xk)| < , то остановка и  Хk+1 – решение

5 шаг. k=k+1, переход к шагу 1.

С геометрической точки зрения градиент в очередной точке Xk+1 ортогонален градиенту в предыдущей точке Xk. Для случая функции двух переменных МНС имеет следующую геометрическую интерпретацию: для любого к луч, идущий от точки Xk к точке Xk+1, перпендикулярен к линии уровня функции, проходящей через точку  Xk, и касается линии уровня, проходящей через точку  Xk+1.


Метод покоординатного спуска

Одним из наиболее простых способов определения направления спуска является выбор в качестве Sk одного из координатных векторов e1, e2, …, en, вследствие чего у Xk на каждой итерации изменяется лишь одна из компонент. Существуют многочисленные варианты покоординатного спуска. Рассмотрим 2 из них.

Обозначим через ei =(0..0, 1, 0..0) – вектор, у которого на i-ой позиции находится 1.

Поиск решения прекращается, когда k < .

Метод ПС может применять (не всегда эффективно) и для не дифференцируемых функций, так как сам алгоритм покоординатного спуска не требует вычисления производной функции.

Теорема [о сходимости МПС]. Пусть функция f(x) является выпуклой в Rn и имеет непрерывную производную. Тогда последовательность точек МПС сходится к точке min.

Алгоритм метода покоординатного спуска:

0 шаг. Выберем .

1 шаг. Положим:

                (1)

Условие (1) обеспечивает перебор координатных векторов.

2 шаг. Вычисляют значение целевой функции f(X) в точке  и проверяют неравенство:

 (2)

Если (2) выполняется, то полагают:

Проверяется условие прекращения решения и при необходимости переход к шагу 1.

3 шаг. Если (2) не выполняется, то вычисляют значение целевой функции f(X) в точке  и проверяют неравенство:

 (3)

Если (3) выполняется, то полагают:

Проверяется условие прекращения решения и при необходимости переход к шагу 1.

4 шаг. (k+1)-ая итерация называется удачной, если справедливо либо (2), либо (3), иначе она является неудачной и шаг k дробиться / увеличивается.

Существует другой вариант ПС, основанный на использовании градиента функции.

Поиск решения прекращается, когда | Xk+1-Xk| < или .

Алгоритм метода покоординатного спуска:

0 шаг. Выберем .

1 шаг. Находят максимальный по абсолютной величине из частных производных (элементов градиента), вычисленных в точке Xk, то есть

Обозначим через imax номер элемента, соответствующего S. Тогда координатный вектор

В качестве Sk выбирается

Sk = ekS, если частная производная отрицательна, и

Sk = -ekS, если частная производная положительна.

2 шаг. Находится

3 шаг. 

4 шаг. Проверяется условие прекращения решения.

X0

X1

X0

X1

X0

X0


 

А также другие работы, которые могут Вас заинтересовать

83100. Валентин Бичко «Казка — вигадка...». Українська народна казка «Кирило Кожум’яка» 78 KB
  Мета. Розширити знання учнів про українські народні казки; формувати вміння розрізняти героїко-фантастичні казки; вдосконалювати уміння читати в особах; виявляти залежність мовної та інтонаційної характеристики дійових осіб від їхньої ролі у творі; вдосконалювати навички швидкого виразного...
83101. Число и цифра 9. Написание цифры 9. Сравнение чисел в пределах 9. Измерение и сравнение длин отрезков 192 KB
  Цель: закреплять знание учениками названий чисел в пределах 10; продлить работу над формированием у учеников умения сравнивать числа и решать задачи; совершенствовать навыки устного счета, проводить простейшие обобщения, формировать умение определять название деревьев по их листьям.
83102. Розповідне речення. Розділові знаки в кінці розповідного речення 119 KB
  Мета. Дати дітям уявлення про розповідне речення; формувати навички інтонування розповідних речень; розвивати мовлення пам’ять увагу учнів; виховувати любов до природи Обладнання. Таблиця до теми Речення Сніжинки ілюстрації зими індивідуальні картки...
83103. Каїн і Авель (біблійна легенда) 74 KB
  Продовжити знайомство учнів із біблійними легендами. Розкрити зміст біблійної історії про Каїна та Авеля, її глибокі народні витоки.Формувати уміння розрізняти ознаки доброго і лихого, усвідомлювати неминучість кари за вчинене зло. Розвивати читацькі навички та зв’язне мовлення молодших школярів.
83104. Людські чесноти: добро, доброта 104.5 KB
  Мета: ознайомити учнів з людськими чеснотами, вчити характеризувати події та явища, як прояв добра і зла; розкрити моральний зміст доброти; сприяти розвитку в учнів мотивації до добрих, гуманних вчинків, розвивати мислення, творчу уяву, збагачувати словниковий запас...
83105. Святкуємо Різдвяні свята разом із музикою 66.5 KB
  Дидактична мета: закріпити поняття про виражальні та зображальні можливості музики. Розвиваюча мета: розвивати музично-творчі здібності дітей, природну музичність, вокально-хорові навички на основі сприймання художньо-образного музичного матеріалу, інтелектуальну гнучкість.
83106. На сонці тепло, біля матері добре. О.Єфімов «Задачі трапляються різні» 708 KB
  На сонці тепло біля матері добре. Обладнання: мультимедійна дошка проектор презентаційний матеріал картки із завданнями малюнки дітей вправи для розвитку техніки читання азбука почуттів. Вправи на вдосконалення техніки читання картки вправа Ланцюжки. Робота з текстом перед читанням твору.
83107. Урок природознавства «Ґрунт» 263 KB
  Земля на якій ростуть рослини називається ґрунтом. Тож завданням нашої експедиції буде дізнатися: що таке ґрунт; яке значення має ґрунт для всього живого на нашій планеті: рослин тварин людей. З часом вода вітер зміна температури та живі організми сприяли утворенню ґрунту.