.причем четкое и достаточно популярное изложение позволят даже при большом желании разобраться и в ее содержательной части .
Опционы меня не интересуют, поэтому я остановлюсь только на одном моменте
====================
Есть ряд градиентных алгоритмов, для задач оптимизации с ограничениями. Большинство этих алгоритмов, работают стабильно и достаточно быстро, но каждый всегда имеет риск застрять в локальном минимуме. Как следствие стартовое значение параметров оптимизации является критическим.
Стохастические алгоритмы.
В отличии от градиентных, для стохастических оптимизаторов стартовое значение является несущественным (вероятно). Применяемый алгоритм отжига выбирает направление и шаг беспорядочно, "он ищет всюду". Он движется по градиенту, но может двигаться и вверх с определенной вероятностью , которая зависит от параметра отжига. Этот параметр называют "температурой" по историческим причинам. В течение процесса оптимизации температура постепенно уменьшается. Существует ряд теорем сходимости метода, которые утверждают, что алгоритм всегда останавливается в глобальном минимуме, если процесс отжига достаточно медленен. Но, как правило, стохастические алгоритмы медленны, и в вычислительном отношении более обременительны, чем градиентные оптимизаторы.
===================
Я в своей работе не использую градиентных алгоритмов - им нужны дифференцируемые функции. Использование же одного из вариантов стохастической оптимизации - генетических алгоритмов, показало, что на больших массивах они склонны попадать в локальные экстремумы. Поэтому я использую циклические вычисления по генетическому алгоритму с заданием фиксированного числа случайных начальных условий. Думаю, такой же подход можно было бы применить - если вы его уже не применяете, и к градиентным методам оптимизации. В любом случае тестирование на определенной выборке зависимости результатов оптимизации от числа входов и координат начальных условий позволило бы сделать более обоснованный вывод о робастности методов градиентной оптимизации применительно к решаемой задаче.