В чём разница между локально оптимальным и глобально оптимальным решением?

Основное различие

Локально оптимальное решение — это точка, в которой значение целевой функции минимально (или максимально) по сравнению с соседними точками, но не обязательно является наилучшим во всей области поиска. Глобально оптимальное решение — это точка, в которой значение функции достигает абсолютного минимума (или максимума) среди всех возможных точек.

Пример из жизни

Представьте, что вы стоите в горной местности и хотите найти самую низкую точку. Если вы спуститесь в ближайшую впадину, это будет локальный минимум. Но если вы перейдете через хребет, вы можете найти более глубокую долину — глобальный минимум.

Применение в алгоритмах

В машинном обучении градиентный спуск часто находит локальный минимум, особенно в невыпуклых функциях потерь (например, в нейронных сетях). Для выпуклых функций (например, линейная регрессия) любой локальный минимум является глобальным.

import numpy as np

# Пример: функция с несколькими локальными минимумами
def f(x):
    return x**4 - 3*x**3 + 2

# Локальный минимум около x=2.25
# Глобальный минимум около x=0 (проверьте аналитически)

x_vals = np.linspace(-1, 3, 100)
y_vals = f(x_vals)
# Визуально видно два минимума: один около 0, другой около 2.25

Как избежать локальных оптимумов

• Использовать стохастический градиентный спуск (SGD) с шумом
• Применять методы имитации отжига (simulated annealing)
• Запускать алгоритм из разных начальных точек
• Использовать генетические алгоритмы

Вывод: Понимание разницы между локальным и глобальным оптимумом критически важно при выборе алгоритма оптимизации. В задачах с выпуклой функцией можно гарантировать нахождение глобального оптимума, а в невыпуклых задачах (например, глубокое обучение) приходится довольствоваться хорошим локальным решением.