Optimização não linear

OPTIMIZAÇÃO NÃO LINEAR
Opção IV - LESI
Optimização não linear com restrições de desigualdade
2004/2005
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
1
Formulação geral:
(1)
minn f (x)
x∈R
s.a
c(x) ≥ 0
em que f (x) e c(x) são funções não lineares em x.
f (x) : Rn → R
T
x = (x1, x2, . . . , xn)
c(x) : Rn → Rm
n é o número de variáveis do problema
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
2
m é o número de restrições de desigualdade
T
c(x) = (c1(x), c2(x), . . . , cm(x))
Vamos supor que f (x) e c(x) são funções duas vezes diferenciáveis.
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
3
Condições de optimalidade
Seja λ um vector de m elementos (vector dos multiplicadores de Lagrange)
T
λ = (λ1, λ2, . . . , λm)
A função Lagrangeana associada ao problema (1) é
L(x, λ) = f (x) − λT c(x)
= f (x) −
m
X
i=1
A. Ismael F. Vaz - Departamento de Produção e Sistemas
λici(x)
Optimização não linear - Opção IV - LESI
4
Restrições activas
Seja x̄ um ponto dado.
As restrições ci(x̄) ≥ 0, i ∈ A, dizem-se activas em x̄ se ci(x̄) = 0.
O conjunto A contém os índices das restrições activas.
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
Condição de regularidade
Seja x∗ uma solução do problema.
Se os vectores ∇ci(x∗), i ∈ A (gradientes das restrições activas,
calculados na solução) forem linearmente independentes, então x∗ é ponto
regular.
A. Ismael F. Vaz - Departamento de Produção e Sistemas
5
Optimização não linear - Opção IV - LESI
6
Condições necessárias e suficientes de 1a ordem
Seja x∗ uma solução do problema. Se x∗ é ponto regular, então existe um
λ∗ tal que
∇xL(x∗, λ∗) = ∇f (x∗) − ∇c(x∗)λ∗ = 0
c(x∗) ≥ 0
λ∗ ≥ 0
ponto estacionário da Lag.
admissibilidade
“positiveness”
e
(λ∗)T c(x∗) = 0
A. Ismael F. Vaz - Departamento de Produção e Sistemas
complementaridade
Optimização não linear - Opção IV - LESI
7
Interpretação das condições KT
A complementaridade ((λ∗)T c(x∗) = 0) diz-nos que as restrições não
activas têm multiplicadores iguais a zero (ci(x∗) > 0 ⇒ λ∗i = 0, i ∈
/ A).
Para as restrições activas os multiplicadores de Lagrange correspondentes
podem ou não ser zero. Se forem zero estamos na presença de um
problema degenerado. No caso de não existirem multiplicadores iguais a
zero para as restrições activas diz-se que a complementaridade é estrita.
c(x∗) ≥ 0
significa que o ponto verifica as restrições, ou seja, x∗ é ponto admissível.
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
8
Interpretação das condições KT
∇xL(x∗, λ∗) = ∇f (x∗) − ∇c(x∗)λ∗ = 0
⇔ ∇f (x∗) = ∇c(x∗)λ∗
⇔ ∇f (x∗) =
m
X
λ∗i ∇ci(x∗)
i=1
significa que o gradiente de f (∇f ) é uma combinação linear dos
gradientes das restrições (das colunas de ∇c(x∗).
Nota: As restrições inactivas não influenciam, uma vez que λ∗i = 0, i ∈
/ A.
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
9
Exemplo (Nash&Sofer)
min f (x) ≡ x1
x∈R2
s.a
(x1 + 1)2 + x22 ≥ 1
x21 + x22 ≤ 2
√
Considere x = (0, 0) , x = (−1, −1) e x = (0, 2)T .
1
T
2
T
3
Tem-se que
L(x, λ) = x1 − (λ1, λ2)
2
(x1 + 1) + x22 −
2 − x21 − x22
2
= x1 − λ1 (x1 + 1) +
A. Ismael F. Vaz - Departamento de Produção e Sistemas
x22
−1 +
1
λ2 x21
+
x22
−2
Optimização não linear - Opção IV - LESI
10
Condições KT
Logo
∇xL(x, λ) =
1 − 2λ1(x1 + 1) + 2λ2x1
−2λ1x2 + 2λ2x2
Para x1 = (0, 0)T apenas a primeira restrição está activa, logo λ2 = 0.
Resolvendo L(x1, λ) em ordem a λ1 vem
(
1 − 2λ1 = 0
A. Ismael F. Vaz - Departamento de Produção e Sistemas
1
⇒ λ1 =
2
0=0
Optimização não linear - Opção IV - LESI
Para x2 = (−1, −1)T ambas as restrições estão activas e resolvendo
L(x2, λ) em ordem aos multiplicadores de Lagrange obtemos
(
1 − 2λ2 = 0
1
⇒ λ1 = λ2 =
2
2λ1 − 2λ2 = 0
2
√
Para x = (0, 2)T apenas a segunda restrição está activa e resolvendo
L(x2, λ) = 0 em ordem a λ2 (λ1 = 0) obtemos
(
1 + 2λ2(0) = 0
√
2λ2 2 = 0
que é um sistema inconsistente e consequentemente x3 não satisfaz as
condições de optimalidade de primeira ordem.
A. Ismael F. Vaz - Departamento de Produção e Sistemas
11
Optimização não linear - Opção IV - LESI
12
Condição necessária de 2a ordem - Mínimo
Seja x∗ uma solução do problema. Se x∗ é ponto regular então para todos
os vectores s ∈ Rn que verificam ∇C(x∗)T s = 0, em que C(x∗) é uma
matriz formada pelas restrições activas em x∗ (direcções tangentes às
curvas admissíveis), tem-se
sT ∇2xxL(x∗, λ∗)s ≥ 0.
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
13
Condição suficiente de 2a ordem - Mínimo
Se (x∗, λ∗) é um par KT, isto é, verifica as condições KT
∇xL(x∗, λ∗) = 0
∇λL(x∗, λ∗) = 0
e se
sT ∇2xxL(x∗, λ∗)s > 0
para todo o s (s 6= 0) tal que
∇C+(x∗)T s = 0
então x∗ é minimizante local forte.
C+ é uma matriz formada pelas restrições activas não degeneradas
(multiplicadores diferentes de zero).
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
14
1
O exemplo
em
x
2(λ2 − λ1)
0
=
0
2(λ2 − λ1)
Logo para x1 = (0, 0)T e λ1 = ( 12 , 0)T temos que
−1 0
2
1
∇xxL(x, λ) =
0 −1
∇2xxL(x, λ)
Como ∇C(x1) = (2, 0)T temos s = (0, s2)T e consequentemente
−1 0
0
(0, s2)
= −s22 ≤ 0 (s2 6= 0)
0 −1
s2
Logo x1 não é mínimo local. Não é máximo local porque λ1 ≥ 0.
1
definida negativa
A. Ismael F. Vaz - Departamento de Produção e Sistemas
Optimização não linear - Opção IV - LESI
15
O exemplo em x2
2
0√
√
Como ∇C(x ) =
tem-se que
2 2 −2 2
@s 6= 0 : ∇C(x2)T s = 0 e a condição suficiente é verificada trivialmente.
2
A. Ismael F. Vaz - Departamento de Produção e Sistemas