- Engenharia Química-UFCG

Universidade Federal de Campina Grande – UFCG
Centro de Ciências e Tecnologias – CCT
Unidade Acadêmica de Engenharia Química - UAEQ
Métodos Numéricos
para Engenharia Química
Aula 14
Prof. Nilton Silva
Conteúdo
• Regressão (Prova dia: Definir)
– Linear
– Não linear
• Otimização
– Unidimensional
• Método de Newton
• Método da Secção Dourada
– Multidimensional
• Simplex
• Equações Diferenciais Ordinárias
– Método de Euler
• Método de Runge-Kutta
FUNDAMENTOS - REGRESSÃO LINEAR
Dado um conjunto de dados (x1, y1), (x2, y2), ..., (xn, yn), com a
seguinte dispersão:
FUNDAMENTOS - REGRESSÃO LINEAR
Dado um conjunto de dados (x1, y1), (x2, y2), ..., (xn, yn). Por
interpolação:
FUNDAMENTOS - REGRESSÃO LINEAR
Dado um conjunto de dados (x1, y1), (x2, y2), ..., (xn, yn). Por ajuste
linear usando ajuste com mínimos quadrados:
Uma expressão para a linha reta:
y  a0  a1 x  e
onde a0 e a1 são coeficientes
interceptação e a inclinação.
e
é o error, ou resíduo, entre o
modelo e as observações.
FUNDAMENTOS - REGRESSÃO LINEAR
O erro ou desvio entre o modelo e as observações pode ser
representado por:
e  y  a0  a1 x
Assim o erro, ou residual, é a discrepância entre o valor
verdadeiro de y e o valor aproximado, a0+a1x, predito por uma
equação linear.
FUNDAMENTOS - REGRESSÃO LINEAR
Critério para um “melhor” ajuste
O melhor ajuste da linha através dos dados poderá ser realizado
pela soma dos erros residuais para avaliação nos dados, dado
por:
n
n
 e   y
i 1
i
i 1
i
 a0  a1 xi
Onde n = total de número de pontos.

FUNDAMENTOS - REGRESSÃO LINEAR
Critério para um “melhor” ajuste
Uma estratégia mais adequada para a minimização da soma dos
quadrados residuais entre a medição de y e o calculado com o
modelo linear:
n
n

Sr   e   yi ,medida  yi ,mod elo
2
i
i 1
n


2
i 1
Sr   yi ,medida  a0  a1 xi

2
i 1
Permitindo determinar os valores de a0 e a1 por minimização.
FUNDAMENTOS - REGRESSÃO LINEAR
Ajuste por mínimos quadrados de um reta:
n
S r
 2 yi  a0  a1 xi  0
a0
i 1




n
S r
 2 ( yi  a0  a1 xi ) xi  0
a1
i 1
n
n
n
i 1
i 1
i 1
0   yi   a0   a1 xi
n
n
n
i 1
i 1
i 1
0   yi xi   a0 xi   a1 xi2
FUNDAMENTOS - REGRESSÃO LINEAR
Expressando as equações para as estimativas a0 e a1:
na0   xi a1   yi
 x a   x a   x y
i
0
2
i
1
i
i
Assim as equações normais são:
a1 
n xi yi   xi  yi
n xi2   xi 
a0  y  a1 x
1
y   yi
n
1
x   xi
n
REGRESSÃO LINEAR
Exercícios:
A partir dos dados experimentais, realizar o ajuste linear.
xi yi
1 0.5
2
3
4
5
6
7
2.5
2.0
4.0
3.5
6.0
5.5
 24.0
y  a0  a1 x  e
n
S r
 2 yi ,medida  a0  a1 xi  0
a0
i 1




n
S r
 2 ( yi ,medida  a0  a1 xi ) xi  0
a1
i 1
a1 
n xi yi   xi  yi
n xi2   xi 
a0  y  a1 x
2
y
1
yi

n
x
1
xi

n
QUANTIFICAÇÃO DO ERRO DA REGRESSÃO LINEAR
O resíduo na regressão linear representa a distância vertical
entre o ponto de dados e a linha reta:
Pelo principio de
verossimilhança
estatistica, o desvio
padrão para a
regressão pode ser
determinado como:
sy / x
Sr

n2
Chamado de erro
de estimação.
QUANTIFICAÇÃO DO ERRO DA REGRESSÃO LINEAR
A diferença entre o a magnitude do erro residual associado com
a variável dependente antes da regressão e soma dos quadrados
dos resíduos em torno da linha de regressão:
St  S r
r 
St
2
Onde r² é chamado de coeficiente de determinação e r é o
coeficiente de correlação. Para um ajuste perfeito Sr = 0, e r = r² =
1. Se r = r² = 0, Sr = St, representa um ajuste improvável.
Um forma alternativa para r:
r
n xi yi   xi  yi
n x 
2
i
 x 
2
i
n x 
2
i
 x 
2
i
REGRESSÃO LINEAR
Algoritmo:
(n  sumxy  sumx  sumy )
Sub Regress( x, y, n, a1, a 0, syx, r 2)
a1 
(n  sumx 2  sumx  sumx)
sumx  0; sumxy  0; st  0
sumy  0; sumx 2  0; sr  0
a 0  ym  a1 xm
for i  1, n
for i  1, n
sumx  sumx  x(i )
st  st  ( y (i )  ym)²
sumy  sumy  y (i )
sr  sr  ( y (i )  a1 xi  a 0)²
sumxy  sumxy  x(i ) y (i )
end
sum2  sumx 2  x(i ) x(i )
syx  ( sr /(n  2)) 0.5
end
r 2  ( st  sr ) / st
xm  sumx / n
end Regress
ym  sumy / n
Múltipla Regressão linear
Uma extensão útil da regressão linear é o caso em que y é uma
função linear de dois ou mais variáveis independentes.
y  a0  a1 x1  a2 x2  e
Do critério de mínimos quadrados:
n
n
i 1
i 1
S r   e   ( yi  a0  a1 x1  a2 x2 ) 2
n
S r
 2 ( yi  a0  a1 x1i  a2 x2i )
a0
i 1
n
S r
 2 x1i ( yi  a0  a1 x1i  a2 x2i )
a1
i 1
n
S r
 2 x2i ( yi  a0  a1 x1i  a2 x2i )
a2
i 1
Múltipla Regressão linear
Uma extensão útil da regressão linear é o caso em que y é uma
função linear de dois ou mais variáveis independentes.
y  a0  a1 x1  a2 x2  e
Do critério de mínimos quadrados:
n
n
i 1
i 1
S r   e   ( yi  a0  a1 x1  a2 x2 ) 2
 n

  x1i
  x2 i

x
x
x x
1i
2
1i
1i 2 i
 a0   yi 

   
1i 2 i  a1    x1i yi 
2 
 

a
1i   2 
 x2i yi 
x
x x
x
2i
Múltipla Regressão linear
Exemplo:
A partir dos dados calcular os coeficientes a0, a1 e a2, por
regressão múltipla.
y  a0  a1 x1  a2 x2  e
x1i
0
x2i
0
yi
5
2
2.5
1
4
1
2
3
6
10
9
0
3
7
2
27
 n

  x1i
  x2 i

x
x
x x
1i
2
1i
1i 2 i
sy / x
 a0   yi 

   
1i 2 i  a1    x1i yi 
2 
 

a
1i   2 
 x2i yi 
x
x x
x
2i
Sr

n  (m  1)
FUNDAMENTOS - REGRESSÃO NÃO-LINEAR
Dado um conjunto de dados (x1, y1), (x2, y2), ..., (xn, yn), com a
seguinte dispersão:
FUNDAMENTOS - REGRESSÃO NÃO-LINEAR
Outro exemplo é o modelo exponencial:
y  1e
1 x
Onde 1 e 1 são constantes.
Esse modelo descreve comportamentos como crescimento
populacional ou decaimento radioativo.
Outro exemplo é a equação de potencia:
y   2 x 2
FUNDAMENTOS - REGRESSÃO NÃO-LINEAR
Linearização
Linearização
Linearização
FUNDAMENTOS - REGRESSÃO NÃO-LINEAR
Exemplo:
Realizar a regressão de dados para a equação de potencia, do
seguintes dados:
xi
yi
1
2
3
4
0.5
1.7
3.4
5.7
5
8.4
y  2x
2
REGRESSÃO NÃO-LINEAR
• Os modelos não-lineares são definidos como aqueles que têm
uma dependência não linear sobre os seus parâmetros.
• Ex.:
f ( x)  a0 (1  e
 a1 x
)e
REGRESSÃO NÃO-LINEAR
• O método Newton-Gauss é um algoritmo para minimização da
soma dos quadrados dos resíduos entre os dados e a equação
não-linear.
yi  f ( xi ; a0 , a1 ,..., am )  ei
• O modelo não linear pode ser expandido em uma série de
Taylor em torno da primeira derivada:
f ( xi ) j 1  f ( xi ) j 
f ( xi ) j
a0
(a0, j 1  a0, j )  ... 
f ( xi ) j
an
(ai , j 1  ai , j )
• Assim:
yi  f ( xi ) j 
f ( xi ) j
a0
(a0, j 1  a0, j )  ... 
f ( xi ) j
an
(an , j 1  an , j )  ei
REGRESSÃO NÃO-LINEAR
• O método Newton-Gauss:
yi  f ( xi ) j 
f ( xi ) j
• Na forma matricial:
a0
(a0, j 1  a0, j )  ... 
f ( xi ) j
an
(an , j 1  an , j )  ei
{D}  [ Z j ]{A}  {E}
• Onde:
 y1  f ( x1 ) 
 y  f ( x )

2 
{D}   2




 yn  f ( xn )
 f1 / a0
f / a
0
[Z j ]   2
 

f n / a0
f1 / an
f 2 / a1

f n / a1
 f1 / an 
 f 2 / an 

 



• Onde o critério de parada:
a k 
ak , j 1  ak , j
ak , j 1
100%
a0 
 a 


{A}   1 
  
an 
REGRESSÃO NÃO-LINEAR
• Exemplo:
• Para os dados apresentados, realizar a regressão para o ajuste
 a1 x
da função:
f ( x; a0 , a1 )  a0 (1  e
xi
0.25
0.75
1.25
1.75
2.25
yi
0.28
0.57
0.68
0.74
0.79
)
Com valores iniciais de a0 = 1 e a1 = 1:
f
 1  e  a1x
a0
{D}  [ Z j ]{A}  {E}
f
 a0 xe  a1x
a0
a k 
ak , j 1  ak , j
ak , j 1
100%