Nieliniowa metoda najmniejszych kwadratów - algorytm Gaussa-Newtona

 

Metoda Gaussa-Newtona dotyczy ciągu nastęujących po sobie zastosowań MNK, w którym rolę macierzy X ( obserwacji zmiennych objaśniających) pełni macierz Z(l), a rolę wektora y ( obserwacji zmiennej zależnej –endogenicznej) wektor e(l)

Szacowanie parametrów modelu nieliniowego rozpoczyna się od doboru wartości początkowych (tzw. punktów startowych) b(0) tak, aby były one bliskie rzeczywistym wartościom parametrów b i umożliwiały otrzymanie zbieżności algorytmu. Najczęściej metodę Gaussa-Newtona łączy się z inną metodą, która umożliwia otrzymanie dobrych początkowych przybliżeń parametrów. Taką metodę stanowi np. metoda m punktów polegająca na arbitralnym (w przyakładzie ponizej wykonano dla 2 i 7 obserwcji) wyborze m punktów empirycznych i założeniu, że współrzędne tych punktów spełniają dokładnie równanie rozpatrywanej krzywej. W ten sposób uzyskuje się układ- przeważnie nieliniowy -m równań z m niewiadomymi parametrami, których rozwiązanie stanowi szukane przybliżenie parametrów. 

Algorytm Gaussa-Newtona wykorzystuje się do estymacji parametrów strukturalnych modeli nieliniowych. Poniżej została przedstawiona ogólna postać funkcji nieliniowej:

Yt= f(xt,b)+xt       t=1,...,N,

Gdzie:

yt  - obserwacje zmiennej objaśnianej,

xt = [xtl]- wektor obserwacji P zmiennych objaśniających,

b = [bj]- wektor K parametrów strukturalnych,

ξt – realizacje składników losowych,

Przy czym zakładamy, że składniki losowe ξt są nieskorelowane, mają średnią zero oraz jednakową, dodatnią i skończoną wariację.

Zauważamy, że w modelu nieliniowym na ogół nie ma żadnego związku między liczbą zmiennych objaśniających P a liczbą parametrów K; zwykle P<K.

Zastosowanie MNK wprost do modelu nieliniowego Gaussa-Newtona, czyli wyznaczenie estymatora b wektora parametrów β, takiego że:

minS(b) = min å [ yt - f (xt,b) ]2 = S(b)

prowadzi do nieliniowego układu równań normalnych, który  rozwiązujemy za pomocą numerycznych procedur iteracyjnych.

Następnym etapem metody Gaussa-Newtona jest obliczenie pierwszych pochodnych cząstkowych względem parametrów strukturalnych występujących w modelu. (pochodna po βj dla j=1,2...) Pierwsze pochodne cząstkowe wykorzystuje się we wzorze pozwalającym na obliczenie odchyleń dj (l) kolejnych przybliżeń βj (l) od wartości rzeczywistych βj.

W tym celu posłużą nam podstawowe wzory na pochodne znane już w liceum:

1. Funkcji elementarnych, jak również na pochodne funkcji wykładniczej i logarytmicznej:

f(x)=C,      f’(x)=0,     xÎR,

f(x)=xa,     f’(x)=axa-1,  xÎR+,

f(x)=ax,      a>0 i a¹ 1,   xÎR,   f”(x)=ax ln a,  xÎR,

f(x)=ex,      f’(x)=ex,

f(x)= loga    x, a>0 i a¹ 1,  x>0,  f’(x)= 1/x ln a,   x>0,

f(x)= ln x,   x>0,  f’(x)=1/x, x>0,

 

2. Funkcji pochodnej sumy, różnicy, iloczynu oraz ilorazu:

[ f(x) + g(x)]’= f’(x)+ g’(x),

[ f(x) - g(x)]’= f’(x) - g’(x),

[ f(x)* g(x)]’=f’(x)g(x) + f(x)g’(x),

[f(x)/g(x)]’=f’(x)g(x) – f(x)g’(x)/[g(x)]2,  g(x)¹0

 

Metoda Gaussa-Newtona polega, więc na zastąpieniu modelu w l-tej iteracji jego liniowa aproksymantą (liniowym przybliżeniem).

 Za pomocą algorytmu Gaussa-Newtona, w celu oszacowania parametrów strukturalnych modelu nieliniowego stosuje się następujący wzór:

d (l)=[(Z(l))TZ(l)]-1(Z(l))Te(l)

gdzie:

             Z(l)=[Z(l)tj]=[f(xt,b)/¶bj]b=b(l)  - macierz N*K pierwszych

pochodnych cząstkowych względem parametrów obliczonych dla ustalonych w l-tej iteracji przybliżeń

 b (l )oraz danych obserwacji zmiennych objaśniających.

                                                e(l)=[et(l)]=[ytf(xt,b(l))] - wektor różnic miedzy 

zaobserwowanymi wartościami zmiennej zależnej a l-tym przybliżeniem (wartościami teoretycznymi z l-tej iteracji).

Wartości dj(l ) są szacunkami dj(l) *dj(l) są to odchylenia l-tych przybliżeń bj(l) od wartości rzeczywistych bj, co przedstawia poniższe równanie:  

dj(l)=bj - bj(l)

Mając dobrane wartości początkowe należy przystąpić do pierwszej iteracji. Postępowanie iteracyjne wykonuje się według wzoru:

                                   bj(l+1) = bj(l)+dj(l)

Iteracja pierwsza będzie wyglądała w następujący sposób:              

                                     bj(l) = bj(0)+dj(0)

Iteracja druga będzie miała następującą postać:

                                   bj(2)= bj(1)+dj(1)

Postępowanie iteracyjne kontynuuje się tak długo, aż wartości bezwzględne wszystkich poprawek będą równe zeru z zadaną dokładnością (np. 1%).

                                     

2.Słownik pojęć i terminów dotyczący prezentowanej metody Gaussa-Newtona.

1.metoda Gaussa-Newtona dotyczy ciągu zastosowań MNK, w którym rolę macierzy X ( obserwacji zmiennych objaśniających-egzogenicznych) pełni macierz Z(l), a rolę wektora y ( obserwacji zmiennej zależnej –endogenicznej) wektor e(l)

2.metoda najmniejszych kwadratów jest metodą estymacji polegającą na tym, że za wektor parametrów strukturalnych b przyjmuje wektor b, który minimalizuje sumę kwadratów reszt.

3. estymacjaszacowanie parametrów         

4. szacowanie parametrów modelu ekonometrycznego – sprowadza się do przypisywania nieokreślonym liczbowo parametrom konkretnych wartości liczbowych

5. zmienne objaśniane (zwane opisywanymi lub zależnymi) - zmienne te są wyjaśniane przez model.

6.  zmienne objaśniające (zwane też opisującymi lub niezależnymi) - zmienne te nie są wyjaśniane przez model

7. punkty startoweto wartości początkowe od których rozpoczyna się szacowanie parametrów modelu

 

Przykład:

W poniższej tabeli przedstawione są wartości dla dwóch zmiennych. Pierwsza zmienna X oznacza miesięczne dochody na osobę, natomiast druga zmienna Y oznacza miesięczne wydatki na osobę na pieczywo, nabiał, warzywa i owoce w gospodarstwach domowych w 2004 roku. Moim celem jest oszacowanie parametrów modelu nieliniowego z dokładnością wynoszącą 1,6%:

Grupa dochodowa Grupy dochodowe (miesięczne sumy dochodów na 1 osobę) w tys. zł
600 i mniej 600-800 800-1000 1000-1400 1400-1800 1800-2200 2200-2700 powyżej 2700
i 1 2 3 4 5 6 7 8
xi 510,7 718,1 911,3 1205,3 1596,7 1982,2 2420,6 3554,5
yi 22,1 25,3 31,9 36,5 41,4 47,6 53,1 65,5

Model według teorii ekonomii może mieć następującą nieliniową postać analityczną:

Przeprowadzę własne obliczenia  za pomocą jednego z najlepszych narzędzi statystycznych jakim jest pakiet StatisticaPL.

Wybieram odpowiedni moduł programu:

Wprowadzam dane do programu i wybieram własną postać modelu:

Wprowadzam postać mojego modelu oraz funkcję straty jak MNK czyli minimalizacja sumy kwadratów odchyleń wartości rzeczywistych od teoretycznych.

Wybieram metodę quasi-Newtona:

Ustalam wartości początkowe parametrów:

Otrzymuję wynik działania algorytmu programu po 10 iteracjach:

Dokonam weryfikacji tego modelu po wzgledem zakładanych warunków stosowalności tej metody:

-         zakładamy, że składniki losowe ξt są nieskorelowane,

-         mają średnią zero oraz jednakową, dodatnią i skończoną wariację.

Współczynnik determinacji mówi iż zmienność objaśniającej została wyjaśniona przez model

w 99% co uważam za duży sukces.

Wielkość wyjaśnionej wariancji objaśnianej jest także bardzo wysoka.

Wartości reszt modelu prezentują się następująco:

A ich średnia wartość 0,148 co stanowi  0,148/40,45= 0,003 czyli 0,3% wartości objaśnianej.

Wielkość tą można uznać statystycznie za równą 0.

Należy wziąć pod uwagę, iż w metodach nieliniowych nie osiąga się średniej składnika losowego wynoszącej dokładnie 0.

Wykres dopasowania wartości rzeczywistych i teoretycznych wyznaczonych przez model:

Zbadam zgodność rozkładu składnika losowego z rozkładem normalnym:

Wartość p<0,59 dla statystyki Shapiro Wilka mówi iż na zwyczajowym poziomie istotności 0,05 nie ma podstaw do odrzucania hipotezy Ho mówiącej o normalności rozkładu składnika losowego.

Ostatnim testem będzie badanie stałości wariancji składnika losowego.

W tym celu podzielę reszty na dwie próby i dokonam prostą analizę wariancji w Excelu:

t=1,2,3,4

t=5,6,7,8

et2

et2

6,242162

4,35732

0,069694

1,800327

2,280968

0,85514

0,027116

3,827675

Otrzymany wynik z Analizy Danych:

Analiza wariancji: jednoczynnikowa

 

 

 

 

 

 

 

 

 

 

 

 

 

PODSUMOWANIE

 

 

 

 

 

 

Grupy

Licznik

Suma

Średnia

Wariancja

 

 

Kolumna 1

4

8,61994

2,154985

8,532384

 

 

Kolumna 2

4

10,84046

2,710116

2,743624

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ANALIZA WARIANCJI

 

 

 

 

 

 

Źródło wariancji

SS

df

MS

F

Wartość-p

Test F

Pomiędzy grupami

0,61634

1

0,61634

0,109319

0,752162

5,987374

W obrębie grup

33,82802

6

5,638004

 

 

 

Razem

34,44436

7

 

 

 

 

 

Wartość krytyczna podana odczytana z tablic i podana przez program wynosi F*=5,987

a wartośc obliczona statystki F=0,11.

Ponieważ F<F* nie istnieje istotna różnica między wariancjami obu prób i mogę uznać, iż składnik losowy ma stałą wariancję.

Ten sam wniosek można wysnuć z wartości-p która znacznie przekroczyła poziom istotności 0,05 czyli nie ma podstaw do odrzucenia hipotezy Ho mówiącej o stałości wariancji składnika losowego.

Podsumowanie.

Ponieważ weryfikacja modelu wskazuje na jego poprawność model mogę uznać za dobry i przydatny do wykorzystania  w prognozowaniu  wartości objaśnianej.

Wyznaczę prognozę miesięcznych wydatków na osobę na pieczywo, nabiał, warzywa i owoce w gospodarstwach domowych w rodzinie gdzie dochód na osobę wynosi 850zł.


 

Zatem w rodzinie tej wydatki na pieczywo, nabiał , warzywa i owoce wyniesie 28,93zł na jednego członka rodziny.

opracował:
red. Marian


Wszelkie publikacje prezentowane tutaj są chronione prawami autorskimi.
Kopiowanie zabronione zgodnie z Ustawą z dnia 4 lutego 1994 r. o prawie autorskim
i prawach pokrewnych
All right reserved © 2006 www.ekonometria.com

ekonometria