Iti0210ex13

Allikas: Lambda

Lineaarne regressioon

Esialgne mudel

Tabelis on andmete paarid xj, yj. Soovime andmetega sobitada lineaarse mudeli ax + b. Hetkel on mudeli parameetrid a=3 ja b=-3. Tabelis ŷ ja graafikul oranz joon vastavad sellele mudelile.

j xj yj ŷj
1 1 0 0
2 2 3 3
3 3 2 6
4 4 7 9
5 5 8 12

Kaofunktsioon

Arvuta kadu praeguse mudeli parameetrite korral:

Kaofunktsioon

Gradientlaskumine

Tee üks gradientlaskumise samm, arvutades uued a ja b nende valemitega:

a update

b update

Kasuta α = 0.01.

Kuidas muutuvad a ja b ning mis suunas liigub selle tulemusena mudelile vastava funktsiooni graafik (oranz joon)?

Õppimise kiirus

Kui α on õppimise kiirus, siis võiks vist seda suurendada, et kiiremini õppida? Proovi eelmises arvutuses asendada α = 0.5. Millised a ja b siis oleks saadud? Proovi joonistada, kuidas saadud mudelile vastava sirgjoone graafik paikneks algandmete suhtes.