Доказателство (част 2) за свеждането до минимум на квадратичната грешка на линията на регресия

Целта ни е да опростим този израз за квадратичната грешка при тези n точки. Само да си припомним какво правим – имаме тези n точки. И намираме сбора от квадратите на отклоненията на всяка от тези n точки и настоящата ни права у, която има уравнение у = mx + b. Получаваме този израз тук, който опростяваме в последните няколко видеоурока. Ще се опитаме да опростим този израз колкото се може повече. После ще се опитаме да минимизираме стойността на този израз. Или да намерим стойностите на m и b, които го минимизират. Или предполагам, че можем да кажем, да намерим най-добре съвпадащата права. За да направим това, изглежда, че правим сметките все по-заплетени и по-заплетени. Но тази следваща стъпка доста добре ще опрости нещата. И за да ти покажа... ако искам да намеря средната стойност на всички стойности на у, повдигнати на квадрат – ще направим следното. Това ще е у1 на квадрат, плюс у2 на квадрат, плюс т.н. докато стигнем yn на кварат. И сумирах n -стойностите, стойностите за n на квадрат. След това искам да разделя полученото на n, тъй като тук има n стойности. И това е средната стойност на тези у на квадрат. Ето как можем да означим това, по този начин. Или, ако умножим двете страни на това уравнение по n, получаваме у1 на квадрат, плюс у2 на квадрат, плюс и т.н., докато стигнем до yn на квадрат, това е равно на n пъти по средната стойност на повдигнатите на квадрат стойности на у. И забележи, това е точно същото, което имаме тук. То е n пъти по средната стойност на повдигнатите на квадрат стойности на у. Или средната стойност на всички у на квадрат. И можем да направим това с всеки от тези членове. Това, което дава х1у1 плюс х2у2 плюс ... xnyn. Ако вземем целия този сбор, и го разделим на n члена, ще получим средната стойност на израза х, умножено по у. За всяка от тези точки умножаваме х по у. И намираме средната стойност от всички тези произведения. Това представлява даденият израз. И, пак да кажем, умножаваме двете страни на това уравнение по n, и получаваме х1у1 плюс х2у2 плюс... т.н. до xnyn, което е равно на n, умножено по средната стойност на всички членове ху. Мисля, че се вижда накъде отива това. Този член тук ще е равен на n пъти по средната стойност от произведенията на ху. Този член тук е равен на n пъти по средната стойност на стойностите на у. И тогава този член тук дава n пъти по средната стойност от стойностите на х, повдигнати на квадрат. Този член тук е средната стойност от произведенията на всички х и n. Ако разделим това на n, ще получим средната стойност. Тъй като не го делим на n, това е средната стойност, умножена по n. И после това е очевидно, че не опростяваме нищо. Така че нека препишем всичко, като използваме нашата цветова символика, знаейки, че това са средните стойности на у на квадрат, на ху и всичко това. И нашата квадратична грешка, сборът на квадратите на отклоненията от правата за n на брой точки, ще е равна на – този член тук е равен на n пъти по средната стойност от стойностите на у на квадрат. Този член тук е равен на минус 2m – това там – умножено по n, по средната стойност на стойностите ху, аритметичната средна стойност. И след това имаме този член тук. Мисля, че можем да оценим факта, че така правим едно хубаво алгебрично опростяване на израза. Този член тук ще е минус 2bn, умножено по средната стойност на у. И след това имаме плюс m на квадрат, умножено по n, умножено по средната стойност от стойностите на х на квадрат. И тогава имаме – почти сме готови, почти сме на финала – имаме това тук, което е плюс 2mb, умножено по n пъти средната стойност на х-стойностите. И накрая имаме плюс nb на квадрат. Реално в последните два-три клипа, всичко, което направихме, е, че опростихме израза за сбора на квадратите на отклоненията на тези n точки от правата с уравнение у = mx + b. И приключваме с този мъчен етап от сметки. В следващия етап всъщност искаме да оптимизираме този израз. Може би по-добрият начин да се каже, е, че искаме да минимизираме стойността на този израз тук. Искаме да намерим m и b стойностите, които го минимизират. А за да го онагледим, тук ще използваме малко тримерна начална висша математика. Но има надежда да не е толкова объркващо. Ако частично познаваш производните, то няма да ти е трудно. Това е една повърхност. Ако я разгледаме, виждаме х и у точките данни, всичко тук е константно, с изключение на членовете m и членовете b. Приемаме, че стойностите на х и у са дадени, така че можем да намерим средната стойност на квадратите на у, средната стойност на произведението ху, средната стойност от всички у, средната стойност от тези х на квадрат. Приемаме, че тези числа тук са реални. Така че този израз тук, всъщност той ще представлява повърхност в три измерения. Можем да си представим тази ос ето тук, това е оста m. А тази тук е оста b. Ще ги продължа. Тогава можем да си представим, че ординатната ос представлява квадратичната грешка. Това е оста на квадратичната грешка на правата. И за всяка комбинация от m и b, ако сме в равнината на m и b, избираме някаква комбинация между тях двете. Поставяме я в този израз за квадратната грешка на правата. Ще ти дам един пример. Ако направим това за всички комбинации от членове m и b, ще получим една повърхност. И тази повърхност ще изглежда по следния начин. Ще направя всичко възможно да я изобразя. Ще изглежда така. Можем да си я представим и като вид купичка. Или дори като една триизмерна парабола. Ако искаме така да я приемем. Вместо парабола, ще имаме нещо такова. Ако малко го повъртим и го поизкривим, ще получим нещо, което прилича на купичка, на напръстник или тем подобни. И така, това, което искаме да направим, е да намерим стойностите на m и b, които минимизират... Забележи, че това е една тримерна повърхност. Не знам колко е достоверна. Можем да си представим една тримерна повърхност, която изглежда така. Това е обратната страна, която не виждаме. Така че виждаме вътрешността на нашата тримерна повърхност. Искаме да намерим стойностите на m и b, които минимизират големината на повърхността. Така че тук имаме някакви m и b стойности, които минимизират тази площ. Всъщност изчисленията ще ги направя следващия път. Но за да са успешни те, тук ще намерим частната производна по отношение на m. Ще намерим частната производна по отношение на b, като и двата израза приравним на 0. Понеже тази минимална точка, мисля, можем да кажем в три измерения, тази минимална точка на повърхността ще се появи, когато наклонът по отношение на m и наклонът по отношение на b клонят към 0. И в тази точка частната производна на нашата квадратична грешка по отношение на m ще е равна на 0. Частната производна на квадратичната грешка по отношение на b също ще е равна на 0. Така че всичко, което ще направим следващия път, е да намерим частната производна на този израз по отношение на m, като го приравним на 0. И частната производна тук по отношение на b, като го приравним на 0. И след това сме готови да намерим m и b, конкретните стойности на m и b.