Пример с метода на най-малките квадрати

Дадени са три прави в R2 и искам да намеря тяхната пресечна точка. Първата права е с уравнение 2х – у = 2, втората права е с уравнение х + 2у = 1, и третата права е с уравнение х + у = 4. Първо ще начертая тези прави, просто да видим графично представено какво трябва да направим. Обичам уравненията на правите да са във вида у = mх + b. Как ще изглежда горното уравнение? –у = –2х + 2. Просто извадих 2х от двете страни. Можем да го запишем също като у = 2х – 2. Това е първото уравнение. Второто уравнение – ще използвам зелен цвят – можем да го преработим като 2у = –х + 1, или можем да запишем у = –(1/2) по х + 1/2. Просто разделяме двете страни на 2. Последното уравнение тук можем да кажем, че е у = –х + 4. Получи се веднага. у = –х + 4. Сега ще ги начертая. Първо ще начертая осите, това тук е оста у. Ще я означа като оста у, защото тук работим с х е у. Ще я направя малко по-светла. Ще използвам този сив цвят. Това е оста х. Ето така. Първата права е у = 2х минус 2. Значи ще пресича оста у при у = –2. Ще има наклон 2, значи това е една много стръмна права. Това е първата права. у = 2х – 2. Следващата права е у = –1/2 по х плюс 1/2. Тук имаме плюс 1/2, това е ето тук, а наклонът е –1/2. За всеки 2 единици надясно слизаме надолу с 1 единица. Ще изглежда ето така. Всъщност тя е ортогонална на тази, нали? Защото –1/2 е отрицателната реципрочна стойност на 2. Ще изглежда ето така. Чертая я ето така. Тази права е у = –х + 4. Това е 1, 2, 3, 4, това е –х, значи за всяка единица надясно слизаме надолу с 1 единица. Значи тази последна права ще изглежда приблизително така. Последната права ще изглежда ето така. В началото на видеото казах, че искам да намеря пресечните точки на тези три прави. Но обърни внимание, че тези три прави не се пресичат в една точка. Всяка от тях пресича другите две, но те нямат една единствена обща пресечна точка. Можем да кажем, че тази система е преопределена. Ние сме я преопределили. Няма пресечна точка на трите прави. Така че, ако искаме да решим системата, няма да намерим решение. Да кажем, че няма решение е еквивалентно на това да кажем, че тази матрица, или това уравнение няма решения. Ще го запиша. Просто ще преработя системата по следния начин. Това е еквивалентно на матрицата – само да се уверя, че го правя правилно – матрицата по вектор [х;у] е равно на [2;1;4]. Първото уравнение е 2 по х, минус 1 по у. Значи това е 2 и –1. 2 по х минус 1 по у е равно на 2. Това е първото уравнение тук. Второто уравнение – всъщност мога даже – няма да използвам различни цветове, защото ще отнеме много време – това е 1 по х плюс 2 по у равно на 1. После имаме х плюс у равно на 4. Тази система и това уравнение са еквивалентни. И тук няма решение. Можеш да опиташ да намериш решение на това. Можеш да създадеш една разширена матрица и да я преобразуваш в ешелонна форма. Но тук няма пресечна точка на тези три прави. Така че няма да намериш решение на матрицата А по някакъв вектор – можем да го означим като вектор х – равно на b. Друг начин да го кажем е, че това b не принадлежи на векторното пространство на тази матрица ето тук. В предходното видео учихме, че със сигурност не можем да намерим решение на А по х равно на b. А по х = b няма решение. И виждаме това на чертежа – тези прави не се пресичат една с друга. Можеш самостоятелно да го докажеш алгебрично, като опиташ да намериш решение тук. Накрая ще получиш, че 0 е равно на 1. Но можем да намерим приблизително решение, като използваме метода на най-малките квадрати. Можем да намерим решение по метода на най-малките квадрати, ако умножим двете страни по матрицата А транспонирана. Знаем, че А транспонирана по матрицата А, по решението чрез метода на най-малките квадрати ще е равно на А транспонирана по b. Значи можем да намерим най-близкото приближение. Да намерим вектор х, който е решението чрез метода на най-малките квадрати. Колко е А транспонирана по А? А транспонирана изглежда ето така: [2; –1;1;2;1;1]. Това е А транспонирана. След това матрицата А е: [2;–1;1;2;1;1]. Значи А транспонирана по А ще бъде равно на – имаме матрица 2 х 3, умножена по матрица 3 х 2, така че ще получим матрица 2 х 2. Значи ще получим матрица 2 х 2. Какво ще получим: получаваме 2 по 2, което е 4, плюс 1 по 1, плюс 1 по 1. Значи имаме 4 плюс 1, плюс 1. Това е равно на 6. После имаме 2 по –1, което е –2, плюс 1 по 2, те се унищожават. –2 плюс 2 е 0, плюс 1 по 1. Това е равно на 1. После получаваме –1 по 2, което е –2, плюс 2 по 1, което е 2. Значи –2 плюс 2 е нула, плюс 1 по 1, получаваме 1. И накрая имаме –1 по –1, което е +1, плюс 2 по 2, което е 4, значи става 5. Плюс 1 по 1 и става 6. Това е произведението А транспонирана по А. А колко е А транспонирана по b? Матрицата А транспонирана е [2;1;1;–1;2;1]. После b е вектор 3 х 1, който принадлежи на R3 и е равен на [2;1;4]. На какво е равно това произведение? Това е равно на – получаваме 3... Извинявам се, това е матрица 2 х 3 по вектор 3 х 1. Ще получим вектор 2 х 1. Тук получаваме вектор 2 х 1. Значи 2 по 2 е 4, плюс 1 по 1, това е това +1, това дава 5. Плюс... всъщност ще го напиша, за да не допусна грешки – 2 по 2, което е 4, плюс 1 по 1, което е 1, плюс 1 по 4, което е 4. После тук имаме –1 по 2, което е –2, после 2 по 1, което е 2, плюс 1 по 4, което е 4. Значи А транспонирана по b е равно на 9, а тук е 4. Можем да преработим това като произведението А транспонирана по А, което е просто [6;1;1;6] по решението чрез метода на най-малките квадрати – то всъщност ще принадлежи на векторното пространство на А – равно на А транспонирана по b, което е просто векторът [9;4]. Така ще бъде малко по-лесно да намерим решение. Всъщност тук ще има решение. Доказахме го в предишното видео. За да намерим решение, да разширим матрицата матрицата [6;1] разширяваме с 9. Тук имаме 4, тук са 1 и 6. Ето така. Да преобразуваме лявата страна в ешелонна форма. Всъщност първо ще разменя тези два реда. Това е първата операция с редове, която ще направя, само защото искам тук да имам 1. Това е хубав водещ елемент. Така става 1, 6, 4 първи ред и 6, 1, 9 на втория ред. Сега ще заместя втория ред с втория ред минус 6 по първия ред. Първият ред запазваме непроменен. Имаме 1, 6 и 4. Втория ред ще заместим с втория ред минус 6 по първия ред. 6 минус 6 е 0. 1 минус, 6 по 6, това е 1 минус 36, значи –35. После 9 минус, 6 по 4, това е 9 минус 24. Тук ще имаме проблеми. 9 минус 24, това е –15. Само да се уверя, че не допускам грешки по невнимание. 1 минус 36 е –35; 9 минус 24 е –15. Това получаваме ето тук. Сега да отидем вдясно, където сега ще разделя този ред тук, ще го разделя на –35. Ще запазим първия ред непроменен. 1, 6, 4. После ето тук ще разделя на –35. Получаваме 0, 1 и после –15 върху –35. Това е 15/35 или 3/7, значи е равно на 3/7. Сега просто ще преобразувам в пълна ешелонна форма. Това ще е добре. Ще запазя втория ред непроменен. Вторият ред е 0, 1 и 3/7. После първия ред ще заместим с първия ред минус 6 по втория ред. 1 минус, 6 по 0, това е 1, 6 минус, 6 по 1 е 0, после имаме 4 минус, 6 по 3/7. 4 е равно на 28/7. Ще го запиша тук. Имаме 4, което е 28/7, минус 6 по 3/7, значи минус 18/7, нали? Това е 6 по 3/7. Това ще е равно на 10/7. И така решихме това ново уравнение. Можем да кажем, че... ще го запиша по следния начин. Можем да запишем това като х* – това е първият елемент на х звезда, който можем да наречем х, това е 10/7. Ще го запиша. х*, решението ни, ще бъде 10/7 и 3/7. Това означава, че решението х равно на 10/7 и у равно на 3/7 е възможно най-близкото приближение на решението. Как изглежда това на чертежа? Какво е 10/7? Ще го запиша: х* е равно на [10/7; 3/7]. Казваме, че е възможно най-близкото... решението по метода на най-малките квадрати е х равно на 10/7, значи х е малко повече от 1. После имаме 3/7, което е малко по-малко от 1/2. Значи решението по метода на най-малките квадрати ще бъде ето това тук. Когато заместим тази стойност на х, когато заместим х = 10/7 и у = 3/7, тогава ще минимизираме сумата от квадратите на разстоянията между тези три прави. Начертах го твърде дребно, за да се вижда. Хайде да намерим колко е тази минимизирана разлика. Спомни си, нашата цел е да минимизираме разстоянието между (А по х*) и b. Или между b и (А по х*). На колко е равно А по х*? А по х* е равно на [9;4]. Ето това тук. Извинявам се, А по х* не е равно на [9;4], това е А транспонирана по А по х*, което е [9;4]. А по х* е оригиналната матрица А, която е ето тази тук, значи 2... ще я запиша ето тук. Знам, че сега е извън екрана. Значи оригиналната матрица А беше [2; –1;1;2;1;1]. Това е оригиналната матрица А ето тук. После вектор х* намерихме, че е равен на [10/7; 3/7]. Значи А по х* ще е равно на произведението им, на какво е равно то? То е равно на матрица 3 х 1. Значи имаме 2 по 10/7, което е 20/7, минус 1 по 3/7, което е –3/7. После имаме, да видим, това е 10 минус 3/7, имаме 10/7, минус 2 по 3/7, значи минус 6/7. Или плюс, извинявам се, това е плюс. Нали? 2 по 10/7 е 20/7, минус 1 по 3/7, после имаме 1 по 10/7 плюс 2 по 3/7. После имаме 10/7 плюс 3/7. Значи А по х, това е А по х*, нашата приблизителна оценка на вектор х чрез метода на най-малките квадрати, на какво е равно това? Това е 17/7, това е 16/7, а това е 13/7. Искахме да намерим колко е най-малкото разстояние тук. Да видим, това ще бъде ето това. Значи 17/7, 16/7 и 13/7 минус оригиналния вектор b. Нашият оригинален вектор b e [2;1;4]. Нашето твърдение е, че решението, което току-що намерихме, минимизира това разстояние. Защото това е проекцията на вектор b върху векторното пространство на матрицата А. Видяхме това по-рано. Значи вектор b, който стига ето тук до горе, е [2;1;4]. Ако вземем разстоянието на това – ще сменя цветовете – това е равно на тази дължина. Ще запиша всичко като седми, като дроби – ще го сметна наум. Не искам да губя твърде много време. Значи това е 17/7 минус 14/7, нали? 2 е 14/7, значи това е равно на 3/7. После имаме 16/7 минус 7/7 и получаваме 9/7. Накрая имаме 13/7 минус 28/7, което е –15 върху 7. Значи това е векторът, който разделя b, което не е във векторното пространство на А от проекцията на b. Да намерим неговата дължина, тази дължина ще е равна на... Първо да намерим тази дължина на квадрат. Тази дължина на квадрат е равна на (3/7)^2, което е 9/49, плюс (9/7)^2, което е 81/49, плюс (–15/7)^2. Колко е 15 на квадрат? 15 на квадрат е 225, мисля. Само да проверя. Склонен съм да правя грешки по невнимание. 5 по 5 е 25, 1 по 5 е 5, това е 75, и после имаме 150. Да, 225. Значи плюс 225/49. Което е равно на... значи 9 плюс 81, което е 90, после 225 плюс 90, за да получим 5, това е 315. Значи това е равно на 315/49. И понеже търсим разстоянието, то ще е корен квадратен от това. Ако вземем просто разстоянието, то е равно на корен квадратен от това число. Значи е равно на корен квадратен от 315, върху 7. Корен квадратен от 315 – струва ми се че може да се опрости. Съдържа ли 9? Да видим дали съдържа 9, може би 35 по 9? Значи става 3 по квадратен корен от 35, върху 7. Това е просто дължината. Ще го представя по следния начин: не можеш да намериш нито един член на R2, никакви стойности за х и за у, които могат да дадат по-малка стойност от тази, когато намерихме разстоянието между това решение и решението, което се опитваме да намерим. Значи това, въз основа на метода за най-малките квадрати, е най-добрата приблизителна оценка, която можем да получим. х е равно на 10/7, а у е равно на 3/7. Само малко по-надясно, ето така. Надявам се, че считаш, че това ти е полезно и започваш да разбираш, че методът на най-малките квадрати е изключително полезен.