Множители на Лагранж за извършване на оптимизация с ограничение

В последното видео те запознах с оптимизацията с ограничение, където се опитахме да максимизираме функцията f от (х; у) равно на х на квадрат по у, но при ограничението, че стойностите на х и на у трябва да удовлетворяват уравнението х на квадрат плюс у на квадрат равно на 1. Начинът, по който визуализирахме това, беше да разгледаме равнината ху, в която една окръжност съответства на нашето ограничение. Всички точки, които принадлежат на това множество, удовлетворяват х на квадрат плюс у на квадрат равно на 1, а тази извита линия тук е един от контурите за функцията f, което означава, че стойностите на f от (х; у) са равни на някаква константа. После започнахме да променяме тази константа с. При високи стойности на с контурните линии изглеждат ето така, това е когато стойността на х на квадрат, по у, е голяма. За малки стойности на с контурите изглеждат ето така. Всички точки върху тази линия са f от (х; у) равно на 0,01 в този случай, нещо подобно. След това начинът, по който максимизираме тази функция, е да увеличаваме тази стойност на константата с дотогава, докато не се окажем извън окръжността. Ключовото наблюдение тук е, че максималната стойност е когато кривата е допирателна към окръжността. Така че можем да начертаем това на една скица и да кажем, че съществува някаква крива, която представлява нашето ограничително условие, което в случая е тази окръжност. След това кривата, която представлява контура, само ще докосва кривата, едва ще я докосва по някакъв начин. Това е чудесно, но за решението на задачата все още трябва да поработим. Основният инструмент, който ще използваме, е градиентът. Ще начертая още много контурни линии, които съответстват на функцията х на квадрат, по у. Това са много контурни линии, и аз ще начертая градиентното поле на f. В Кан Академия имаме видео относно зависимостта между градиента и контурните линии. Изводът от това е, че тези градиентни вектори, всеки път, когато преминат през контурна линия, те са перпендикулярни на нея. Основната причина за това е, че ако се движим по една контурна линия, функцията не променя стойността си, така че ако искаш бързо да достигнеш до по-голяма стойност, тогава е логично да се движиш в перпендикулярна посока, така че никой от компонентите на това преместване, което правиш, да не е безполезен, тъй като контурната линия, по която до момента се движиш, е такава, че стойността на функцията не се променя. Напомням отново, че има специално видео по темата, което си заслужава да гледаш, ако това ти е непознато. За нашите цели това означава, че когато разглеждаме тази точка на допиране, градиентът на f в тази точка ще бъде някакъв вектор, който е перпендикулярен и на двете криви в тази точка. Този малък вектор представлява градиентът на функцията f в тази точка от равнината. Можем да направим нещо много подобно, за да разберем и другата крива. Сега съм я означил като ограничително условие, х на квадрат, плюс у на квадрат равно на 1. Но се досещаш, че – можем да имаме функция... да кажем, че това е функцията g от (х; у) равно на х на квадрат плюс у на квадрат. В този случай това ограничение е просто една от контурните линии на функцията g, което можем да разгледаме. Ако дойдем ето тук и разгледаме всички други контурни линии на функцията g, като е логично, че те са окръжности, защото функцията е х на квадрат плюс у на квадрат. Ако разгледаме градиента на функцията g, ако се запитаме какъв е градиентът на функцията g, той притежава същото свойство, че всеки вектор на градиента, ако преминава през една контурна линия, той е перпендикулярен на нея. На чертежа ето тук векторът на градиента на g също ще е перпендикулярен на двете криви. Знаеш, че може би в този случай, този вектор не е толкова дълъг, колкото на f, или може да е по-дълъг. Няма причина двата вектора да имат еднаква дължина, но важният факт е, че те са пропорционални. Начинът, по който ще напишем това във формулите, е да кажем, че градиентът на f е изчислен – да видим – изчислен е за максимизираната стойност на х и на у, като може би трябва да ги означим. Нека да са х с индекс m и у с индекс m – конкретни стойности на х и на у, които са в тази точка, която максимизира стойността на функцията, която е ограничена. Това е свързано с градиента на g, няма да са съвсем равни, така че тук ще оставя малко място. Свързани са с градиента на g, изчислен в същата точка (xm; ym). И както казах, те не са равни, а са пропорционални помежду си. Значи съществува някаква константа на пропорционалност. Почти винаги се използва променливата ламда, като си има много специално име – нарича се множител на Лагранж. Лагранж е известен френски математик. Винаги го бъркам с някои от другите френски математици като Льожандър или Лаплас, цял куп подобни имена. Да видим – множител... малко се разсеях. Значи множител на Лагранж. В анализа на функции на много променливи има много неща, носещи името на Лагранж, и това е едно от тях. Това е техника, която той е създал, или поне популяризирал. Основната идея, че просто приравняваме двата градиента, защото те съответстват на точката, в която контурната линия на едната функция е допирателна на контурната линия на другата. Значи това е нещо, с което можем да работим. Да започнем с... да видим как изглежда това твърдение в аналитичен вид, като формули. Тук вече съм написал g, сега просто да намерим какъв е градиентът на функцията g. Това е градиентът на х на квадрат плюс у на квадрат. Начинът, по който намираме градиента, е, че това е един вектор, чиито компоненти са частните производни на функцията. Първият компонент е частната производна по отношение на х. Значи разглеждаме х като променлива, а у като константа. Производната е 2 по х. Вторият компонент е частната производна по отношение на у, така че сега разглеждаме като променлива у, а х като константа, и тази производна е 2 по у. Това е градиентът на функцията g. Градиентът на функцията f ще бъде – да видим – какво е х? Каква беше функцията f? Тя е х на квадрат, по у. Диференцираме по същия начин. Правим същото нещо. Първият компонент е частната производна относно х, х разглеждаме като променлива, значи производната е 2 по х, а после у е константа, значи го оставяме тук. След това частната производна по отношение на у, у разглеждаме като променлива, х на квадрат сега ще бъде константа, която ще бъде тук отпред. И получаваме този вектор. А сега, някак си да приложим този израз за множителя на Лагранж, като използваме тези два вектора, които написахме, това, което ще напиша, е, че този вектор – [2ху; х^2], е пропорционален на вектора на градиента на функцията g с коефициент на пропорционалност ламда. Градиентът на функцията g беше [2х; 2у]. Ако искаш, можеш да разглеждаш това като две отделни уравнения. В момента това е едно уравнение с вектори, но всъщност можем да кажем, че имаме две отделни уравнения, 2 по х по у равно на ламда... опа, трябва да сменя цвета – ламда по 2 по х. Трябва да внимавам повече с цветовете. В червено е всичко, което е свързано с g. После, второто уравнение е това – х на квадрат е равно на ламда по 2 по у. Това изглежда проблематично, защото имаме три неизвестни – х, у и ламда, която току-що въведохме. Все едно се простреляхме в крака, като въведохме и трета променлива, а имаме само две уравнения. За да решим тази система са ни нужни три уравнения. Третото уравнение е нещо, което знаем през цялото време. То е част от първоначалната задача. Това е самото ограничително условие, х на квадрат плюс у на квадрат равно на едно. Така че това е третото уравнение, х на квадрат плюс у на квадрат равно на едно. Това са трите уравнения, които характеризират нашата задача за оптимизация с ограничение. Последното уравнение ни казва, че решенията трябва да лежат на тази единична окръжност. Ще я покажа. Трябва да лежат на тази окръжност. Горните две уравнения ни казват какво е необходимо, за да може нашите контурни линии, контурните линии на f и контурните линии на g да са идеално тангенциални помежду си. В следващото видео ще решим тази система от уравнения. Това включва предимно алгебрични преобразувания, но си заслужава да я решим. В следващите няколко урока ще разгледаме как можем да обединим всички тези три уравнения в един израз, както и малко за тълкуването на този множител на Лагранж, ламда, който въведохме. Защото това не е някаква проста променлива, а има много интересен смисъл във физически контекст, след като вече започнем да разглеждаме практически задачи за оптимизация с ограничение. Ще се видим в следващото видео!