Contenidos
Mínimo local y mínimo global. Cálculo simbólico
- Usando las condiciones necesarias de primer orden, encontrar un punto de mínimo de la función
Verificar que dicho punto es un mínimo local usando las condiciones suficientes de segundo orden.
Probar que el mínimo local encontrado es, de hecho, global.
Introducción¶
Mínimo de una función de varias variables¶
Dado $f:\Omega\subset \mathbb{R}^n\to \mathbb{R}$ decimos que $x^*\in \Omega$ es un mínimo de $f$ en $\Omega$ si $f(x^*)\leq f(x)$ para todo $x\in\Omega$.
Casos principales
- Optimización sin restricciones: $\Omega=\mathbb{R}^n.$
- Optimización con restricciones: $\Omega \subsetneq \mathbb{R}^n$, habitualmente determinada por un conjunto de restricciones dadas por igualdades o desigualdades.
No hay técnicas que resuelvan, en general, el problema de optimización global. Por lo tanto, habitualmente se resuelve el problema de optimización local:
Encontrar $x^*\in \Omega$ de forma que $f(x^*)\leq f(x)$ para todo $x$ tal que $\left\Vert x-x^*\right\Vert\leq R$.
Si $f$ es estrictamente convexa y $\Omega$ es un conjunto estrictamente convexo, entonces $f$ tiene un mínimo global único en $\Omega$.
El problema del encontrar un máximo se transforma facilmente en el problema de encontrar un mínimo cambiando el signo de la función. Por ejemplo, la función de dos variables $f:\mathbb{R}^2\to \mathbb{R}$, $f(x,y)=-x^2-y^2$ tiene un máximo en $(0,0)$ y la función $-f(x,y)=x^2+y^2$ tiene un mínimo en $(0,0)$
Así que solo trataremos el problema de encontrar un mínimo. Empecemos repasando las condiciones necesarias y suficientes de mínimo de una función de varias variables suficientemente regular con el ejemplo de la función de dos variables $f(x,y) = x\,e^{-x^2-y^2}$. Si la representamos en $(x,y)\in[-2,2]\times[-2,2]$
Vemos que tiene un máximo y un mínimo relativo, el mínimo en $(x_0,y_0)=\left(-\dfrac{1}{\sqrt{2}},0\right)\approx (-0.71,0)$ y el máximo en $(x_1,y_1)=\left(\dfrac{1}{\sqrt{2}},0\right)\approx (0.71,0)$
Condición necesaria de mínimo relativo¶
Si hacemos $y$ constante e igual a cero, obtenemos la curva $g_1(x)=f(x,0)=x\,e^{-x^2}$, que es la curva que obtenemos al cortar la superficie por el plano $y=0$
Y vemos que la derivada de esta curva en $x_0=-\dfrac{1}{\sqrt{2}}$ y $x_1=\dfrac{1}{\sqrt{2}}$ es igual a cero (tangente horizontal). Es decir, en ambos casos, la derivada parcial de la superficie $f$ respecto de la variable $x$ es cero en estos puntos.
Si ahora hacemos $x$ constante e igual a $\dfrac{1}{\sqrt{2}}$ equivale a cortar la superficie por el plano $x=\dfrac{1}{\sqrt{2}}$ y tenemos la curva $g_2(y)=f\left(\dfrac{1}{\sqrt{2}},y\right)= \dfrac{1}{\sqrt{2}}e^{-\frac{1}{2}-y^2}$
Y vemos que la derivada de esta curva en $y_1=0$ es igual a cero (tangente horizontal). Es decir, la derivada parcial de la superficie $f$ respecto de la variable $y$ es cero en este punto.
Y si ahora hacemos $x$ constante e igual a $-\dfrac{1}{\sqrt{2}}$ equivale a cortar la superficie por el plano $x=-\dfrac{1}{\sqrt{2}}$ y tenemos la curva $g_2(y)=f\left(-\dfrac{1}{\sqrt{2}},y\right)= -\dfrac{1}{\sqrt{2}}e^{-\frac{1}{2}-y^2}$
Y vemos que la derivada de esta curva en $y_0=0$ es igual a cero (tangente horizontal). Es decir, la derivada parcial de la superficie $f$ respecto de la variable $y$ es cero en este punto.
Por lo tanto, si tenemos un máximo o un mínimo de una función de varias variables, la condición necesaria es que sus derivadas parciales sean cero. En particular, para una función de dos variables como $f$
$$\dfrac{\partial f}{\partial x}=0 \quad \dfrac{\partial f}{\partial y}=0$$Y para la función del ejemplo $f(x,y)= x\,e^{-x^2-y^2}$
$$ \begin{array}{lll}\\ \dfrac{\partial f}{\partial x}=0 & & e^{-x^2-y^2}+x\,e^{-x^2-y^2}(-2x)=0 & & e^{-x^2-y^2}(1-2x^2)=0& &1-2x^2=0\\ \dfrac{\partial f}{\partial y}=0 & & x\,e^{-x^2-y^2}(-2y)=0 & & e^{-x^2-y^2}(-2y)=0& &-2y=0 \end{array} $$Y la solución de este sistema no lineal es
$$ x = \pm\dfrac{1}{\sqrt{2}} \quad y=0 $$Y por lo tanto la soluciones son
$$(x_0,y_0)=\left(-\dfrac{1}{\sqrt{2}},0\right)\approx (-0.71,0)\qquad(x_1,y_1)=\left(\dfrac{1}{\sqrt{2}},0\right)\approx (0.71,0)$$Estas son condiciones necesarias, no suficientes, porque pueden darse y no haber ni un máximo ni un mínimo, y entonces se llama punto de silla. Un ejemplo es la función siguiente. Si en el punto $(0,0)$ cortamos por el plano $y=0$ tenemos un mínimo, pero si cortamos por el plano $x=0$ tenemos un máximo. Por lo tanto en $(0,0)$ la superficie no tiene ni un máximo ni un mínimo, aunque se cumplen las condiciones necesarias de extremo.
Plot interactivo (En región rectangular)
Plot interactivo (En región circular)
Condición suficiente de mínimo relativo¶
Una vez hemos establecido que en el punto se cumplen las condiciones necesarias la condición suficiente de mínimo es que la función sea convexa en el punto. En una dimensión, analíticamente era $f''(x_0) \gt 0$. En más de una dimensión, la matriz Hessiana en el punto ha de ser definida positiva. La matriz hessiana es
Y en el punto $(x_0,y_0)=\left(-\dfrac{1}{\sqrt{2}},0\right)\approx (-0.71,0)$
Una forma de comprobar si una matriz es definida positiva es tomar todos los menores principales y si sus determinantes son positivos, la matriz es definida positiva.
En este caso, podemos no tener en cuenta el factor positivo que hemos sacado fuera de la matriz y
$$ \left|2\right| = 2\gt 0 \quad \left|\begin{array}{rr} 2 & 0\\ 0 & 1 \end{array}\right|=2\gt 0 $$y la matriz hessiana es definida positiva en el punto $(x_0,y_0)$ y podemos garantizar que hay un mínimo local.
Ejercicio¶
Usando las condiciones necesarias de primer orden, encontrar un punto de mínimo de la función¶
$$ f(x,y,z)=2x^{2}+xy+y^{2}+yz+z^{2}-6x-7y-8z+9. $$La condición necesaria de mínimo para un punto $\left(x_{m},y_{m},z_{m}\right)$ es que $\nabla f\left(x_{m},y_{m},z_{m}\right)=\left(f^{\prime}_{x},f^{\prime}_{y},f^{\prime}_{z}\right)=\left(0,0,0\right)$. Es decir
$$ \begin{cases} f^{\prime}_{x}=0\\ f^{\prime}_{y}=0\\ f^{\prime}_{z}=0\\ \end{cases} \qquad \begin{cases} 4x + y - 6=0\\ x + 2y + z - 7=0\\ y + 2z - 8=0 \end{cases} \qquad \begin{cases} x=1.2\\ y=1.2\\ z=3.4 \end{cases} $$Y el punto $\left(x_{m},y_{m}\right)=\left(1.2,1.2,3.4\right)$ cumple las condiciones necesarias de mínimo.
Veamos cómo resolvimos el sistema por Gauss.
Queremos resolver el sistema
$$ \begin{array}{rrrrrrr} 4x & + & y & + & & = & 6\\ x &+ & 2y& +& z & = & 7\\ & & y &+& 2z & = & 8 \end{array} $$Hacemos ceros por debajo del pivote $\mathbf{{\color{red}4}}$ en la primera columna.
$$ \begin{array}{c} f_{1}\\ f_{2}\\ f_{3} \end{array}\left(\begin{array}{rrr|r} \mathbf{{\color{red}4}} & 1 & 0 & 6\\ \mathbf{{\color{blue}1}} & 2 & 1 & 7\\ \mathbf{{\color{ForestGreen}0}} & 1 & 2 & 8 \end{array}\right)\begin{array}{rrl} f'_{1} & = & f_{1}\\ f'_{2} & = & f_{2}-\tfrac{\mathbf{{\color{blue}1}}}{\mathbf{{\color{red}4}}}f_{1}\\ f'_{3} & = & f_{3}-\tfrac{\mathbf{{\color{ForestGreen}0}}}{\mathbf{{\color{red}4}}}f_{1} \end{array} $$Hacemos ceros por debajo del pivote $\mathbf{{\color{red}{-3}}}$ en la segunda columna.
$$ \begin{array}{c} f'_{1}\\ f'_{2}\\ f'_{3} \end{array}\left(\begin{array}{rrr|r} 4 & 1 & 0 & 6\\ 0 & \mathbf{{\color{red}{7/4}}} & 1 & 11/2\\ 0 & \mathbf{\color{blue}{1}} & 2 & 8 \end{array}\right)\begin{array}{rrl} f''_{1} & = & f'_{1}\\ f''_{2} & = & f'_{2}\\ f''_{3} & = & f_{3}-\tfrac{\mathbf{\color{blue}{1}}}{\mathbf{{\color{red}{(7/4)}}}}f'_{2} \end{array} $$Y ya tenemos una matriz triangular superior (con ceros por debajo de la diagonal principal).
$$ \begin{array}{c} f''_{1}\\ f''_{2}\\ f''_{3} \end{array}\left(\begin{array}{ccc|c} 4 & 1 & 0 & 6\\ 0 & 7/4 & 1 & 11/2\\ 0 & 0 & 10/7 & 34/7 \end{array}\right) $$De la última ecuación obtenemos $$z = \dfrac{\frac{34}{7}}{\frac{10}{7}} = \dfrac{34}{10}=3.4$$ De la segunda ecuación $$y =\dfrac{\frac{11}{2}-z}{\frac{7}{4}}=\dfrac{\frac{11}{2}-\frac{34}{10}}{\frac{7}{4}}= \dfrac{6}{5}=1.2$$ Y finalmente, de la tercera $$x = \dfrac{6-y}{4}= \dfrac{6-\frac{6}{5}}{4} =\dfrac{6}{5}=1.2$$
Y por lo tanto $$ \fbox{$x = 1.2 \quad y = 1.2 \quad z = 3.4$} $$
Verificar que dicho punto es un mínimo local usando las condiciones suficientes de segundo orden.¶
Como
$$ \begin{cases} f^{\prime}_{x}=4x + y - 6\\ f^{\prime}_{y}=x + 2y + z - 7\\ f^{\prime}_{z}=y + 2z - 8 \end{cases} $$La condición suficiente es que la matriz Hessiana en el punto $\left(x_{m},y_{m},z_{m}\right)$ sea definida positiva. La matriz Hessiana para la función $f$ en cualquier punto $\left(x,y\right)$ es
$$ H_{f}=\left(\begin{array}{ccc} f^{\prime\prime}_{xx} & f^{\prime\prime}_{xy}& f^{\prime\prime}_{xz}\\ f^{\prime\prime}_{yx} & f^{\prime\prime}_{yy}& f^{\prime\prime}_{yz}\\ f^{\prime\prime}_{zx} & f^{\prime\prime}_{zy}& f^{\prime\prime}_{zz} \end{array}\right)=\left(\begin{array}{ccc} 4 & 1 & 0\\ 1 & 2 & 1\\ 0 & 1 & 2 \end{array}\right). $$Y en particular, en el punto $\left(x_{m},y_{m},z_{m}\right)=\left(1.2,1.2,3.4\right)$, como todos los elementos son constantes, el valor es el mismo.
La condición suficiente de mínimo es que la matriz hessiana sea definida positiva. Una condición para que una matriz sea definida positiva es que los determinantes de los menores principales han de ser estrictamente positivos. Es decir
$$ \left|\begin{array}{ccc} 4 & 1 & 0\\ 1 & 2 & 1\\ 0 & 1 & 2 \end{array}\right|= 10\gt0 \qquad \left|\begin{array}{cc} 4 & 1\\ 1 & 2 \end{array}\right|=7\gt0\quad\mathrm{y} \qquad \left|4\right|=4\gt0. $$Por lo tanto la matriz es definida positiva y se cumple la condición suficiente de mínimo.
Probar que el mínimo local encontrado es, de hecho, global.¶
Para demostrar que este mínimo es único, basta con demostrar que la función es convexa.
Si el hessiano es definido positivo para todos los puntos de la función, esta es convexa. Como la matriz hessiana tiene elementos constantes y es definida positiva, lo es para toda la función y caso de existir un mínimo, es único.