Función de Pérdida

 Función de pérdida

En optimización matemática y teoría de decisiones , una función de pérdida o función de costo (a veces también llamada función de error) [1] es una función que mapea un evento o valores de una o más variables en un número real que representa intuitivamente algún "costo" asociado con el evento. Un problema de optimización busca minimizar una función de pérdida. Una función objetivo es una función de pérdida o su opuesto (en dominios específicos, llamada función de recompensa , función de ganancia , función de utilidad , función de aptitud) ., etc.), en cuyo caso se debe maximizar. La función de pérdida podría incluir términos de varios niveles de la jerarquía.

En estadística, normalmente se usa una función de pérdida para la estimación de parámetros , y el evento en cuestión es una función de la diferencia entre los valores estimados y verdaderos para una instancia de datos. El concepto, tan antiguo como Laplace , fue reintroducido en las estadísticas por Abraham Wald a mediados del siglo XX. [2] En el contexto de la economía , por ejemplo, esto suele ser costo económico o arrepentimiento . En clasificación , es la penalización por una clasificación incorrecta de un ejemplar. En la ciencia actuarial , se utiliza en un contexto de seguros para modelar los beneficios pagados sobre las primas, particularmente porque los trabajos deHarald Cramér en la década de 1920. [3] En el control óptimo , la pérdida es la penalización por no lograr un valor deseado. En la gestión de riesgos financieros , la función se asigna a una pérdida monetaria.




Ejemplos

Arrepentimiento (Regret): Leonard J. Savage argumentó que usando métodos no bayesianos como minimax , la función de pérdida debería basarse en la idea de arrepentimiento , es decir, la pérdida asociada con una decisión debería ser la diferencia entre las consecuencias de la mejor decisión que podría haber sido tomado si se hubieran conocido las circunstancias subyacentes y la decisión que de hecho se tomó antes de que se conocieran.

Función de pérdida cuadrática (Quadratic loss function): El uso de una función de pérdida cuadrática es común, por ejemplo, cuando se utilizan técnicas de mínimos cuadrados . A menudo es más tratable matemáticamente que otras funciones de pérdida debido a las propiedades de las varianzas , además de ser simétrica: un error por encima del objetivo provoca la misma pérdida que la misma magnitud de error por debajo del objetivo.

Muchas estadísticas comunes , incluidas las pruebas t , los modelos de regresión , el diseño de experimentos y mucho más, usan métodos de mínimos cuadrados aplicados mediante la teoría de regresión lineal , que se basa en la función de pérdida cuadrática.

La función de pérdida cuadrática también se utiliza en problemas de control óptimo lineal-cuadrático . En estos problemas, incluso en ausencia de incertidumbre, puede que no sea posible lograr los valores deseados de todas las variables objetivo. A menudo, la pérdida se expresa como una forma cuadrática en las desviaciones de las variables de interés de sus valores deseados; este enfoque es manejable porque da como resultado condiciones lineales de primer orden . En el contexto del control estocástico , se utiliza el valor esperado de la forma cuadrática.

Función de pérdida 0-1 (0-1 loss function): En estadística y teoría de decisiones , una función de pérdida de uso frecuente es la función de pérdida 0-1.



Funciones avanzadas

Comprender la pérdida de entropía cruzada categórica, la pérdida de entropía cruzada binaria, la pérdida de softmax, la pérdida logística, la pérdida focal y todos esos nombres confusos. A la gente le gusta usar nombres geniales que a menudo son confusos. Cuando comencé a jugar con CNN más allá de la clasificación de una sola etiqueta, me confundí con los diferentes nombres y formulaciones que la gente escribe en sus documentos, e incluso con los nombres de la capa de pérdida de los marcos de trabajo de aprendizaje profundo como Caffe, Pytorch o TensorFlow. En esta publicación, agrupo los diferentes nombres y variaciones que la gente usa para Cross-Entropy Loss . Explico sus puntos principales, casos de uso y las implementaciones en diferentes marcos de aprendizaje profundo.


Tareas
  • Clasificación multiclase
  • Clasificación de etiquetas múltiples
Funciones de activación de salida
  1. Sigmoide
Aplasta un vector en el rango (0, 1).


      2. Softmax
Softmax es una función, no una pérdida. Aplasta un vector en el rango (0, 1) y todos los elementos resultantes suman 1.


Ver más..


Pérdidas

Pérdida de entropía cruzada
La pérdida de entropía cruzada es en realidad la única pérdida que estamos discutiendo aquí. Los otros nombres de pérdidas escritos en el título son otros nombres o variaciones del mismo.

Pérdida de entropía cruzada categórica
También llamado Softmax Loss . Es una activación de Softmax más una pérdida de Cross-Entropy . 

Pérdida de entropía cruzada binaria
También llamada pérdida de entropía cruzada sigmoidea . Es una activación sigmoidea más una pérdida de entropía cruzada.





Pérdida Focal
Focal Loss fue presentado por Lin et al., de Facebook, en este documento . Afirman mejorar los detectores de objetos de una etapa usando Focal Loss para entrenar un detector al que llaman RetinaNet.

Loss Functions