Paradigmas del aprendizaje
Paradigmas
Supervised Learning
El enfoque de aprendizaje supervisado en el ML utiliza conjuntos de datos etiquetados que entrenan algoritmos para clasificar datos o predecir salidas con precisión. El modelo utiliza los datos etiquetados para medir la relevancia de las diferentes características a fin de mejorar gradualmente el ajuste del modelo al resultado conocido.
Unsupervised Learning
Con el aprendizaje no supervisado, se utilizan algoritmos de ML para examinar y agrupar los conjuntos de datos no etiquetados. Dichos algoritmos pueden descubrir patrones desconocidos en los datos sin supervisión humana.
Self Supervised Learning
El aprendizaje autosupervisado (SSL) es un paradigma de aprendizaje automático en el que un modelo, cuando se alimenta con datos no estructurados como entrada, genera etiquetas de datos automáticamente, que se utilizan en iteraciones posteriores como verdades básicas.
La idea fundamental para el aprendizaje autosupervisado es generar señales de supervisión dando sentido a los datos no etiquetados que se le proporcionan sin supervisión en la primera iteración.
Machine Learning
Deep Learning
El aprendizaje profundo es parte de una familia más amplia de métodos de aprendizaje automático basados en redes neuronales artificiales con aprendizaje de representación . El aprendizaje puede ser supervisado, semi-supervisado o no supervisado.
El aprendizaje profundo es una clase de algoritmos de aprendizaje automático que: 199–200 utiliza múltiples capas para extraer progresivamente funciones de nivel superior de la entrada sin procesar. Por ejemplo, en el procesamiento de imágenes , las capas inferiores pueden identificar los bordes, mientras que las capas superiores pueden identificar los conceptos relevantes para un ser humano, como dígitos, letras o rostros.
Reinforcement Learning
Es un área del aprendizaje automático que se ocupa de cómo los agentes inteligentes deben realizar acciones en un entorno para maximizar la noción de recompensa acumulativa . El aprendizaje por refuerzo es uno de los tres paradigmas básicos de aprendizaje automático, junto con el aprendizaje supervisado y el aprendizaje no supervisado .
El aprendizaje por refuerzo difiere del aprendizaje supervisado en que no necesita que se presenten pares de entrada/salida etiquetados, y en que no necesita que se corrijan explícitamente las acciones subóptimas. En cambio, el enfoque está en encontrar un equilibrio entre la exploración (de un territorio desconocido) y la explotación (del conocimiento actual).
Transfer Learning
El aprendizaje por transferencia es una metodología en la que se toman los pesos de un modelo entrenado en una tarea y se utilizan (a) para construir un extractor de características fijas, (b) como inicialización de peso y/o ajuste fino.
Representation Learning
El aprendizaje de representaciones se ocupa de entrenar algoritmos de aprendizaje automático para aprender representaciones útiles, por ejemplo, aquellas que son interpretables, tienen características latentes o se pueden usar para el aprendizaje por transferencia. Las redes neuronales profundas pueden considerarse modelos de aprendizaje de representación que normalmente codifican información que se proyecta en un subespacio diferente. Estas representaciones generalmente se pasan a un clasificador lineal para, por ejemplo, entrenar un clasificador.
El aprendizaje de representación se puede dividir en:
1. Aprendizaje de representación supervisado : representaciones de aprendizaje en la tarea A utilizando datos anotados y utilizados para resolver la tarea B
2. Aprendizaje de representaciones no supervisado : aprendizaje de representaciones sobre una tarea de forma no supervisada (datos sin etiquetas). Luego, se utilizan para abordar tareas posteriores y reducir la necesidad de datos anotados al aprender tareas de noticias. Modelos poderosos como GPT y BERT aprovechan el aprendizaje de representación no supervisado para abordar tareas de lenguaje.
Multitask Learning
El aprendizaje multitarea es un enfoque de transferencia inductiva que mejora la generalización mediante el uso de la información de dominio contenida en las señales de entrenamiento de tareas relacionadas como un sesgo inductivo. Lo hace aprendiendo tareas en paralelo mientras usa una representación compartida; lo que se aprende para cada tarea puede ayudar a que otras tareas se aprendan mejor.
Continual Learning
El aprendizaje continuo (también conocido como aprendizaje incremental , aprendizaje permanente ) es un concepto para aprender un modelo para una gran cantidad de tareas secuencialmente sin olvidar el conocimiento obtenido de las tareas anteriores, donde los datos de las tareas anteriores ya no están disponibles durante un nuevo entrenamiento.
Si no se menciona, los puntos de referencia aquí son Task-CL , donde se proporciona task-id en la validación.
Constrative Learning
El aprendizaje contrastivo es una forma popular de aprendizaje autosupervisado que fomenta los aumentos (vistas) de la misma entrada para tener representaciones más similares en comparación con los aumentos de diferentes entradas. El aprendizaje contrastivo permite que el modelo de aprendizaje automático haga lo mismo. Analiza qué pares de puntos de datos son "similares " y "diferentes" para aprender características de nivel superior sobre los datos, incluso antes de realizar una tarea como la clasificación o la segmentación, independiente de tareas y autosupervisada que permite que un modelo aprenda sobre los datos, incluso sin etiquetas.
Robust Learning
Usamos aprendizaje robusto para referirnos a un resultado, es decir, un resultado deseable de la instrucción que va más allá de un mejor logro en el típico " post-test normal " que sigue inmediatamente a la instrucción y utiliza preguntas o tareas de la misma forma que las utilizadas en la instrucción. El aprendizaje robusto es el aprendizaje que logra una mejor comprensión de los conceptos y una fluidez de los procedimientos rápidos y precisos , o ambos . A veces, los objetivos de instrucción de un curso pueden poner más énfasis en uno u otro de comprensión y fluidez, pero a menudo ambos son deseables.
El aprendizaje es sólido si el conocimiento o la habilidad adquiridos cumplen al menos uno de los siguientes tres criterios:
• Retención a largo plazo : Se retiene por largos periodos de tiempo, al menos por días e incluso por años.
• Transferencia : Se transfiere, es decir, se puede utilizar en situaciones que difieren significativamente de las situaciones presentes durante la instrucción.
• Aprendizaje futuro acelerado : Acelera el aprendizaje futuro. Es decir, cuando se presenta instrucción relacionada en el futuro, el conocimiento adquirido permite que los estudiantes aprendan más rápido y/o con mayor eficacia.
Ensemble Learning
Meta Learning
Es un subcampo del aprendizaje automático en el que se aplican algoritmos de aprendizaje automático a metadatos sobre experimentos de aprendizaje automático. El objetivo principal es utilizar dichos metadatos para comprender cómo el aprendizaje automático puede volverse flexible para resolver problemas de aprendizaje, por lo tanto, para mejorar el rendimiento de los algoritmos de aprendizaje existentes o para aprender (inducir ) el algoritmo de aprendizaje en sí mismo, de ahí el término alternativo aprender a aprender.
Federated Learning
El aprendizaje federado es un marco para entrenar un modelo centralizado para una tarea en la que los datos se descentralizan en diferentes dispositivos/silos. Esto ayuda a preservar la privacidad de los datos en varios dispositivos, ya que solo las actualizaciones de peso se comparten con el modelo centralizado, por lo que los datos pueden permanecer en cada dispositivo y aún podemos entrenar un modelo utilizando esos datos.
Metric Learning
El objetivo de Metric Learning o Aprendizaje Métrico es aprender una función de representación que mapea objetos en un espacio incrustado. La distancia en el espacio incrustado debe preservar la similitud de los objetos: los objetos similares se acercan y los objetos diferentes se alejan. Se han desarrollado varias funciones de pérdida para Metric Learning. Por ejemplo, la pérdida contrastiva guía a los objetos de la misma clase a ser mapeados al mismo punto y aquellos de diferentes clases a ser mapeados a diferentes puntos cuyas distancias son mayores que un margen. La pérdida de triplete también es popular, lo que requiere que la distancia entre la muestra de anclaje y la muestra positiva sea menor que la distancia entre la muestra de anclaje y la muestra negativa.