Regresión Logística
La regresión logística es un método de aprendizaje supervisado usado principalmente para clasificación. Aunque se llama regresión, no se usa para predecir valores continuos, sino para estimar la probabilidad de que una muestra pertenezca a una clase.
En clasificación binaria, primero calcula una combinación lineal de las variables:
z = w₀ + w₁x₁ + w₂x₂ + … + wₙxₙ
Después aplica la función sigmoide: σ(z) = 1 / (1 + e⁻ᶻ). La sigmoide transforma cualquier valor real en un valor entre 0 y 1, interpretado como una probabilidad: P(y=1|x) = σ(z).
- Si la probabilidad es ≥ 0.5, se clasifica como clase 1.
- Si es < 0.5, se clasifica como clase 0.
La función de pérdida más habitual es la entropía cruzada binaria: L = -1/n Σ [yᵢ log(pᵢ) + (1-yᵢ) log(1-pᵢ)]. El entrenamiento ajusta los pesos mediante descenso por gradiente.
Ventajas y limitaciones
- Ventajas: Sencilla, rápida, interpretable, funciona bien en problemas linealmente separables y devuelve probabilidades.
- Limitación: Aprende fronteras de decisión lineales.
Clasificador Bayesiano de Mínimo Error
Un clasificador bayesiano de mínimo error asigna cada muestra a la clase que tenga mayor probabilidad posterior. La regla de decisión es: ŷ = arg max P(ωᵢ|x).
Utilizando el teorema de Bayes: P(ωᵢ|x) = (p(x|ωᵢ) * P(ωᵢ)) / p(x). Se simplifica a ŷ = arg max p(x|ωᵢ)P(ωᵢ). Es la base de clasificadores probabilísticos como Naive Bayes.
Método del Codo en Clustering
El método del codo se usa en clustering (k-means) para elegir el número óptimo de clusters. Se calcula la inercia (WCSS) para distintos valores de k:
WCSS = Σⱼ Σₓᵢ∈Cⱼ ||xᵢ – μⱼ||²
Al graficar k frente a WCSS, el punto donde la curva deja de bajar bruscamente se denomina codo, indicando el número ideal de clusters.
Regularización: Ridge y Lasso
La regularización evita el overfitting añadiendo una penalización a la función de pérdida:
- Ridge (L2): Añade la suma de los pesos al cuadrado (L = Error + λΣwⱼ²). Reduce la complejidad sin eliminar variables.
- Lasso (L1): Añade el valor absoluto de los pesos (L = Error + λΣ|wⱼ|). Puede hacer que algunos pesos sean cero, actuando como selección de características.
Validación de Modelos
Leave-one-out (LOOCV)
Consiste en entrenar el modelo dejando fuera una única muestra para testear. Si hay n muestras, se realizan n entrenamientos. Es útil para conjuntos pequeños pero computacionalmente costoso.
K-fold Cross Validation
El conjunto se divide en k partes. Se entrena con k-1 partes y se prueba con la restante. Es más eficiente y práctico que LOOCV.
Matriz de Confusión y Métricas
La matriz de confusión evalúa el rendimiento comparando clases reales vs. predichas:
| Predicho positivo | Predicho negativo | |
|---|---|---|
| Real positivo | VP | FN |
| Real negativo | FP | VN |
- Accuracy: (VP+VN) / (VP+VN+FP+FN)
- Sensibilidad: VP / (VP+FN)
- Especificidad: VN / (VN+FP)
- Precisión: VP / (VP+FP)
- F1 Score: 2 * (Precisión * Sensibilidad) / (Precisión + Sensibilidad)
Árboles de Decisión: Ganancia de Información
Para dividir nodos, se utiliza la ganancia de información basada en la entropía H(S). La gain ratio normaliza esta ganancia para evitar el sesgo hacia atributos con muchos valores distintos, siendo fundamental en algoritmos como C4.5″ }.