Ajuste por mínimos cuadrados

LinearRegression se ajusta a un modelo lineal con coeficientes w = (w_1,…, w_p) para minimizar la suma residual de cuadrados entre las respuestas observadas en el conjunto de datos, y las respuestas pronosticadas por la aproximación lineal. Matemáticamente resuelve un problema de la forma:

LinearRegression tomará en su método de ajuste las matrices X, y y guardará los coeficientes w del modelo lineal en su miembro coef_:

Sin embargo, las estimaciones de coeficientes para los Mínimos Cuadrados se basan en la independencia de los términos del modelo. Cuando los términos se correlacionan y las columnas de la matriz de diseño X tienen una dependencia lineal aproximada, la matriz de diseño se acerca al singular y como resultado, la estimación de mínimos cuadrados se vuelve altamente sensible a errores aleatorios en la respuesta observada, produciendo una gran varianza. Esta situación de multicolinealidad puede surgir, por ejemplo, cuando los datos se recogen sin un diseño experimental.

ejemplo de Ajuste por mínimos cuadrados:

import numpy as np
import pylab as pl

from sklearn import linear_model

# este es nuestro conjunto de prueba, es solo una línea recta con algun ruido gaussiano
xmin, xmax = -5, 5
n_samples = 100
X = [[i] for i in np.linspace(xmin, xmax, n_samples)]
Y = 2 + 0.5 * np.linspace(xmin, xmax, n_samples) \
      + np.random.randn(n_samples, 1).ravel()

# ejecuta el clasificador
clf = linear_model.LinearRegression()
clf.fit(X, Y)

# plotea los resultados
pl.scatter(X, Y, color='black')
pl.plot(X, clf.predict(X), color='blue', linewidth=3)
pl.xticks(())
pl.yticks(())
pl.show()

➡ Aprende mucho mas de Machine Learning con nuestro curso:

Curso de Machine Learning en Python