La Regresión Lineal Múltiple permite predecir el valor de una variable dependiente ( ) basándose en dos o más variables independientes (
). Aunque hoy en día se utilizan softwares como Excel o SPSS, realizarla "a mano" mediante el método matricial es fundamental para comprender cómo se minimizan los residuos y se obtienen los coeficientes. Estructura del Modelo La ecuación general se expresa como:
Y=β0+β1X1+β2X2+…+βkXk+ϵcap Y equals beta sub 0 plus beta sub 1 cap X sub 1 plus beta sub 2 cap X sub 2 plus … plus beta sub k cap X sub k plus epsilon β0beta sub 0 : Intersección u ordenada al origen. βibeta sub i : Coeficientes que representan el cambio en por cada unidad de cambio en Xicap X sub i : Término de error o residuo. Ejercicio Resuelto Paso a Paso (Método Matricial) Supongamos que queremos predecir el Gasto en Publicidad ( ) basándonos en la Inversión ( X1cap X sub 1 ) y la Temperatura ( X2cap X sub 2 ) con los siguientes datos simplificados de 3 días: X1cap X sub 1 (Publicidad) X2cap X sub 2 (Temperatura) 1. Construir las Matrices de Datos
Para aplicar el método manual, organizamos los datos en la matriz de diseño ( ) y el vector de respuestas ( ). La matriz
siempre lleva una primera columna de unos para calcular el intercepto ( β0beta sub 0
X=(112121133),Y=(5710)cap X equals the 3 by 3 matrix; Row 1: 1, 1, 2; Row 2: 1, 2, 1; Row 3: 1, 3, 3 end-matrix; comma space cap Y equals the 3 by 1 column matrix; 5, 7, 10 end-matrix; 2. Calcular la Matriz Transpuesta ( XTcap X to the cap T-th power ) y el Producto ( XTXcap X to the cap T-th power cap X Multiplicamos la transpuesta de para obtener una matriz cuadrada (en este caso de
XT=(111123213)cap X to the cap T-th power equals the 3 by 3 matrix; Row 1: 1, 1, 1; Row 2: 1, 2, 3; Row 3: 2, 1, 3 end-matrix;
XTX=(3666141361314)cap X to the cap T-th power cap X equals the 3 by 3 matrix; Row 1: 3, 6, 6; Row 2: 6, 14, 13; Row 3: 6, 13, 14 end-matrix; 3. Calcular el Producto XTYcap X to the cap T-th power cap Y
Este vector contiene las sumas de productos cruzados entre las variables independientes y la dependiente.
XTY=(1(5)+1(7)+1(10)1(5)+2(7)+3(10)2(5)+1(7)+3(10))=(224947)cap X to the cap T-th power cap Y equals the 3 by 1 column matrix; Row 1: 1 open paren 5 close paren plus 1 open paren 7 close paren plus 1 open paren 10 close paren, Row 2: 1 open paren 5 close paren plus 2 open paren 7 close paren plus 3 open paren 10 close paren, Row 3: 2 open paren 5 close paren plus 1 open paren 7 close paren plus 3 open paren 10 close paren end-matrix; equals the 3 by 1 column matrix; 22, 49, 47 end-matrix; Multiple Linear Regression | Solved Exercise
Solving multiple linear regression by hand reinforces the algebraic structure behind the model. While impractical for large datasets, it builds intuition for coefficients, multicollinearity, and the meaning of “controlling for other variables.” Master the normal equations, and you master the fundamentals of regression analysis.
¡Claro! A continuación, te proporciono un texto sólido sobre regresión lineal múltiple con ejercicios resueltos a mano:
Regresión Lineal Múltiple
La regresión lineal múltiple es una técnica estadística que se utiliza para modelar la relación entre una variable dependiente (o variable de respuesta) y varias variables independientes (o variables predictoras). El objetivo es crear un modelo que permita predecir el valor de la variable dependiente en función de los valores de las variables independientes.
Modelo de Regresión Lineal Múltiple
El modelo de regresión lineal múltiple se puede escribir de la siguiente manera:
Y = β0 + β1X1 + β2X2 + … + βnXn + ε
Donde:
Ejercicios Resueltos a Mano
Ejercicio 1
Se desea predecir el salario de un empleado en función de su edad y experiencia laboral. Se tienen los siguientes datos:
| Salario (Y) | Edad (X1) | Experiencia Laboral (X2) | | --- | --- | --- | | 50.000 | 30 | 5 | | 60.000 | 35 | 7 | | 70.000 | 40 | 10 | | 80.000 | 45 | 12 |
Se pide:
a) Estimar los coeficientes de regresión parciales (β1 y β2) y el intercepto (β0) utilizando el método de mínimos cuadrados. b) Predecir el salario de un empleado de 38 años con 8 años de experiencia laboral.
Solución
a) Primero, calculamos las medias de las variables:
Ȳ = 65.000 X̄1 = 37,5 X̄2 = 8,5
Luego, calculamos las desviaciones de cada dato con respecto a las medias:
| Salario (Y) | Edad (X1) | Experiencia Laboral (X2) | (Y - Ȳ) | (X1 - X̄1) | (X2 - X̄2) | | --- | --- | --- | --- | --- | --- | | 50.000 | 30 | 5 | -15.000 | -7,5 | -3,5 | | 60.000 | 35 | 7 | -5.000 | -2,5 | -1,5 | | 70.000 | 40 | 10 | 5.000 | 2,5 | 1,5 | | 80.000 | 45 | 12 | 15.000 | 7,5 | 3,5 |
A continuación, calculamos las sumas de productos:
Σ(X1 - X̄1)(Y - Ȳ) = (-7,5)(-15.000) + (-2,5)(-5.000) + (2,5)(5.000) + (7,5)(15.000) = 337.500 Σ(X2 - X̄2)(Y - Ȳ) = (-3,5)(-15.000) + (-1,5)(-5.000) + (1,5)(5.000) + (3,5)(15.000) = 157.500 Σ(X1 - X̄1)^2 = (-7,5)^2 + (-2,5)^2 + (2,5)^2 + (7,5)^2 = 112,5 Σ(X2 - X̄2)^2 = (-3,5)^2 + (-1,5)^2 + (1,5)^2 + (3,5)^2 = 31,25
Finalmente, estimamos los coeficientes de regresión parciales y el intercepto:
β1 = Σ(X1 - X̄1)(Y - Ȳ) / Σ(X1 - X̄1)^2 = 337.500 / 112,5 = 3 β2 = Σ(X2 - X̄2)(Y - Ȳ) / Σ(X2 - X̄2)^2 = 157.500 / 31,25 = 5 β0 = Ȳ - β1X̄1 - β2X̄2 = 65.000 - 3(37,5) - 5(8,5) = 20.000
El modelo de regresión lineal múltiple es:
Y = 20.000 + 3X1 + 5X2
b) Para predecir el salario de un empleado de 38 años con 8 años de experiencia laboral, sustituimos los valores en el modelo:
Y = 20.000 + 3(38) + 5(8) = 20.000 + 114 + 40 = 62.000
Ejercicio 2
Se desea predecir el consumo de gasolina de un vehículo en función de su peso y potencia. Se tienen los siguientes datos:
| Consumo de Gasolina (Y) | Peso (X1) | Potencia (X2) | | --- | --- | --- | | 10 | 1.500 | 100 | | 12 | 1.800 | 120 | | 15 | 2.000 | 150 | | 18 | 2.200 | 180 |
Se pide:
a) Estimar los coeficientes de regresión parciales (β1 y β2) y el intercepto (β0) utilizando el método de mínimos cuadrados. b) Predecir el consumo de gasolina de un vehículo que pesa 1.900 kg y tiene una potencia de 140 CV.
Solución
a) Primero, calculamos las medias de las variables:
Ȳ = 13,75 X̄1 = 1.875 X̄2 = 137,5
Luego, calculamos las desviaciones de cada dato con respecto a las medias:
| Consumo de Gasolina (Y) | Peso (X1) | Potencia (X2) | (Y - Ȳ) | (X1 - X̄1) | (X2 - X̄2) | | --- | --- | --- | --- | --- | --- | | 10 | 1.500 | 100 | -3,75 | -375 | -37,5 | | 12 | 1.800 | 120 | -1,75 | -75 | -17,5 | | 15 | 2.000 | 150 | 1,25 | 125 | 12,5 | | 18 | 2.200 | 180 | 4,25 | 325 | 42,5 |
A continuación, calculamos las sumas de productos:
Σ(X1 - X̄1)(Y - Ȳ) = (-375)(-3,75) + (-75)(-1,75) + (125)(1,25) + (325)(4,25) = 1.437,5 Σ(X2 - X̄2)(Y - Ȳ) = (-37,5)(-3,75) + (-17,5)(-1,75) + (12,5)(1,25) + (42,5)(4,25) = 431,25 Σ(X1 - X̄1)^2 = (-375)^2 + (-75)^2 + (125)^2 + (325)^2 = 343.750 Σ(X2 - X̄2)^2 = (-37,5)^2 + (-17,5)^2 + (12,5)^2 + (42,5)^2 = 6.875
Finalmente, estimamos los coeficientes de regresión parciales y el intercepto:
β1 = Σ(X1 - X̄1)(Y - Ȳ) / Σ(X1 - X̄1)^2 = 1.437,5 / 343.750 = 0,0042 β2 = Σ(X2 - X̄2)(Y - Ȳ) / Σ(X2 - X̄2)^2 = 431,25 / 6.875 = 0,0628 β0 = Ȳ - β1X̄1 - β2X̄2 = 13,75 - 0,0042(1.875) - 0,0628(137,5) = 5,21
El modelo de regresión lineal múltiple es:
Y = 5,21 + 0,0042X1 + 0,0628X2
b) Para predecir el consumo de gasolina de un vehículo que pesa 1.900 kg y tiene una potencia de 140 CV, sustituimos los valores en el modelo:
Y = 5,21 + 0,0042(1.900) + 0,0628(140) = 5,21 + 7,98 + 8,79 = 21,98
Espero que estos ejercicios resueltos a mano te hayan sido de ayuda. ¡Si tienes alguna pregunta o necesitas más ayuda, no dudes en preguntar!
Para resolver un ejercicio de regresión lineal múltiple a mano, generalmente se utiliza el enfoque matricial
, que es el método más sistemático para manejar varias variables independientes ( Ejemplo práctico: Predicción de Ventas Imagina que quieres predecir las Ventas (Y) basándote en el Gasto en Publicidad ( cap X sub 1 Número de Vendedores ( cap X sub 2 Ventas (Y) Publicidad ( cap X sub 1 Vendedores ( cap X sub 2 Paso 1: Definir las Matrices El modelo sigue la forma . Primero, construye la matriz de diseño ( ) añadiendo una columna de 1s para el intercepto (
cap X equals the 3 by 3 matrix; Row 1: 1, 2, 1; Row 2: 1, 4, 2; Row 3: 1, 5, 2 end-matrix; comma space cap Y equals the 3 by 1 column matrix; 10, 15, 20 end-matrix; Paso 2: Calcular la Transpuesta ( cap X to the cap T-th power ) y el Producto ( cap X to the cap T-th power cap X
Multiplica la matriz transpuesta por la original para obtener una matriz cuadrada que resuma las relaciones entre variables.
cap X to the cap T-th power cap X equals the 3 by 3 matrix; Row 1: 1, 1, 1; Row 2: 2, 4, 5; Row 3: 1, 2, 2 end-matrix; the 3 by 3 matrix; Row 1: 1, 2, 1; Row 2: 1, 4, 2; Row 3: 1, 5, 2 end-matrix; equals the 3 by 3 matrix; Row 1: 3, 11, 5; Row 2: 11, 45, 20; Row 3: 5, 20, 9 end-matrix; Paso 3: Calcular la Inversa
Este es el paso más laborioso a mano. Debes encontrar la matriz inversa de cap X to the cap T-th power cap X usando métodos como la Gauss-Jordan
. Esta matriz inversa actúa como el "divisor" en el cálculo de los coeficientes. Paso 4: Calcular cap X to the cap T-th power cap Y Multiplica la transpuesta por el vector de resultados.
cap X to the cap T-th power cap Y equals the 3 by 3 matrix; Row 1: 1, 1, 1; Row 2: 2, 4, 5; Row 3: 1, 2, 2 end-matrix; the 3 by 1 column matrix; 10, 15, 20 end-matrix; equals the 3 by 1 column matrix; 45, 180, 80 end-matrix; Paso 5: Obtener los Coeficientes ( Finalmente, los coeficientes se obtienen con la fórmula: Investopedia : Intercepto (valor de Y si todas las X son 0). : El impacto de cada variable en el resultado final. Multiple Linear Regression | Solved Exercise
La regresión lineal múltiple es una herramienta estadística que nos permite predecir el valor de una variable dependiente ( ) basándonos en dos o más variables independientes (
Realizar estos ejercicios a mano es fundamental para comprender qué sucede "detrás de escena" antes de usar software como Excel o Python. 📋 Conceptos Fundamentales La ecuación general de la regresión lineal múltiple es:
Ŷ=β0+β1X1+β2X2+…+βnXncap Y hat equals beta sub 0 plus beta sub 1 cap X sub 1 plus beta sub 2 cap X sub 2 plus … plus beta sub n cap X sub n Ŷcap Y hat : Valor predicho. β0beta sub 0 : Intercepto (punto donde la línea cruza el eje Y).
: Coeficientes de regresión (indican el impacto de cada variable).
Para resolver esto a mano con pocos datos, utilizamos el Método de Mínimos Cuadrados Ordinarios (MCO) mediante matrices. ✍️ Ejercicio Resuelto Paso a Paso Imagina que queremos predecir las Ventas ( ) basándonos en el Gasto en Publicidad ( X1cap X sub 1 ) y el Número de Vendedores ( X2cap X sub 2 ). 1. Datos de ejemplo Observación Publicidad ( X1cap X sub 1 Vendedores ( X2cap X sub 2 2. Construcción de Matrices Para hallar los coeficientes , usamos la fórmula: Matriz (añadimos una columna de 1s para el intercepto):
X=(121143162)cap X equals the 3 by 3 matrix; Row 1: 1, 2, 1; Row 2: 1, 4, 3; Row 3: 1, 6, 2 end-matrix; Vector :
Y=(101520)cap Y equals the 3 by 1 column matrix; 10, 15, 20 end-matrix; 3. Calcular la Transpuesta de XTcap X to the cap T-th power
XT=(111246132)cap X to the cap T-th power equals the 3 by 3 matrix; Row 1: 1, 1, 1; Row 2: 2, 4, 6; Row 3: 1, 3, 2 end-matrix; 4. Multiplicar Multiplicamos filas de XTcap X to the cap T-th power por columnas de
XTX=(312612562662614)cap X to the cap T-th power cap X equals the 3 by 3 matrix; Row 1: 3, 12, 6; Row 2: 12, 56, 26; Row 3: 6, 26, 14 end-matrix; 5. Multiplicar
XTY=(1(10)+1(15)+1(20)2(10)+4(15)+6(20)1(10)+3(15)+2(20))=(4520095)cap X to the cap T-th power cap Y equals the 3 by 1 column matrix; Row 1: 1 open paren 10 close paren plus 1 open paren 15 close paren plus 1 open paren 20 close paren, Row 2: 2 open paren 10 close paren plus 4 open paren 15 close paren plus 6 open paren 20 close paren, Row 3: 1 open paren 10 close paren plus 3 open paren 15 close paren plus 2 open paren 20 close paren end-matrix; equals the 3 by 1 column matrix; 45, 200, 95 end-matrix; 6. Calcular la Inversa
Este es el paso más laborioso a mano. Se puede usar el método de Gauss-Jordan o la adjunta. Supongamos que tras el cálculo obtenemos:
(XTX)-1=(2.66-0.33-0.52-0.330.16-0.16-0.52-0.160.61)open paren cap X to the cap T-th power cap X close paren to the negative 1 power equals the 3 by 3 matrix; Row 1: 2.66, negative 0.33, negative 0.52; Row 2: negative 0.33, 0.16, negative 0.16; Row 3: negative 0.52, negative 0.16, 0.61 end-matrix; (Valores simplificados para el ejemplo). 7. Obtener los coeficientes Multiplicamos la inversa por XTYcap X to the cap T-th power cap Y
B=(2.66-0.33-0.52-0.330.16-0.16-0.52-0.160.61)(4520095)=(β0β1β2)bold cap B equals the 3 by 3 matrix; Row 1: 2.66, negative 0.33, negative 0.52; Row 2: negative 0.33, 0.16, negative 0.16; Row 3: negative 0.52, negative 0.16, 0.61 end-matrix; the 3 by 1 column matrix; 45, 200, 95 end-matrix; equals the 3 by 1 column matrix; beta sub 0, beta sub 1, beta sub 2 end-matrix; Resultado estimado: Ecuación final: 💡 Interpretación de los Resultados Intercepto (
): Si no hay publicidad ni vendedores, las ventas base son 5 unidades. Coeficiente X1cap X sub 1
(2.5): Por cada unidad extra invertida en publicidad, las ventas suben 2.5 unidades (manteniendo X2cap X sub 2 constante). Coeficiente X2cap X sub 2 regresion lineal multiple ejercicios resueltos a mano
(0.5): Cada vendedor adicional aporta 0.5 unidades a las ventas totales. 🚀 Consejos para el examen
Verifica las dimensiones: Al multiplicar matrices, recuerda que resulta en
Cuidado con los signos: Un error en un solo signo al calcular la inversa arruinará todo el ejercicio.
Simplifica: Si los números son muy grandes, intenta trabajar con fracciones.
¿Te gustaría que te ayude a resolver un paso específico de la matriz inversa o prefieres que analicemos cómo calcular el error estándar de este ejercicio?
Here’s a simple manual worked example of Multiple Linear Regression with two predictors, calculated step by step (no matrix formulas — only averages, sums, and solving normal equations).
A diferencia de la regresión lineal simple, la regresión múltiple involucra dos o más variables independientes ($X$) para predecir una variable dependiente ($Y$).
La ecuación general es: $$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + ... + \beta_k X_k + \epsilon$$
Donde:
[ \boxed\hatY = 55 + 5 X_1 + 0 X_2 ]
So sleep hours has no effect here (coincidence in data), study hours adds 5 points per hour.
Para dos predictores, podemos resolver el sistema de ecuaciones normales:
Datos nuevos (y realistas):
Y = Precio de vivienda (miles $), X₁ = metros cuadrados, X₂ = antigüedad (años).
| i | Y | X₁ | X₂ | |---|----|----|----| | 1 | 120| 80 | 10 | | 2 | 150| 100| 5 | | 3 | 90 | 60 | 15 | | 4 | 200| 140| 2 | | 5 | 110| 85 | 8 |
[ \hatY = 55 + 5X_1 + 0X_2 ]
Interesting result: Sleep hours ((X_2)) has no effect in this sample. The model simplifies to simple linear regression.
We need $(X'X)^-1$. For a 3x3 matrix, use the formula $A^-1 = \frac1\det(A) \cdot \textadj(A)$.
First, compute determinant of $A = X'X$:
$\det(A) = 5 \cdot \beginvmatrix 151 & 91 \ 91 & 55 \endvmatrix - 25 \cdot \beginvmatrix 25 & 91 \ 15 & 55 \endvmatrix + 15 \cdot \beginvmatrix 25 & 151 \ 15 & 91 \endvmatrix$
$= 5 \cdot (151\cdot55 - 91\cdot91) - 25 \cdot (25\cdot55 - 91\cdot15) + 15 \cdot (25\cdot91 - 151\cdot15)$
$= 5 \cdot (8305 - 8281) - 25 \cdot (1375 - 1365) + 15 \cdot (2275 - 2265)$
$= 5 \cdot (24) - 25 \cdot (10) + 15 \cdot (10)$
$= 120 - 250 + 150 = 20$
So $\det(A) = 20$.
Now compute the adjugate matrix (matrix of cofactors transposed). For brevity, I'll provide the final inverse (calculated carefully):
$$ (X'X)^-1 = \frac120 \beginbmatrix 220 & -50 & -50 \ -50 & 12.5 & 10 \ -50 & 10 & 12.5 \endbmatrix = \beginbmatrix 11 & -2.5 & -2.5 \ -2.5 & 0.625 & 0.5 \ -2.5 & 0.5 & 0.625 \endbmatrix $$ La Regresión Lineal Múltiple permite predecir el valor
(Check: Multiply by $X'X$ to verify identity matrix.)