Aim: The aim of this study is to compare the results of Ordinary Least Squares (OLS) and Principal Components Regression (PCR) analyses when there is multicollinearity in the data.
Material and Method: Two different data groups were simulated in order to examine the effect of the degree of multicollinearity and the sample size. The first data group consisted of 10 data sets with different multicollinearity degree and the second data group consisted of 10 data sets with the same correlation structure but with different sample sizes. All datasets had one dependent and three independent variables, and all the variables were derived from standard normal distribution. The presence of multicollinearity in the derived data was proven by commonly used measures. The least squares and principal components regression were applied to all datasets.
Results: When generating multicollinearity, all relationships were defined as positive in data simulation. However, the sign of the regression coefficients for the second (X2) and third (X3) independent variables were obtained as reverse (negative) as one of the expected effects of multicollinearity in Least Squares analysis. In the analysis of the Principal Components Regression, the sign of coefficients was found to be in the right direction (positive). The sign of the coefficients obtained from OLS and PCR were different and they also differed in magnitude. In addition, the standard errors of the coefficients in PCR results were lower than OLS results.
Conclusion: In the case of multiple linear regression analysis, the existence of multicollinearity must be examined and one of the methods that can handle this problem should be used. Otherwise, predictions may lead to incorrect results. Based on the results of this study that compares two methods when there is multicollinearity in data, it is recommended to use Principal Components Regression instead of Ordinary Least Squares.
Key words: Multicollinearity, Linear regression, Ordinary least squares, Sample size, Principal components regression.
Amaç: Bu çalışmanın amacı, veride çoklu bağlantı olduğunda En Küçük Kareler (EKK) Regresyonu ile Temel Bileşenler Regresyonu (TBR) sonuçlarının karşılaştırılmasıdır.
Materyal ve Metot: Çoklu bağlantının derecesinin ve örneklem genişliğinin etkisinin incelenmesi amacıyla iki farklı veri grubu türetilmiştir. Birinci veri grubu; farklı çoklu bağlantı düzeyine sahip 10 veri setinden, ikinci veri grubu; aynı korelasyon yapısına sahip ancak örneklem genişliği farklı 10 veri setinden oluşmaktadır. Üç bağımsız ve bir bağımlı değişkenden oluşan tüm veri setleri için değişkenler standart normal dağılımdan türetilmiştir. Türetilen verilerde çoklu bağlantının varlığı yaygın olarak kullanılan ölçüler ile ispatlanmıştır. Tüm veri setlerine En Küçük Kareler ve Temel Bileşenler Regresyonu uygulanmıştır.
Bulgular: Çoklu bağlantı elde edebilmek için yapılan veri türetiminde tüm ilişkiler pozitif yönde tanımlanmıştır. Ancak, En Küçük Kareler çözümlemesinde çoklu bağlantının beklenen etkilerinden biri olarak ikinci (X2) ve üçüncü (X3) bağımsız değişkenler için regresyon katsayılarının işareti ters (negatif) olacak şekilde elde edilmiştir. Temel Bileşenler Regresyonu çözümlemesinde ise katsayıların işareti doğru yönde (pozitif) bulunmuştur. EKK çözümlemesinde elde edilen katsayılar ile TBR analizi sonucunda elde edilen katsayılar işaretçe farklı olmakla beraber büyüklük olarak da birbirinden farklıdır. Ayrıca, TBR sonuçlarında katsayıların standart hataları EKK sonuçlarına göre daha düşüktür.
Sonuç: Çoklu doğrusal regresyon çözümlemesi yapılırken çoklu bağlantının varlığı mutlaka incelenmeli ve bu duruma çözüm olabilecek yöntemlerden biri kullanılmalıdır. Aksi taktirde yapılacak kestirimler yanlış sonuçlara götürebilecektir. Yapılan bu çalışmanın sonuçları doğrultusunda veride çoklu bağlantı olduğu durumda karşılaştırılan iki yöntemden En Küçük Kareler regresyonu yerine Temel Bileşenler Regresyonunun kullanılması önerilmektedir.
Anahtar Kelimeler: Çoklu bağlantı, Doğrusal regresyon, En Küçük Kareler, Örneklem genişliği, Temel Bileşenler Regresyonu.
