Beranda > statistik > Metode Kuadrat Terkecil Biasa (OLS)

Metode Kuadrat Terkecil Biasa (OLS)

Dalam menyusun SRF, banyak metode yang digunakan salah satunya metode kuadrat terkecil biasa. Metode ini pertama kali dikemukkan oleh Carl Friedrich Gauss, seorang ahli matematika dari Jerman.

Metode kuadrat terkecil (OLS) atau metode kemungkinan maksimum (method of maximum likehood) adalah salah satu metoda yang paling populer dalam menyelesaikan masalah hitung perataan.

Metode kuadrat terkecil biasa dikemukakan oleh Carl Friedrich Gauss. Gauss membuat asumsi-asumsi sebagai berikut.

Asumsi 1

E(ui‌‌‌‌‌‌| Xi) = 0

Artinya nilai yang diharapkan bersyarat (conditional expected value) dari ui, tergantung pada Xi tertentu, adalah nol.

Asumsi 2

cov(ui , uj) = E[uiE(ui)][ujE(uj)]

= E(ui , uj)       karena asumsi 1

= 0                   i ≠ j

Dimana i dan j dua pengamatan yang berbeda dan dimana cov berarti kovarians.

Hal itu mendalilkan bahwa gangguan ui dan uj tidak berkorelasi. Asumsi ini dikenal sebagai asumsi tidak adanya korelasi berurutan atau tidak ada autokorelasi.

Asumsi 3

var(ui | Xi)        = E[uiE(ui)]2

= E(ui2)            karena asumsi 1

= σ2

var = varians

Persamaan di atas menyatakan bahwa varians ui untuk tiap Xi (yaitu varians bersyarat untuk ui) adalah suatu angka konstan positif yang sama dengan σ2. Bisa dikatakan juga bahwa populasi Y yang berhubungan dengan berbagai nilai X mempunyai varians yang sama.

Jika varians tidak sama, atau sering disebut heteroskedastisitas, maka varians bersyarat populasi Y meningkat bersama dengan meningkatnya X.

var (ui| Xi) = σi2

Asumsi 4

cov (ui, Xi)       = E[ui E(ui)][XiE(Xi)]

= 0

Menyatakan bahwa gangguan u dan variabel yang menjelaskan X tidak berkorelasi. Asumsi 4 dapat terpenuhi jika variabel X tidak random atau tak stokhastik.

Asumsi model regresi linier klasik

No asumsi                   Dalam hubungannya               Dalam hubungannya

dengan u dengan Y

  1. E(ui| Xi) = 0                             E(Yi| Xi) = β0 +β1 X1
  2. cov(ui|uj) = 0     i≠j                  E(Yi| Yj) = 0     ij
  3. var(ui| Xi) = σ2 var(Yi| Xi) = σ2

dapat dikatakan bahwa asumsi Gauss menunjukkan bahwa penaksir parameter regresi yang diperoleh dengan metode kuadrat terkecil adalah optimum.

Prinsip Kuadrat Terkecil

ei = YiŶi

= Yiβ0β1 Xi

Menunjukkan bahwa ei (residual) hanyalah perbedaan antara nilai Y sebenarnya dengan yang ditaksir.

Jika menggunakan kriteria   ∑ ei = (YiŶi) maka semua residual menerima (tingkat) penting yang sama, tidak peduli seberapa dekat atau seberapa jauh terpencarnya observasi individual dari SRF. Jumlah residual ini nol.

Kita bisa menggunakan kriteria kuadrat terkecil untuk manghindari jumlah residual nol, yaitu sebagai berikut.

ei = (YiŶi)2

=(Yi – β0 – β1 Xi)2

Tetapi hal ini tak mungkin karena semakin besar ei (dalam nilai mutlak), semakin besar ∑ei.

Pembenaran lebih lanjut, kita gunakan penaksir kuadrat terkecil.

ei2 = f ( β0. β1)

Jumlah residual/ sisa kuadrat adalah suatu fungsi dari penaksir β0 dan β1. dengan memeilih nilai yang berbeda akan memberikan e yang berbeda dan karenanya nilai ∑ei2 yang berbeda.

Persamaan normal, dimana N adalah besarnya sampel. Dinyatakan:

∑Yi = N β0 + β1 ∑Xi

∑YiXi = β0Xi + β1 ∑Xi2

β0= Ŷ – β1X

Ciri-ciri penaksir kuadrat terkecil:

  1. Penaksir tadi dinyatakan semata-semata dalam bearan yang bisa diamati (besaran sampel)
  2. Penaksir tadi merupakan penaksir titik (point estimator) yaitu dengan sampel tertentu, tiap penaksir akan memberikan hanya satu nilai (ttiik) tunggal parameter populasi yang relevan.

Garis regresi yang diperoleh demikian mempunyai sifat-sifat berikut.

  1. Garis regresi melaui rata-rata sampel X dan Y.
  2. Nilai rata-rata Y yang ditaksir (=Ŷi) adalah sama dengan nilai rata-rata Y yang sebenarnya.
  3. Nilai rata-rata residual ei adalah nol.
  4. Residual ei tak berkorelasi dengan Yi yang ditaksir.
  5. Residual ei tak berkorelasi dengan Xi

Ketepatan (presisi) atau kesalahan Standar Taksiran Kuadrat Terkecil

Dalam statistik ketepatan taksiran diukur dengan kesalahan standar (se). Kesalahan standar taksiran OLS dapat diperoleh sebagai berikut.

Var (β1) =

Se (β1) =

Var (β0) =

Se (β0) =

Sifat-sifat Penaksir Kuadrat Terkecil

Teorema Gauss – Markov

Koefisien Determinasi r2 – Suatu Ukuran Kebaikan – Suai (Goodness of Fit)

Koefisien determinasi (r2) merupakan suatu ukuran yang menyatakan seberapa baik garis regresi sampel mencocokkan data.

Untuk menghitung r2 dalam bentuk simpangan:  yi = ŷi = ei

Jika dikuadratkan pada kedua sisis dan menjumlahkan untuk semua sampel, diperoleh:

∑yi2 = ∑ŷi2 + ∑ei2 + 2 ∑ŷiei

= ∑ŷi2 + ∑ei2

= β12 ∑ xi2 + ∑ei2

Total variansi Y sebenarnya di sekitar rata-rata sampelnya disebut jumlah kuadrat total (total sum of squares / TSS). Yaitu:  ∑yi2 = ∑(Yi – Ŷi2)

ESS ( Explained sum of squares) adalah jumlah kuadrat yang dijelaskan.

Regression Sum of Square

(SSR) = yang menyatakan variasi nilai Y yang ditaksir disekitar rata –ratanya. Sedangkan Error Sum Square (SSE) = e’e = ( y – X3)’ (y-X

β) dan Total Sum of Square (SST) = . SST menyatakan total variasi nilai Y sebenarnya di sekitar rata-rata sampelnya. Hubungan SSR, SSE dan SST adalah SST = SSR + SSE.

Hubungan ini menunjukkan bahwa total variasi dalam nilai Y yang diobservasi di sekitar nilai rata-ratanya dapat dipisahkan ke dalam dua bagian. Sebagian yang diakibatkan oleh garis regresi dan bagian lain diakibatkan oleh kekuatan random karena tidak semua pengamatan Y yang sebenarnya terletak pada garis yang dicocokkan.

Sifat r2 bisa dicatat:

  1. r2 merupakan besaran nonnegatif
  2. Batasnya adalah 0≤ r2 ≤ 1. suatu r2 sebesar 1 berarti suatu kecocokan sempurna, sedangkan r2 bernilai 0 berarti tidak ada hubungan antara variabel yak bebeas dengan variabel yang menjelaskan.

Secara lebih cepat, r2 bisa didiapat dengan rumus:

R2 = β12

Jika besarnya sampel N atau N – 1 kalau ukuran sampelnya kecil, maka diperoleh:

R2 = β12 dimana S dan S secara berurutan adalah varians sampel Y dan X

Koefisien Korelasi

Adalah suatu ukuran tingkat hubungan antara dua variabel

r=

Sifat r adalah

  1. r dapat posotif atau negatif
  2. Terletak antara batas -1 dan +1 yaitu -1≤ r ≤1
  3. Sifat dasarnya simetris
  4. Tidak tergantung pada titik asal dan skala
  5. Kalau X dan Y bebas secara statistik, koefisien korelasi antara mereka adalah nol.
  6. r hanyalah suatu ukuran hubungan linear atau ketergantungan linear saja.
About these ads
  1. Belum ada komentar.
  1. No trackbacks yet.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Logout / Ubah )

Twitter picture

You are commenting using your Twitter account. Logout / Ubah )

Facebook photo

You are commenting using your Facebook account. Logout / Ubah )

Google+ photo

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

Ikuti

Get every new post delivered to your Inbox.

%d bloggers like this: