Makalah Statistik Inferensial : Analisis Regresi

BAB I

PENDAHULUAN

    A.    Pengertian Awal

Untuk mengukur besarnya pengaruh variabel bebas terhadap variabel tergantung dan memprediksi variabel tergantung dengan menggunakan variabel bebas. Gujarati (2006) mendefinisikan analisis regresi sebagai kajian terhadap hubungan satu variabel yang disebut sebagai variabel yang diterangkan (the explained variabel) dengan satu atau dua variabel yang menerangkan (the explanatory). Variabel pertama disebut juga sebagai variabel tergantung dan variabel kedua disebut juga sebagai variabel bebas. Jika variabel bebas lebih dari satu, maka analisis regresi disebut regresi linear berganda. Disebut berganda karena pengaruh beberapa variabel bebas akan dikenakan kepada variabel tergantung.

    B.     Definisi Tujuan

Tujuan menggunakan analisis regresi ialah :

·           Membuat estimasi rata-rata dan nilai variabel tergantung dengan didasarkan pada nilai variabel bebas.

·           Menguji hipotesis karakteristik dependensi.

·           Untuk meramalkan nilai rata-rata variabel bebas dengan didasarkan pada nilai variabel bebas di luar jangkauan sampel.

    C.     Asumsi Penggunaan Analisis Regresi

Penggunaan regresi linear sederhana didasarkan pada asumsi di antaranya adalah sebagai berikut :

·           Model regresi harus linier dalam parameter.

·           Variabel bebas tidak berkorelasi dengan disturbance term (Error).

·           Nilai disturbance term sebesar 0 atau dengan simbol  sebagai berikut: (E (U / X) = 0.

·           Varian untuk masing-masing error term (kesalahan) konstan.

·           Tidak terjadi otokorelasi.

·           Model regresi di spesifikasi secara benar. Tidak terdapat bias spesifikasi dalam model yang digunakan dalam analisis empiris.

·           Jika variabel bebas lebih dari satu, maka antara variabel bebas (explanatory) tidak ada hubungan linier yang nyata.

BAB II

PEMBAHASAN

    A.    PENGERTIAN ANALISIS REGRESI

Sir Francis Galton (1822 – 1911), memperkenalkan model peramalan, penaksiran, atau pendugaan, yang selanjutnya dinamakan regresi, sehubungan dengan penelitiannya terhadap tinggi badan manusia. Penelitian tersebut membandingkan antara tinggi anak laki-laki dan tinggi badan ayahnya. Galton menunjukkan bahwa tinggi badan anak laki-laki dari ayah yang tinggi setelah beberapa generasi cenderung mundur (regressed) mendekati nilai tengah populasi. Dengan kata lain, anak laki-laki dari ayah yang badannya sangat tinggi cenderung lebih pendek dari pada ayahnya, sedangkan anak laki-laki dari ayah yang badannya sangat pendek cenderung lebih tinggi dari ayahnya. (Ronal E. Walpole). Analisis regresi digunakan untuk menentukan bentuk (dari) hubungan antar variabel. Tujuan utama dalam penggunaan analisis ini adalah untuk meramalkan atau menduga nilai dari satu variabel dalam hubungannya dengan variabel yang lain yang diketahui melalui persamaan garis regresinya.

Adakalanya, setelah kita memperoleh data berdasarkan sampel, kita ingin menduga nilai dari suatu variabel Y yang bersesuaian dengan nilai tertentu dari variabel X. Hal ini diperoleh dengan menaksir nilai Y dari kurva kuadrat minimum yang sesuai dengan data yang kita himpun dari sampel. Kurva yang diperoleh dan kita bentuk dari data sampel itu disebut kurva regresi Y terhadap X, karena Y diduga dari X.

Dalam melakukan analisis regresi, sebagian besar mahasiswa biasanya tidak melakukan pengamatan populasi secara langsung. Hal itu dilakukan selain pertimbangan waktu, tenaga, juga berdasarkan pertimbangan biaya yang relatif besar jika melakukan pengamatan terhadap populasi. Dalam hal ini, lazimnya digunakan persamaan regresi linier sederhana sampel sebagai penduga persamaan regresi linier sederhana populasi dengan bentuk persamaan seperti berikut : y = a + bX. Dan karena antara Y dan X memiliki hubungan, maka nilai X dapat digunakan untuk menduga atau meramal nilai Y. X dinamakan variabel bebas karena variabel ini nilai-nilainya tidak bergantung pada variabel lain. Dan Y disebut variabel terikat juga karena variabel yang nilai-nilainya bergantung pada variabel lain. Hubungan antar variabel yang akan dipelajari disini hanyalah hubungan linier sederhana, yakni hubungan yang hanya melibatkan dua variabel (X dan Y) dan berpangkat satu.

Regresi sederhana, adalah bentuk regresi dengan model yang bertujuan untuk mempelajari hubungan antara dua variabel, yakni variabel independen (bebas) dan variabel dependen (terikat). Jika ditulis dalam bentuk persamaan, model regresi sederhana adalah y = a + bx, di mana, y adalah variabel tak bebas (terikat), X adalah variabel bebas, a adalah penduga bagi intercept (α), b adalah penduga bagi koefisien regresi (β). Atau dengan kata lain α dan β adalah parameter yang nilainya tidak diketahui sehingga diduga melalui statistik sampel.

Menurut kelaziman, dalam ilmu statistika ada dua macam hubungan antara dua variabel yang relatif sering digunakan, yakni bentuk hubungan dan keeratan hubungan. Bentuk hubungan bisa diketahui melalui analisis regresi, sedangkan keeratan hubungan dapat diketahui dengan analisis korelasi. Analisis regresi dipergunakan untuk menelaah hubungan antara dua variabel atau lebih, terutama untuk menelusuri pola hubungan yang modelnya belum diketahui dengan baik, atau untuk mengetahui bagaimana variasi dari beberapa variabel independen mempengaruhi variabel dependen dalam suatu fenomena yang kompleks. Jika X1, X2, ...., Xn, adalah variabel-variabel independen dan Y adalah variabel dependen, maka terdapat hubungan fungsional antara X dan Y, di mana variasi dari X akan diiringi pula oleh variasi dari Y. Jika dibuat secara matematis hubungan itu dapat dijabarkan sebagai berikut: Y = f(X1, X2, ....., Xn, e), di mana Y adalah variabel dependen (tak bebas), X adalah variabel independen (bebas) dan e adalah variabel residu (disturbace term).

Berkaitan dengan analisis regresi ini, setidaknya ada empat kegiatan yang lazim dilaksanakan yakni : (1) mengadakan estimasi terhadap parameter berdasarkan data empiris, (2) menguji berapa besar variasi variabel dependen dapat diterangkan oleh variasi independen, (3) menguji apakah estimasi parameter tersebut signifikan atau tidak, dan (4) melihat apakah tanda magnitude dari estimasi parameter cocok dengan teori.

Hubungan antar variabel dapat berupa hubungan linier ataupun hubungan tidak linier. Misalnya, berat badan orang dewasa sampai pada tahap tertentu bergantung pada tinggi badan, keliling lingkaran bergantung pada diameternya, dan tekanan gas bergantung pada suhu dan volumenya. Atau dalam ilmu pemasaran, nilai penjualan akan bergantung pada biaya promosi. Hubungan-hubungan itu bila dinyatakan dalam bentuk matematis akan memberikan persamaan-persamaan tertentu. Untuk dua variabel, hubungan liniernya dapat dinyatakan dalam bentuk persamaan linier, yakni: Y = a + bX. Hubungan antara dua variabel pada persamaan linier jika digambarkan secara (scatter diagram), semua nilai Y dan X akan berada pada suatu garis lurus. Dan dalam ilmu ekonomi, garis itu dinamakan garis regresi.

    

    B.     KEGUNAAN ANALISIS REGRESI

Analisis regresi dalam statistika adalah salah satu metode untuk menentukan hubungan sebab -akibat antara satu variabel dengan variabel (-variabel) yang lain. Variabel "penyebab" disebut dengan bermacam-macam istilah: variabel penjelas, variabel eksplanatorik, variabel independen, atau secara bebas, variabel X (karena sering kali digambarkan dalam grafik sebagai absis, atau sumbu X). Variabel terkena akibat dikenal sebagai variabel yang dipengaruhi, variabel dependen, variabel terikat, atau variabel Y. Kedua variabel ini dapat merupakan variabel acak (random), namun variabel yang dipengaruhi harus selalu variabel acak.

Analisis regresi adalah salah satu analisis yang paling populer dan luas pemakaiannya. Hampir semua bidang ilmu yang memerlukan analisis sebab - akibat boleh dipastikan mengenal analisis ini. Analisis regresi dan analisis korelasi dikembangkan untuk mengkaji dan mengukur hubungan antara dua variabel atau lebih. Dalam analisis regresi dikembangkan persamaan estimasi untuk mendeskripsikan pola atau fungsi hubungan antara variabel-variabel. Sesuai dengan namanya, persamaan estimasi atau persamaan regresi itu digunakan untuk mengestimasi nilai dari suatu variabel berdasarkan nilai variabel lainnya. Variabel yang di estimasi itu disebut variabel dependen (atau variabel terikat) sedangkan variabel yang diperkirakan memengaruhi variabel dependen itu disebut variabel independen (atau variabel bebas). Variabel dependen lazimnya dilukis pada sumbu- Y (dan karenanya diberi simbol Y) sementara variabel independen dilukis pada sumbu- X (dan karenanya diberi simbol X). Berdasarkan konsep ini, maka hubungan antara variabel Y dan X dapat diwakili dengan sebuah garis regresi. Di samping untuk mengestimasi, analisis regresi juga digunakan untuk mengukur tingkat ketergantungan (dependability) dari estimasi itu.

Analisis korelasi digunakan untuk mengukur tingkat kedekatan (closeness) hubungan antar variabel-variabel. Dengan kata lain, analisis regresi mempertanyakan pola hubungan fungsional sedangkan analisis korelasi mempertanyakan kedekatan hubungan antar variabel-variabel. Walaupun dimungkinkan penggunaan analisis regresi dan analisis korelasi secara terpisah, namun dalam kenyataan, istilah analisis korelasi mencakup baik masalah korelasi dan regresi.

Analisis regresi lebih akurat dalam melakukan analisis korelasi, karena pada analisis itu kesulitan dalam menunjukkan slop (tingkat perubahan suatu variabel terhadap variabel lainnya dapat ditentukan). Dengan demikian maka melalui analisis regresi, peramalan nilai variabel terikat pada nilai variabel bebas lebih akurat pula.

Upaya mengestimasi atau memprediksi lazimnya diawali dengan mengadakan eksperimen. Sebagai contoh dikemukakan eksperimen yang dilakukan oleh suatu perusahaan yang memproduksi mainan anak-anak. Eksperimen itu didasarkan pada penalaran bahwa “ karyawan yang berbakat akan lebih produktif daripada karyawan yang kurang berbakat dalam pembuatan mainan anak-anak”. Untuk maksud tersebut perusahaan memilih delapan responden yang harus mengikuti aptitude-test dan dihubungkan hasil perakitan mainan anak-anak dalam seminggu dihitung. Tabulasi skor aptitude-test dan hasil perakitan di tabulasi seperti ditunjukkan pada tabel. Jika data tersebut dilukis koordinat cartesian, maka diperoleh sebaran titik-titik (X;Y) seperti ditunjukkan pada gambar, (titik C dan F menunjukkan data yang berkaitan dengan responden C dan F).

Tabel Data Hasil Perakitan dan Skor Aptitude- Test

Responden	Jumlah Yang Dirakit * (Y)	Skor Aptitude- Test (X)
A B C D E F G H	30 49 18 42 39 25 41 52	6 9 3 8 7 5 8 10
Keterangan : * satuan dalam lusin

Gambar Diagram Sebaran Tabel

Analisis regresi mempelajari hubungan yang diperoleh dinyatakan dalam persamaan matematika yang menyatakan hubungan fungsional antara variabel-variabel. Hubungan fungsional antara satu variabel prediktor dengan satu variabel kriterium disebut analisis regresi sederhana (tunggal), sedangkan hubungan fungsional yang lebih dari satu variabel disebut analisis regresi ganda.

    

    C.     ANALISIS REGRESI GANDA

Analisis regresi linear berganda sebenarnya sama dengan analisis regresi linear sederhana, hanya variabel bebasnya lebih dari satu buah. Persamaan umumnya adalah :

Y = a + b₁ X₁ + b₂ X₂ + …. + b_n X_n.

Dengan Y adalah variabel terikat, dan X adalah variabel-variabel bebas, a adalah konstanta (intercept) dan b adalah koefisien regresi pada masing-masing variabel bebas.

Interpretasi terhadap persamaan juga relatif sama, sebagai ilustrasi, pengaruh antara motivasi (X1), kompensasi (X2) dan kepemimpinan (X3) terhadap kepuasan kerja (Y) menghasilkan persamaan sebagai berikut :

Y = 0,235 + 0,21 X1 + 0,32 X2 + 0,12 X3

Jika variabel motivasi meningkat dengan asumsi variabel kompensasi dan kepemimpinan tetap, maka kepuasan kerja juga akan meningkat.

Jika variabel kompensasi meningkat, dengan asumsi variabel motivasi dan kepemimpinan tetap, maka kepuasan kerja juga akan meningkat.

Jika variabel kepemimpinan meningkat, dengan asumsi variabel motivasi dan kompensasi tetap, maka kepuasan kerja juga akan meningkat.

Interpretasi terhadap konstanta (0,235) juga harus dilakukan secara hati-hati. Jika pengukuran variabel dengan menggunakan skala Likert antara 1 sampai dengan 5 maka tidak boleh diinterpretasikan bahwa jika variabel motivasi, kompensasi dan kepemimpinan bernilai nol, sebagai ketiga variabel tersebut tidak mungkin bernilai nol karena Skala Likert terendah yang digunakan adalah 1.

Analisis regresi linear berganda memerlukan pengujian secara serempak dengan menggunakan F hitung. Signifikansi ditentukan dengan membandingkan F hitung dengan F tabel atau melihat signifikansi pada output SPSS. Dalam beberapa kasus dapat terjadi bahwa secara simultan (serempak) beberapa variabel mempunyai pengaruh yang signifikan, tetapi secara parsial tidak. Sebagai ilustrasi: seorang penjahat takut terhadap polisi yang membawa pistol (diasumsikan polisi dan pistol secara serempak membuat takut penjahat). Akan tetapi secara parsial, pistol tidak membuat takut seorang penjahat. Contoh lain: air panas, kopi dan gula menimbulkan kenikmatan, tetapi secara parsial, kopi saja belum tentu menimbulkan kenikmatan.

Penggunaan metode analisis regresi linear berganda memerlukan asumsi klasik yang secara statistik harus dipenuhi. Asumsi klasik tersebut meliputi asumsi normalitas, multikolinearitas, autokorelasi, heteroskedastisitas dan asumsi linearitas (akan dibahas belakangan).

Langkah-langkah yang lazim dipergunakan dalam analisis regresi linear berganda adalah 1) koefisien determinasi; 2) Uji F dan 3 ) uji t. Persamaan regresi sebaiknya dilakukan di akhir analisis karena interpretasi terhadap persamaan regresi akan lebih akurat jika telah diketahui signifikansinya. Koefisien determinasi sebaiknya menggunakan adjusted R Square dan jika bernilai negatif maka uji F dan uji t tidak dapat dilakukan.

Regresi Linear dengan Variabel Moderating

Variabel moderating adalah variabel yang memperkuat atau memperlemah hubungan antara satu variabel dengan variabel lain. Sebagai contoh: seorang suami menyayangi istrinya. Dengan hadirnya seorang anak, maka rasa sayang tersebut bertambah. Berarti variabel anak merupakan moderating antara rasa saya suami terhadap istri. Contoh lain: kompensasi memperkuat pengaruh antara kepuasan kerja terhadap kinerja. Artinya kepuasan kerja berpengaruh terhadap kinerja, dan adanya kompensasi yang tinggi maka pengaruh antara kepuasan kerja terhadap kinerja menjadi lebih meningkat. Dalam hal ini, kompensasi bisa saja berpengaruh terhadap kinerja bisa saja tidak. Metode analisis regresi linear dengan variabel moderating :

1.      Multiple Regression Analysis (MRA)

Metode ini dilakukan dengan menambahkan variabel perkalian antara variabel bebas dengan variabel moderatingnya, sehingga persamaan umumnya adalah sebagai berikut: Y = a + b1 X1 + b2 X2 + b3 X1 X2 dengan Y adalah kinerja, X1 adalah kepuasan kerja, X2 kompensasi dan X1 X2 adalah perkalian antara kepuasan kerja dengan kompensasi. Hipotesis moderating diterima jika variabel X1 X2 mempunyai pengaruh signifikan terhadap Y, tidak tergantung apakah X1 dan X2 mempunyai pengaruh terhadap Y atau tidak. Model ini biasanya menyalahi asumsi multikolinearitas atau adanya korelasi yang tinggi antara variabel bebas dalam model regresi, sehingga menyalahi asumsi klasik. Hampir tidak ada model MRA yang terbebas dari masalah multikolinearitas, sehingga sebenarnya model ini tidak disarankan untuk dipergunakan.

2.      Absolut residual

Model ini mirip dengan MRA, tetapi variabel moderating didekati dengan selisih mutlak (absolut residual) antara variabel bebas dengan variabel moderatingnya. Penerimaan hipotesis juga sama, dan model ini masih riskan terhadap gangguan multikolinearitas meskipun risiko itu lebih kecil dari pada dengan metode MRA.

3.      Residual

Model ini menggunakan konsep lack of fit yaitu hipotesis moderating diterima terjadi jika terdapat ketidakcocokan dari deviasi hubungan linear antara variabel independen. Langkahnya adalah dengan meregresikan antara kepuasan kerja terhadap kompensasi dan dihitung nilai residualnya. Pada program SPSS dengan klik Save pada regreesion, lalu klik pada usntandardized residual. Nilai residual kemudian diambil nilai absolutnya lalu diregresikan antara kinerja terhadap absolut residual. Hipotesis moderating diterima jika nilai t hitung adalah negatif dan signifikan. Model ini terbebas dari gangguan multikolinearitas karena hanya menggunakan satu variabel bebas.

Persyaratan Penggunaan Model Regresi

Model kelayakan  regresi linear didasarkan pada hal-hal sebagai berikut:

1.      Model regresi dikatakan layak  jika angka signifikansi pada ANOVA sebesar < 0.05

2.      Predictor yang digunakan sebagai variabel bebas harus layak. Kelayakan ini diketahui jika angka Standard Error of Estimate < Standard Deviation.

3.      Koefesien regresi harus signifikan. Pengujian dilakukan dengan Uji T. Koefesien regresi signifikan jika T hitung > T tabel (nilai kritis)

4.      Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi korelasi yang sangat tinggi atau sangat rendah antar variabel bebas. Syarat ini hanya berlaku untuk regresi linier berganda dengan variabel bebas lebih dari satu.

5.      Tidak terjadi otokorelasi. Terjadi otokorelasi jika angka Durbin dan Watson (DB) sebesar < 1 dan > 3

6.      Keselerasan model regresi dapat diterangkan dengan menggunakan nilai r² semakin besar nilai tersebut maka model semakin baik. Jika nilai mendekati 1 maka model regresi semakin baik. Nilai r² mempunyai karakteristik diantaranya: 1) selalu positif, 2) Nilai r² maksimal sebesar 1. Jika Nilai r² sebesar 1 akan mempunyai arti kesesuaian yang sempurna. Maksudnya seluruh variasi dalam variabel Y dapat diterangkan oleh model regresi. Sebaliknya jika r² sama dengan 0, maka tidak ada hubungan linier antara X dan Y.

7.      Terdapat hubungan linier antara variabel bebas (X) dan variabel tergantung (Y)

8.      Data harus berdistribusi normal

9.      Data berskala interval atau rasio

10.  Kedua variabel bersifat dependen, artinya satu variabel merupakan variabel bebas (disebut juga sebagai variabel predictor) sedang variabel lainnya variabel tergantung (disebut juga sebagai variabel response)

BAB III

PENUTUP

    A.    SIMPULAN

Analisis regresi berbeda dengan analisis korelasi. Jika analisis korelasi digunakan untuk melihat hubungan dua variable; maka analisis regresi digunakan untuk melihat pengaruh variable bebas terhadap variable tergantung serta memprediksi nilai variable tergantung dengan menggunakan variable bebas. Dalam analisis regresi variable bebas berfungsi untuk menerangkan (explanatory) sedang variable tergantung berfungsi sebagai yang diterangkan (the explained).  Dalam analisis regresi data harus berskala interval atau rasio. Hubungan dua variable bersifat dependensi. Untuk menggunakan analisis regresi diperlukan beberapa persyaratan yang harus dipenuhi.

Ada dua macam linieritas dalam analisis regresi, yaitu linieritas dalam variabel dan linieritas dalam parameter. Yang pertama, linier dalam variabel merupakan nilai rata-rata kondisional variabel tergantung yang merupakan fungsi linier dari variabel (variabel) bebas. Sedang yang kedua, linier dalam parameter  merupakan fungsi linier parameter dan dapat tidak linier dalam variabel.

Model dikatakan baik menurut Gujarati (2006), jika memenuhi beberapa kriteria seperti di bawah ini :

·           Parsimoni: Suatu model tidak akan pernah dapat secara sempurna menangkap realitas; akibatnya kita akan melakukan sedikit abstraksi ataupun penyederhanaan dalam pembuatan model.

·           Mempunyai Identifikasi Tinggi: Artinya dengan data yang ada, parameter-parameter yang di estimasi harus mempunyai nilai-nilai yang unik atau dengan kata lain, hanya akan ada satu parameter saja.

·           Keselarasan (Goodness of Fit): Tujuan analisis regresi ialah menerangkan sebanyak mungkin variasi dalam variabel tergantung dengan menggunakan variabel bebas dalam model. Oleh karena itu, suatu model dikatakan baik jika eksplanasi diukur dengan menggunakan nilai adjusted r² yang setinggi mungkin.

·           Konsitensi Dalam Teori: Model sebaiknya segaris dengan teori. Pengukuran tanpa teori akan dapat menyesatkan hasilnya.

·           Kekuatan Prediksi: Validitas suatu model berbanding lurus dengan kemampuan prediksi model tersebut. Oleh karena itu, pilihlah suatu model yang prediksi teoritisnya berasal dari pengalaman empiris.

   B.     DAFTAR PUSTAKA

·            William H. Kruskal and Judith M. Tanur, ed. (1978), "Linear Hypotheses," International Encyclopedia of Statistics. Free Press, v. 1, Evan J. Williams, "I. Regression," pp. 523–41.

·            Julian C. Stanley, "II. Analysis of Variance," pp. 541–554.

·            Lindley, D.V. (1987). "Regression and correlation analysis," New Palgrave: A Dictionary of Economics, v. 4, pp. 120–23.

·            Birkes, David and Yadolah Dodge, Alternative Methods of Regression. ISBN 0-471-56881-3

·            Chatfield, C. (1993) "Calculating Interval Forecasts," Journal of Business and Economic Statistics, 11. pp. 121–135.

·            Corder, G.W. and Foreman, D.I. (2009).Nonparametric Statistics for Non-Statisticians: A Step-by-Step Approach Wiley, ISBN 978-0-470-45461-9

·            Draper, N.R. and Smith, H. (1998).Applied Regression Analysis Wiley Series in Probability and Statistics

·            Fox, J. (1997). Applied Regression Analysis, Linear Models and Related Methods. Sage

·            Hardle, W., Applied Nonparametric Regression (1990), ISBN 0-521-42950-1

·            Meade, N. and T. Islam (1995) "Prediction Intervals for Growth Curve Forecasts," Journal of Forecasting, 14, pp. 413–430.

·            N. Cressie (1996) Change of Support and the Modiable Areal Unit Problem. Geographical Systems 3:159–180.

·            A.S. Fotheringham, C. Brunsdon, and M. Charlton. (2002) Geographically weighted regression: the analysis of spatially varying relationships. Wiley.