DATA MINING

Pertemuan ke-5: Evaluasi Model Data

Mining
Azlan Irwan, M.Kom

Riad Sahara, S.SI., MT

 Outline Perkuliahan
• Pemisahan Data Manual
• Pemisahan Data Otomatis dengan Operator Split Data
• Pemisahan Data dan Evaluasi Model Otomatis dengan
Cross-Validation
• Komparasi Algoritma Data Mining
 Proses Data Mining

1. Himpunan 2. Metode 3. Pengetahuan 4. Evaluation

Data Data Mining

(Pahami dan (Pilih Metode (Pahami Model dan (Analisis Model dan
Persiapkan Data) Sesuai Karakter Data) Pengetahuan yg Sesuai ) Kinerja Metode)

DATA PREPROCESSING MODELING MODEL KINERJA

Data Cleaning Estimation Formula Akurasi
Data Integration Prediction Tree Tingkat Error
Classification Cluster Jumlah Cluster
Data Reduction
Clustering Rule
Data Transformation Correlation
Association MODEL
Atribute/Faktor
Korelasi
Bobot
3
Evaluasi Kinerja Model Data Mining
1. Estimation:
• Error: Root Mean Square Error (RMSE), MSE, MAPE, etc
2. Prediction/Forecasting (Prediksi/Peramalan):
• Error: Root Mean Square Error (RMSE) , MSE, MAPE, etc
3. Classification:
• Confusion Matrix: Accuracy
• ROC Curve: Area Under Curve (AUC)
4. Clustering:
• Internal Evaluation: Davies–Bouldin index, Dunn index,
• External Evaluation: Rand measure, F-measure, Jaccard index, Fowlkes–Mallows index,
Confusion matrix
5. Association:
• Lift Charts: Lift Ratio
• Precision and Recall (F-measure)
4
Evaluasi Model Data Mining
• Pembagian dataset, perbandingan 90:10 atau 80:20:
• Data Training
• Data Testing

• Data training untuk pembentukan model, dan data testing digunakan

untuk pengujian model

• Pemisahan data training dan testing

1. Data dipisahkan secara manual
2. Data dipisahkan otomatis dengan operator Split Data
3. Data dipisahkan otomatis dengan X Validation

5
Pemisahan Data
Manual

6
 Latihan: Penentuan Kelayakan Kredit
• Gunakan dataset di bawah:
• creditapproval-training.xls: untuk membuat model
• creditapproval-testing.xls: untuk menguji model
• Data di atas terpisah dengan perbandingan:
data testing (10%) dan data training (90%)
• Data training sebagai pembentuk model, dan data testing untuk
pengujian model, ukur performancenya

7
 Confusion Matrix  Accuracy

• pred MACET- true MACET: Jumlah data yang

diprediksi macet dan kenyataannya macet (TP)
• pred LANCAR-true LANCAR: Jumlah data yang
diprediksi lancar dan kenyataannya lancar (TN)
• pred MACET-true LANCAR: Jumlah data yang
diprediksi macet tapi kenyataannya lancer (FP)
• pred LANCAR-true MACET: Jumlah data yang
diprediksi lancar tapi kenyataanya macet (FN)
𝐓𝐏 + 𝐓𝐍 53+ 37 90
Accuracy= = = =90 %
𝐓𝐏 + 𝐓𝐍 + 𝐅𝐏 + 𝐅𝐍 53+ 37+ 4+ 6 100
8
 Precision and Recall, and F-measures

• Precision: exactness – what % of tuples

that the classifier labeled as positive are
actually positive

• Recall: completeness – what % of positive

tuples did the classifier label as positive?
• Perfect score is 1.0
• Inverse relationship between precision &
recall

• F measure (F1 or F-score): harmonic

mean of precision and recall,

• Fß: weighted measure of precision

and recall
• assigns ß times as much weight
9
to recall as to precision
Sensitivity and Specificity
Binary classification should be both sensitive and specific as much as possible:
1. Sensitivity measures the proportion of true ’positives’ that are correctly
identified (True Positive Rate (TP Rate) or Recall)

2. Specificity measures the proportion of true ’negatives’ that are correctly

identified (False Negative Rate (FN Rate or Precision)

10
 PPV and NPV
We need to know the probability that the classifier will give
the correct diagnosis, but the sensitivity and specificity do
not give us this information
• Positive Predictive Value (PPV) is the proportion of cases with
’positive’ test results that are correctly diagnosed

• Negative Predictive Value (NPV) is the proportion of cases with

’negative’ test results that are correctly diagnosed

11
 Kurva ROC - AUC (Area Under Curve)
• ROC (Receiver Operating Characteristics) curves: for visual comparison
of classification models
• Originated from signal detection theory
• ROC curves are two-dimensional graphs in which the TP rate is plotted
on the Y-axis and the FP rate is plotted on the X-axis
• ROC curve depicts relative trade-offs between benefits (’true
positives’) and costs (’false positives’)
• Two types of ROC curves: discrete and continuous

12
Kurva ROC - AUC (Area Under Curve)

13
 Guide for Classifying the AUC

1. 0.90 - 1.00 = excellent

classification
2. 0.80 - 0.90 = good classification
3. 0.70 - 0.80 = fair classification
4. 0.60 - 0.70 = poor classification
5. 0.50 - 0.60 = failure

(Gorunescu, 2011)

14
Latihan: Prediksi Kanker Payudara
• Gunakan dataset: breasttissue.xls
• Split data dengan perbandingan:
data testing (10%) dan data training
(90%)
• Ukur performance
(Accuracy dan Kappa)

15
Kappa Statistics
• The (Cohen’s) Kappa statistics is a more vigorous
measure than the ‘percentage correct prediction’
calculation, because Kappa considers the correct
prediction that is occurring by chance
• Kappa is essentially a measure of how well the
classifier performed as compared to how well it
would have performed simply by chance
• A model has a high Kappa score if there is a big
difference between the accuracy and the null
error rate (Markham, K., 2014)
• Kappa is an important measure on classifier
performance, especially on imbalanced data set
16
Latihan: Prediksi Harga Saham
• Gunakan dataset di bawah:
• hargasaham-training.xls: untuk membuat model
• hargasaham-testing.xls: untuk menguji model
• Data di atas terpisah dengan perbandingan:
data testing (10%) dan data training (90%)
• Jadikan data training sebagai pembentuk model/pola/knowledge,
dan data testing untuk pengujian model
• Ukur performance

17
18
 Root Mean Square Error
• The square root of the mean/average of the square of all of the
error

• The use of RMSE is very common and it makes an excellent general

purpose error metric for numerical predictions
• To construct the RMSE, we first need to determine the residuals
• Residuals are the difference between the actual values and the predicted
values
• We denoted them by
• where is the observed value for the ith observation and
• is the predicted value
• They can be positive or negative as the predicted value under or
over estimates the actual value
• You then use the RMSE as a measure of the spread of the y values
about the predicted y value 19
 Latihan: Klastering Jenis Bunga Iris

1. Lakukan training pada data iris (ambil

dari repositories rapidminer) dengan
menggunakan algoritma clustering k-
means
2. Ukur performance-nya dengan
Cluster Distance Performance, cek
dan analisis nilai yang keluar Davies
Bouldin Indeks (DBI)
3. Lakukan pengubahan pada nilai k k DBI
pada parameter k-means dengan 3 0.666
memasukkan nilai: 3, 4, 5, 6, 7 4 0.764
5 0.806
6 0.910
7 0.999
20
21
Davies–Bouldin index (DBI)
• The Davies–Bouldin index (DBI) (introduced by David L. Davies and Donald W.
Bouldin in 1979) is a metric for evaluating clustering algorithms
• This is an internal evaluation scheme, where the validation of how well the
clustering has been done is made using quantities and features inherent to the
dataset
• As a function of the ratio of the within cluster scatter, to the between cluster
separation, a lower value will mean that the clustering is better
• This affirms the idea that no cluster has to be similar to another, and hence the best
clustering scheme essentially minimizes the Davies–Bouldin index
• This index thus defined is an average over all the i clusters, and hence a good
measure of deciding how many clusters actually exists in the data is to plot it
against the number of clusters it is calculated over
• The number i for which this value is the lowest is a good measure of the number of
clusters the data could be ideally classified into
22
Pemisahan Data Otomatis dengan
Operator Split Data

23
Split Data Otomatis
• The Split Data operator takes a dataset as its input and
delivers the subsets of that dataset through its output ports
• The sampling type parameter decides how the examples
should be shuffled in the resultant partitions:
1. Linear sampling: Divides the dataset into partitions without
changing the order of the examples
2. Shuffled sampling: Builds random subsets of the dataset
3. Stratified sampling: Builds random subsets and ensures that
the class distribution in the subsets is the same as in the
whole dataset
24
25
Latihan: Prediksi Kelulusan Mahasiswa
1. Dataset: datakelulusanmahasiswa.xls
2. Pisahkan data menjadi dua secara otomatis (Split Data): data testing
(10%) dan data training (90%)
3. Ujicoba parameter pemisahan data baik menggunakan Linear
Sampling, Shuffled Sampling dan Stratified Sampling
4. Jadikan data training sebagai pembentuk model/pola/knowledge, dan
data testing untuk pengujian model
5. Terapkan algoritma yang sesuai dan ukur performance dari model
yang dibentuk

26
Proses Prediksi Kelulusan Mahasiswa

27
Latihan: Estimasi Konsumsi Minyak
1. Dataset: HeatingOil.csv
2. Pisahkan data menjadi dua secara otomatis (Split Data): data
testing (10%) dan data training (90%)
3. Jadikan data training sebagai pembentuk
model/pola/knowledge, dan data testing untuk pengujian model
4. Terapkan algoritma yang sesuai dan ukur performance dari
model yang dibentuk

28
Pemisahan Data dan Evaluasi
Model Otomatis dengan Cross-
Validation

29
Metode Cross-Validation
• Metode cross-validation digunakan untuk menghindari
overlapping pada data testing
• Tahapan cross-validation:
1. Bagi data menjadi k subset yg berukuran sama
2. Gunakan setiap subset untuk data testing dan sisanya untuk data
training
• Disebut juga dengan k-fold cross-validation
• Seringkali subset dibuat stratified (bertingkat) sebelum cross-
validation dilakukan, karena stratifikasi akan mengurangi variansi
dari estimasi

30
 10 Fold Cross-Validation

Eksperimen Dataset Akurasi

1 93%
2 91%
3 90%
4 93%
5 93%
6 91%
7 94%
8 93%
9 91%
10 90%
Akurasi Rata-Rata 92%
Orange: k-subset (data testing) 31
10 Fold Cross-Validation
• Metode evaluasi standard: stratified 10-fold cross-
validation
• Mengapa 10? Hasil dari berbagai percobaan yang
ekstensif dan pembuktian teoritis, menunjukkan
bahwa 10-fold cross-validation adalah pilihan
terbaik untuk mendapatkan hasil validasi yang
akurat
• 10-fold cross-validation akan mengulang
pengujian sebanyak 10 kali dan hasil pengukuran
adalah nilai rata-rata dari 10 kali pengujian 32
Latihan: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu (datapemilukpu.xls)
2. Lakukan pengujian dengan menggunakan 10-fold X Validation
3. Ukur performance-nya dengan confusion matrix dan ROC Curve
4. Lakukan ujicoba, ubah algoritma menjadi Naive Bayes, k-NN, Random Forest (RF),
Logistic Regression (LogR), analisis mana algoritma yang menghasilkan model yang
lebih baik (akurasi tinggi)

C4.5 NB k-NN LogR

Accuracy 92.87% 79.34% 88.7%
AUC 0.934 0.849 0.5 33
 Latihan:
Komparasi
Prediksi Harga
Saham
• Gunakan dataset harga
saham (hargasaham-
training.xls)
• Lakukan pengujian dengan
10-fold X Validation
• Lakukan ujicoba dengan
mengganti algoritma (GLM,
LR, NN, DL, SVM), catat hasil
RMSE yang keluar

GLM LR NN DL SVM
RMSE

34
Komparasi Algoritma Data Mining

35
Metode Data Mining
1. Estimation (Estimasi):
Linear Regression (LR), Neural Network (NN), Deep Learning (DL), Support Vector Machine
(SVM), Generalized Linear Model (GLM), etc
2. Forecasting (Prediksi/Peramalan):
Linear Regression (LR), Neural Network (NN), Deep Learning (DL), Support Vector Machine
(SVM), Generalized Linear Model (GLM), etc
3. Classification (Klasifikasi):
Decision Tree (CART, ID3, C4.5, Credal DT, Credal C4.5, Adaptative Credal C4.5), Naive
Bayes (NB), K-Nearest Neighbor (kNN), Linear Discriminant Analysis (LDA), Logistic
Regression (LogR), etc
4. Clustering (Klastering):
K-Means, K-Medoids, Self-Organizing Map (SOM), Fuzzy C-Means (FCM), etc
5. Association (Asosiasi):
FP-Growth, A Priori, Coefficient of Correlation, Chi Square, etc
36
Latihan: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu (datapemilukpu.xls)
dengan menggunakan algoritma
1. Decision Tree (C4.5)
2. Naïve Bayes (NB)
3. K-Nearest Neighbor (K-NN)
2. Lakukan pengujian dengan menggunakan 10-fold X
Validation
DT NB K-NN
Accuracy 92.45% 77.46% 88.72%
AUC 0.851 0.840 0.5

37
38
Latihan: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu
(datapemilukpu.xls) dengan menggunakan algoritma
C4.5, NB dan K-NN
2. Lakukan pengujian dengan menggunakan 10-fold X
Validation
3. Ukur performance-nya dengan confusion matrix dan
ROC Curve
4. Uji beda dengan t-Test untuk mendapatkan model
terbaik
39
40
 Hasil Prediksi Elektabilitas Caleg
• Komparasi Accuracy dan AUC

C4.5 NB K-NN
Accuracy 92.45% 77.46% 88.72%
AUC 0.851 0.840 0.5

• Uji Beda (t-Test)

C4.5 NB kNN

C4.5
NB
kNN

Values with a colored background are smaller than alpha=0.050,

which indicate a probably significant difference between the mean
values

• Urutan model terbaik: 1. C4.5 2. k-NN 3. NB 41

 Hasil Prediksi Elektabilitas Caleg
• Komparasi Accuracy dan AUC
C4.5 NB K-NN
Accuracy 93.41% 79.72% 91.76%
AUC 0.921 0.826 0.885

• Uji Beda (t-Test)

C4.5 NB kNN

C4.5
NB
kNN

Values with a white background are higher than alpha=0.050, which

indicate a probably NO significant difference between the mean values

• Urutan model terbaik: 1. C4.5 1. kNN 2. NB 42

 Latihan: Komparasi
Prediksi Harga Saham
• Gunakan dataset harga 1. GLM
saham (hargasaham-
training.xls) 2. LR
• Lakukan pengujian 3. NN
dengan 10-fold X 4. DL dan SVM
Validation
• Lakukan ujicoba dengan
mengganti algoritma
(GLM, LR, NN, DL, SVM),
catat hasil RMSE yang
keluar
• Uji beda dengan t-Test
43
Analisis Statistik
1. Statistik Deskriptif
• Nilai mean (rata-rata), standar deviasi,
varians, data maksimal, data minimal, dsb

2. Statistik Inferensi
• Perkiraan dan estimasi
• Pengujian Hipotesis

44
 Statistik Inferensi
(Pengujian Hipotesis)

Penggunaan Parametrik Non Parametrik

Dua sampel saling T Test Sign test
berhubungan Z Test Wilcoxon Signed-Rank
(Two Dependent samples) Mc Nemar Change test

Dua sampel tidak berhubungan T Test Mann-Whitney U test

(Two Independent samples) Z Test Moses Extreme reactions
Chi-Square test
Kolmogorov-Smirnov test
Walt-Wolfowitz runs

Beberapa sampel berhubungan Friedman test

(Several Dependent Samples) Kendall W test
Cochran’s Q

Beberapa sampel tidak Anova test (F test) Kruskal-Wallis test

Berhubungan Chi-Square test
(Several Independent Samples) Median test
45
Metode Parametrik
• Metode parametrik dapat dilakukan jika
beberapa persyaratan dipenuhi, yaitu:
• Sampel yang dianalisis haruslah berasal dari populasi
yang berdistribusi normal
• Jumlah data cukup banyak
• Jenis data yang dianalisis adalah biasanya interval
atau rasio

46
Metode Non Parametrik
• Metode ini dapat dipergunakan secara lebih luas, karena tidak
mengharuskan datanya berdistribusi normal
• Dapat dipakai untuk data nominal dan ordinal sehingga sangat berguna
bagi para peneliti sosial untuk meneliti perilaku konsumen, sikap
manusia, dsb
• Cenderung lebih sederhana dibandingkan dengan metode parametrik

• Selain keuntungannya, berikut kelemahan metode non

parametrik:
• Tidak adanya sistematika yang jelas seperti metode parametrik
• Terlalu sederhana sehingga sering meragukan
• Memakai tabel-tabel yang lebih bervariasi dibandingkan dengan tabel-
tabel standar pada metode parametrik
47
Interpretasi Statistik
• Ho = tidak ada perbedaan signifikan
• Ha = ada perbedaan signifikan

alpha=0.05
Bila p < 0.05, maka Ho ditolak

• Contoh: kasus p=0.03, maka dapat ditarik

kesimpulan? 48
Latihan: Prediksi Kelulusan Mahasiswa
1. Lakukan training pada data mahasiswa
(datakelulusanmahasiswa.xls) dengan
menggunakan C4.5, ID3, NB, K-NN, RF dan
LogR
2. Lakukan pengujian dengan menggunakan 10-
fold X Validation
3. Uji beda dengan t-Test untuk mendapatkan
model terbaik
49
 Hasil Prediksi Kelulusan Mahasiswa

• Komparasi Accuracy dan AUC

C4.5 NB K-NN LogR
Accuracy 91.55% 82.58% 83.63% 77.47%
AUC 0.909 0.894 0.5 0.721

• Uji Beda (t-Test)

C4.5 NB kNN LogR

C4.5
NB
kNN
LogR

• Urutan model terbaik: 1. C4.5 2. NB 2. k-NN 2. 50LogR

Latihan: Estimasi Performance CPU
1. Lakukan training pada data cpu (cpu.xls) dengan
menggunakan algoritma linear regression, neural
network dan support vector machine
2. Lakukan pengujian dengan XValidation (numerical)
3. Ukur performance-nya dengan menggunakan RMSE
(Root Mean Square Error)
LR NN SVM
RMSE 54.676 55.192 94.676

4. Urutan model terbaik: 1. LR 2. NN 3. SVM

51
52
Latihan: Estimasi Konsumsi Minyak
1. Lakukan training pada data minyak
pemanas (HeatingOil.csv) dengan
menggunakan algoritma linear
regression, neural network dan support
vector machine, Deep Learning
2. Lakukan pengujian dengan XValidation
(numerical) dan Uji beda dengan t-Test
3. Ukur performance-nya dengan
menggunakan RMSE (Root Mean Square
LR NN SVM DL
Error)
RMSE

53
 Urutan model terbaik:
1. NN dan DL
2. LR dan SVM
LR NN DL SVM

LR
NN
DL
SVM 54
Latihan: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu (datapemilukpu.xls) dengan
menggunakan algoritma Decision Tree, Naive Bayes, K-Nearest
Neighbor, RandomForest, Logistic Regression
2. Lakukan pengujian dengan menggunakan XValidation
3. Ukur performance-nya dengan confusion matrix dan ROC Curve
4. Masukkan setiap hasil percobaan ke dalam file Excel
DT NB K-NN RandFor LogReg
Accuracy 92.21% 76.89% 89.63%
AUC 0.851 0.826 0.5

55
Latihan: Prediksi Harga Saham
1. Lakukan training pada data harga saham
(hargasaham-training.xls) dengan neural
network, linear regression, support vector
machine
2. Lakukan pengujian dengan menggunakan
XValidation

LR NN SVM
RMSE

56
Latihan: Klastering Jenis Bunga
Iris
1. Lakukan training pada data iris (ambil dari repositories rapidminer)
dengan menggunakan algoritma clustering k-means
2. Gunakan pilihan nilai untuk k, isikan dengan 3, 4, 5, 6, 7
3. Ukur performance-nya dengan Cluster Distance Performance, dari
analisis Davies Bouldin Indeks (DBI), tentukan nilai k yang paling
optimal

k=3 k=4 k=5 k=6 k=7

DBI 0.666 0.764 0.806 0.910 0.99
57
Davies–Bouldin index (DBI)
• The Davies–Bouldin index (DBI) (introduced by David L. Davies and Donald W.
Bouldin in 1979) is a metric for evaluating clustering algorithms
• This is an internal evaluation scheme, where the validation of how well the
clustering has been done is made using quantities and features inherent to the
dataset
• As a function of the ratio of the within cluster scatter, to the between cluster
separation, a lower value will mean that the clustering is better
• This affirms the idea that no cluster has to be similar to another, and hence
the best clustering scheme essentially minimizes the Davies–Bouldin index
• This index thus defined is an average over all the i clusters, and hence a good
measure of deciding how many clusters actually exists in the data is to plot it
against the number of clusters it is calculated over
• The number i for which this value is the lowest is a good measure of the
number of clusters the data could be ideally classified into 58
Evaluasi Model Data Mining
1. Estimation:
• Error: Root Mean Square Error (RMSE), MSE, MAPE, etc
2. Prediction/Forecasting (Prediksi/Peramalan):
• Error: Root Mean Square Error (RMSE) , MSE, MAPE, etc
3. Classification:
• Confusion Matrix: Accuracy
• ROC Curve: Area Under Curve (AUC)
4. Clustering:
• Internal Evaluation: Davies–Bouldin index, Dunn index,
• External Evaluation: Rand measure, F-measure, Jaccard index, Fowlkes–Mallows index,
Confusion matrix
5. Association:
• Lift Charts: Lift Ratio
• Precision and Recall (F-measure)
59
Tugas: Mengolah Semua Dataset
1. Lakukan ujicoba terhadap semua dataset yang ada di folder
datasets, dengan menggunakan berbagai metode data mining
yang sesuai (estimasi, prediksi, klasifikasi, clustering, association)
2. Kombinasikan pengujian dengan pemecahan data training-testing,
dan pengujian dengan menggunakan metode X validation
3. Ukur performance dari model yang terbentuk dengan
menggunakan metode pengukuran sesuai dengan metode data
mining yang dipilih
4. Jelaskan secara mendetail tahapan ujicoba yang dilakukan,
kemudian lakukan analisis dan sintesis, dan buat laporan dalam
bentuk slide
60
5. Presentasikan di depan kelas
Tugas: Mereview Paper
• Technical Paper:
• Judul: Application and Comparison of Classification Techniques in
Controlling Credit Risk
• Author: Lan Yu, Guoqing Chen, Andy Koronios, Shiwu Zhu, and Xunhua Guo
• Download: http://romisatriawahono.net/lecture/dm/paper/

• Baca dan pahami paper di atas dan jelaskan apa yang dilakukan
peneliti pada paper tersebut:
1. Object Penelitian
2. Masalah Penelitian
3. Tujuan Penelitian
4. Metode Penelitian
5. Hasil Penelitian
61
Tugas: Mereview Paper
• Technical Paper:
• Judul: A Comparison Framework of Classification Models for Software Defect
Prediction
• Author: Romi Satria Wahono, Nanna Suryana Herman, Sabrina Ahmad
• Publications: Adv. Sci. Lett. Vol. 20, No. 10-12, 2014
• Download: http://romisatriawahono.net/lecture/dm/paper

• Baca dan pahami paper di atas dan jelaskan apa yang dilakukan peneliti
pada paper tersebut:
1. Object Penelitian
2. Masalah Penelitian
3. Tujuan Penelitian
4. Metode Penelitian
62
5. Hasil Penelitian
Tugas Mereview Paper
• Technical Paper:
• Judul: An experimental comparison of classification algorithms for imbalanced
credit scoring data sets
• Author: Iain Brown and Christophe Mues
• Publications: Expert Systems with Applications 39 (2012) 3446–3453
• Download: http://romisatriawahono.net/lecture/dm/paper

• Baca dan pahami paper di atas dan jelaskan apa yang dilakukan
peneliti pada paper tersebut:
1. Object Penelitian
2. Masalah Penelitian
3. Tujuan Penelitian
4. Metode Penelitian
5. Hasil Penelitian
63
Tugas: Menulis Paper Penelitian
• Cari dataset yang ada di sekitar kita
• Lakukan penelitian berupa komparasi dari (minimal)
5 algoritma machine learning untuk memining
knowledge dari dataset tersebut
• Gunakan uji beda (baik parametrik dan non
parametric) untuk analisis dan pembuatan ranking
dari algoritma machine learning
• Tulis makalah tentang penelitian yang kita buat
• Contoh-contoh makalah komparasi ada di:
http://romisatriawahono.net/lecture/dm/paper/method%20comparison/
• Upload seluruh file laporan ke Card di Trello.Com
• Deadline: sehari sebelum mata kuliah berikutnya
64
Paper Formatting
• Ikuti template dan contoh paper dari:
http://journal.ilmukomputer.org

• Isi paper:
• Abstract: Harus berisi obyek-masalah-metode-hasil
• Introduction: Latar belakang masalah penelitian dan struktur paper
• Related Work: Penelitian yang berhubungan
• Theoretical Foundation: Landasan dari berbagai teori yang digunakan
• Proposed Method: Metode yang diusulkan
• Experimental Results: Hasil eksperimen
• Conclusion: Kesimpulan dan future works 65
 Competency Check
1. Dataset – Methods – Knowledge
1. Dataset Main Golf (Klasifikasi)
2. Dataset Iris (Klasifikasi)
3. Dataset Iris (Klastering)
4. Dataset CPU (Estimasi)
5. Dataset Pemilu (Klasifikasi)
6. Dataset Heating Oil (Association)
7. Dataset Transaksi (Association)
8. Dataset Harga Saham (Forecasting)
2. Dataset – Methods – Knowledge – Evaluation
1. Manual
2. Data Split Operator
3. Cross Validation
3. Methods Comparison
• Uji t-Test
4. Paper Reading
1. Lan Yu (DeLong Pearson Test) 66
Terima Kasih

67