VALIDASI DATA

Inter-Rater Reliability Method

dr. Arjaty W Daud, MARS FisQua, CERG QRGP

 CURICULUM VITAE

Nama : dr. Arjaty W. Daud, MARS FISQua CERG QRGP

Alamat : Jl Moh Kahfi 1 Royal residence no A2 Ciganjur Jakarta Selatan
Tmpt / tgl. Lahir : Manado,17 Januari 1969
Status : Menikah
Email : [email protected]
Hp : 0812 1830 7169
PENDIDIKAN
S-1 Fakultas Kedokteran Universitas Sam Ratulangi - Manado , Lulus 1995
S-2 Fakultas Kesehatan Masyarakat, KARS Universitas Indonesia, Lulus 2005

PELATIHAN / SEMINAR
2022 : Fellowship ISQUA, Certified Enterprice Risk Governance, Qualified Risk Governance Professional
2017 : Update Acreditation Joint Commission International 6th edition Amsterdam
2015 : Practicum Acreditation Joint Commission International 5th edition Singapore
2011 : Practicum Acreditation Joint Commission Internationl 4 th edition Seoul
Patient Safety Course, Singapura
2010 : Safety in Healthcare, Kuala Lumpur
2009 : Hospital Management Asia, Vietnam
Course Risk Management PRMIA Jakarta
2007 : New Perspektif, Conferrence ASHRM, Chicago USA
Certified Profesional Healthcare Risk Management course,
Chicago USA
Risk Management Base Training, Joint Commision Resources (JCR)
Patient Safety Up Date, Joint Commision International (JCI) Singapura
2005 : Lead Audior ISO 9001 – 2000, International Registered Certificated Auditor (IRCA)
2
@manajemenrisiko.imrk Manajemen Risiko IMRK
PENGALAMAN KERJA
2019 : Technical Assistance WHO ORGANISASI
2017 : Konsultan JCI RSK Dharmais, RS Djamil Padang, RS AWS 2021 : Member of ISQUA
Samarinda, RS Zainal Abidin Banda Aceh 2020 : Tim Ahli Investigasi KTD Alat
2016 : Konsultan JCI RS Zainal Abidin Banda Aceh Kesehatan Kemkes
2018 – saat ini : Ketua Bidang Pelaporan &
2015 : Konsultan JCI RS Islam Cempaka putih Jakarta, RS Advent
Analisa Insiden Komite Nasional Keselamatan
Bandung, RS JMC Jakarta, RS Sutomo Surabaya
Pasien (KNKP)
2014 : Konsultan JCI RS MMC Jakarta, RS Kanujoso Blkppn, RS 2016 – 2018. : Sekretariat KKPRS
Sleman Jogja, RS Tarakan Kaltara 2007 – 2012. : Ketua Bidang Pelaporan
2013 : Konsultan JCI RS kanujoso Blkppn, RS Sleman Insiden KKP RS PERSI , Sterring Committe
2012 : Konsultan JCI RSUP Fatmawati, RSUP Wahidin KKP RS
Sudirohusodo Makasar, RS Medistra 2005 - Saat ini :Ketua Institut Manajemen
2011 : Konsultan JCI RSCM, Konsultan Manajemen Risiko & Risiko Klinis (IMRK) / ICRMI , Member of ASQ
Keselamatan Pasien RS Tarakan Kaltim (American Quality Society), Member of
Profesional Risk Management International
2010 : Konsultan Manajemen risiko RSUP Fatmawati Jakarta, RS
Association
Bieuren, RS Lhoksemawe Aceh
2009 : Konsultan Manajemen risiko & Kes Pasien RS Wahidin PENGHARGAAN
Makasar, RS Pelni Jakarta, Konsultan RS Aini, RS Sardjito
2007 : Direktur RS Zahirah, Konsultan Manajemen risiko RS
Persahabatan, RS Dharmais 2019 : Penghargaan. Wanita Inspirasi
2006 : Konsultan Manajemen RS Asri, Konsultan Manajemen RS Indonesia (IPEMI)
Medika BSD,
2004 – 2005 : Manajer Operasional Medika Plaza International
Clinic
2003 : General Manajer Cempaka Medical Centre
2003 – 2004 : Direktur Operasional RS Sentra Medika
09/04/2022
2002 - 2003 : Wakil Direktur Medik & Asist Direktur RS Sentra
Medika
2000 – 2001 : Kepala Bagian Humas RS MMC
1999 – 2000 : Kepala Bagian Rehabilitasi Medik RS MMC
1999 @ manajemenrisiko.imrk
: Asisten Konsultan WHO Umbrella Project Depkes
Manajemen
3 Risiko IMRK
 KAPAN DILAKUKAN VALIDASI ?

a. Pengukuran Indikator mutu baru;

b. Bila data akan dipublikasi ke masyarakat baik melalui web site RS
atau media lain
c. Ada perubahan pada pengukuran yang selama ini sudah
dilakukan, mis. perubahan profil indikator, instrumen
pengumpulan data, proses agregasi data, atau perubahan staf
pengumpul data atau validator .
d. Bila terdapat perubahan hasil pengukuran tanpa diketahui
sebabnya
e. Bila terdapat perubahan sumber data, mis. terdapat perubahan
sistem pencatatan pasien dari manual ke elektronik;
f. Bila terdapat perubahan subyek data seperti perubahan umur
rata2 pasien, perubahan protokol riset, PPK baru diberlakukan,
serta adanya teknologi dan metodologi pengobatan baru.

Bila data akan dilaporkan ke Direktur dan Dewas secara regular setiap tiga bulan. (RS)

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Pengumpul Data
(Data Abstraction)

Primary Abstractor. (Pengumpul Data)

staf dilatih mengumpul data secara
rutin untuk dianalisa

Secondary Abstractor (Validator)

staf dilatih mengumpul ulang data
untuk reabilitas hasil

@manajemenrisiko.imrk Manajemen Risiko IMRK

 KEANDALAN (RELIABLE) &
KESAHIHAN (VALIDITAS)

• Data yang reliabel (andal) dan valid (sahih) ; karakteristik dalam

pengukuran yang penting.
• Harus dipahami bahwa tidak pernah ada satu pengukuran pun yang
memiliki kesahihan dan keandalan yang sempurna

Data Validation
Reliability Validity

Reproducibility Repeatability Accuracy

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Dua Tipe Reliability Tests
1. Repeatability
 diulangnya pengukuran hasil oleh orang yang sama
atau alat yang sama pada catatan yang sama dan
kondisi yang sama .
 Orang yang sama mengumpulkan data dengan
catatan yang sama pada waktu yang berbeda

2. Reproducibility
 diulangnya pengukuran hasil oleh orang yang
berbeda pada catatan yang sama dan kondisi yang
sama
 orang yang berbeda mengumpulkan catatan yang
sama untuk data yang sama
 (Reproduced, or replicated, oleh seseorang yang bekerja
secara independen (by someone else working independently)
 This is JCI Inter-Rater Reliability

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Reproducibility Testing
JCI Methods
Method One : Measure Category Agreement (MCA)

• Nilai kesepakatan Numerator, denominator, Eksklusi

• (Calculate agreement for assigning numerator-E, denominator-D,
Exclusion-B)
• 80% kesepakatan dalam kategorisasi numerator, denominator, dan
eksklusi antara pengumpul data pertama dan kedua

Method Two : Data Element Agreement (DEA)

• Nilai kesepakatan untuk semua data elemen di kalkulasi

(Calculate agreement for assigning all data elements or dependent
and independent variables)
• 80% kesepakatan dalam dokumentasi elemen data antara pengumpul
data dan validator

@manajemenrisiko.imrk Manajemen Risiko IMRK

 LANGKAH2 DALAM METODE REPRODUCIBILITY

1. Pengumpul data mengumpulkan data dari beberapa RM

(sumber data)
2. RM yang sama dan sudah digunakan oleh pengumpul data
diberikan ke validator untuk dilakukan pengumpulan data
ulang
3. Results Calculation First Abstractor. (Pengumpul data
dan validator diberikan pelatihan pengumpulan data yang
sama).
4. Validator mengumpulkan data pada semua semua sampel /
populasi yang sama dengan pengumpul data
5. Kalkulasi akurasi atau persentase kesepakatan
6. Cari solusi / corrective action perbedaan data yang
dikumpulkan oleh pengumpul data pertama dan validator
7. Implementasi corrective actions
8. Kumpulkan sampel baru setelah corrective actions
diimplementasikan

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Corrective Actions
Identifikasi dan selesaikan perbedaan antara
pengumpul data pertama dan pengumpul data
kedua
Implementasi aksi perbaikan
Ulangi pengumpulan data setelah perbaikan
diimplementasi, untuk memastikan aksi tsb
telah menyelesaikan masalah pengumpulan
data

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Alasan umum Ketika terjadi ketidakcocokan data
(General Reasons for Disagreements)

 Pengumpul data dan validator tidak

identifikasi elemen data yang sama dengan
sumber data
 Pengumpul data pertama dan validator
salah mengkategorikan elemen data
kedalam numerator dan denominator
 Konsekuensi dari dua yang pertama
merupakan ketidaksepakatan dalam hasil
pengukuran yang dikalkulasi

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Alasan Khusus ketika terjadi ketidakcocokan data
(Specific Reasons for Disagreements)

 Kamus Indikator (data collection plan) tidak jelas

atau menimbulkan salah interpretasi
 Definisi elemen data tidak jelas
 Pelatihan untuk pengumpul data dan validator
berbeda
 Parameter pengumpulan data tidak diidentifikasi
 Definisi operasional berbeda
 Elemen elemen yang hilang – omission vs. “does
not apply”
 Input data tidak benar
 Data bermasalah di rekam medis
 Menggunakan sumber data yang berbeda
@manajemenrisiko.imrk Manajemen Risiko IMRK
 Penyebab Data tidak konsisten
(Cause for Missing or Inconsistent Data)

Kurang pelatihan yang adekuat / Lack of

adequate training

Kurang waktu / Lack of sufficient time

Definisi operasional tidak jelas / Unclear

operational definitions

Lupa / Forgetfulness

Kurang baik mendesain pengumpulan data /

Poorly design collection tool

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Review of Record Abstraction
Responsibility First Abstractor(s)

Mengumpulkan data dari semua populasi atau

sampel / Abstracts data from all or a sample

Catat data pada form pengumpulan data / Records

data on collection form

Input data kedalam spreadsheet elektronik: Tabel Data /

Enters data into electronic spreadsheet: Raw Data Table

Rekap tabel dari tabel data diatas ; Agregasi data

dan stratifikasi / Summary Tables prepared from
raw data: Data Aggregation and Stratification

Buat chart dan grafik dari rekap tabel diatas /

Charts and Graphs prepared from raw and
summary tables

@manajemenrisiko.imrk Manajemen Risiko IMRK

 VALIDATOR
Critical Requirements

Dilatih dengan cara yang sama seperti

pengumpul data

Menggunakan definisi operasional data yang

sama

Mereview data yang sudah dikumpulkan oleh

pengumpul data

Mengumpulkan data dari sampel yang sudah

ditentukan dan dikumpulkan oleh pengumpul
pertama

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Besar Sampel (Sample Size)

PENGUMPUL DATA
VALIDATOR

Populasi : Besar Populasi : Besar sampel

sampel
>= >480 = 48 sampel
>= 640 = 128
161 - 480 = 10%
sampel
17 – 160 = Min 16 /
320 – 639 = 20% dari
10%
total
populasi 1- 16 = 100 %
populasi
64 – 319 = 64 Sampel
< 64 = 100 %
populasi

Refferensi : Joint Commission International

@manajemenrisiko.imrk Manajemen Risiko IMRK
 JCI Method One
Inter-Rater Reliability Testing Example
JCI Data Element Categories
Eksklusi = B / Excluded from
denominator
Tidak memenuhi kriteria denominator
Denominator = D
 Memenuhi kriteria denominator
Numerator = E
 Memenuhi kriteria numerator dan
denominator

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Record Categorization Schema

Numerator
=E

3 Categories

Excluded=B Denominator
=D

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Contoh : Pemberian obat TB SO mendapat
pengobatan lengkap yang sembuh

Jumlah semua pasien TB SO yang sembuh dan

pengobatan lengkap pada tahun berjalan
di wilayah kerja PKM
X 100%

Jumlah semua kasus TB SO yang diobati pada

tahun berjalan di wilayah kerja PKM

09/04/2022 Arjaty
@manajemenrisiko.imrk Manajemen Risiko IMRK
19
 Pemberian obat TB SO mendapat
pengobatan lengkap yang sembuh
Sample or Total Records
Contoh: First Abstractor

 Identifikasi 500 RM yang layak untuk dijadikan

populasi. (Diagnosa TB SO yang di obati di PKM)

 Diputuskan tidak dapat mengumpulkan data untuk

semua populasi diatas, karena terlalu besar
dibanding dengan sumber daya staf yang tersedia

 Dilakukan random sampel 20 % yang setara dengan

100 rekam medik.

 Pengumpul data pertama mengumpulkan Data elemen

dari 100 sampel rekam medik
@manajemenrisiko.imrk Manajemen Risiko IMRK
Catat data yang dikumpulkan pada form
pengumpulan data dan input ke
spreadsheet elektronik

Keluarkan / Eksklusi kasus yang tidak

sesuai kriteria denominator
 Pasien yang bukan diagnose TB

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Pemberian obat TB SO mendapat pengobatan
lengkap yang sembuh

Pengumpul data mencatat empat elemen

data :
1. Kode Diagnosa TB
2. Pengobatan lengkap
3. Sembuh
4. Kontra indikasi / Sensitif terhadap pengobatan

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Setiap Data elemen dikelompokkan kedalam
Denominator dan Numerator berdasar
kriteria yang sudah ditentukan dan form
pengumpulan lengkap
 Kode Diagnosa TB = denominator = D

 Pengobatan lengkap = numerator = E

 Sembuh = numerator = E
 Kontra indikasi / Sensitif terhadap pengobatan
= eksklusi = B

@manajemenrisiko.imrk Manajemen Risiko IMRK

 JCI Method One
Inter-Rater Reliability Testing Example
Data Elements Abstraction
First Abstractor

 100 rekam medik Pasien TB dikumpulkan

 Semua kasus Diagnosa TB yang mendapatkan
pengobatan di PKM :
 50 dari 100 kasus diberikan pengobatan lengkap dan
sembuh (numerator)
 15 dari 100 kasus tidak lengkap, tidak sembuh dan
tidak ada kontraindikasi (denominator)
 35 dari 100 kasus kontraindikasi / sensitive pemberian
obat (eksklusi)

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Data Validation
Sampling or Total Original Records
Second Abstractor

 Pengumpul data kedua ditunjuk untuk

validasi data
 Pengumpul data kedua memutuskan tidak
akan mengumpulkan data ulang pada 100
rekam medik yang dikumpul sebelumnya,
dia melakukan random sampel rekam medik
yang digunakan pengumpul data pertama
dengan menggunakan tabel sampel validasi

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Data Validation Sampling or Total
Original Records
Second Abstractor
Random sampel 16 rekam medik
dari 100 rekam medik di kumpul
ulang sesuai “ Tabel Sampling
Validasi”
Pengumpul data kedua mengumpul
data dari 16 rekam medik yang
sudah dikumpulkan oleh pengumpul
data pertama

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Validation Chart Re-abstraction
Second Abstractor

Validasi termasuk besar sampel

minimum 16 kasus
Minimum 16 kasus untuk sumber data
16 hingga 180 / Minimum 16 cases for
data source of 16 to 180
 Re-abstract records for all four data elements
1. Kode Diagnosa TB
2. Pengobatan lengkap
3. Sembuh
4. Kontra indikasi / Sensitif terhadap pengobatan
@manajemenrisiko.imrk Manajemen Risiko IMRK
 Kelompokkan data elemen kedalam
denominator dan numerator berdasar
kriteria dan form pengumpulan data lengkap
 Kode Diagnosa TB = denominator = D
 Pengobatan lengkap = numerator = E
 Sembuh = numerator = E
 Kontra indikasi / Sensitif terhadap pengobatan
= eksklusi = B

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Validation-Data Elements
Re-abstraction: Second Abstractor
 16 sampel dari 100 kasus dikumpulkan
 Semua kasus memiliki diagnosa TB ; (denominator)
 8 dari 16 kasus lengkap pengobatan, sembuh (numerator)
 6 dari 16 kasus tidak lengkap pengobatan, tidak
sembuh (denominator)
 2 dari 16 kasus kontraindikasi saat pemberian obat
(eksklusi)

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Measure Category Assignment
First Abstractor

 Sample of 16 of total abstracted = 100

 Exclude (B) = 4
 Total numerator (E) = 6
 Total Denominator (D) = 12

Compare Categories for Same 16 sample records

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Measure Category Assignment
Second Abstractor

 Total Sample abstracted = 16

 Total excluded (B) = 2
 Total numerator (E) = 8
 Total Denominator (D) = 14

Compare Categories for Same 16 sample records

@manajemenrisiko.imrk Manajemen Risiko IMRK

Record Number Abstractor one Abstractor two Matches

MCA Category MCA Category

1 B B yes
2 B B yes
3 B B yes
4 B D no
5 B D no
6 B B yes
7 D E no
8
8. DD E D no yes
9 B B yes
10 B B yes
11 D D yes
12 D D yes
13 D D yes
14 D D yes
15 D D yes
16 @manajemenrisiko.imrk
D D Manajemen
yes Risiko IMRK
 Measure Category Assignment
Level Comparison & Calculation

Total kecocokan = 16
Tidak cocok pada eksklusi (B) = 2
Tidak cocok pada numerator (E)= 1
Total tidak cocok = 3
Total cocok = 13
% MCA Agreement = 13/16 = 81,25%

@manajemenrisiko.imrk Manajemen Risiko IMRK

 JCI Method Two
Inter-Rater Reliability Testing Example
Data Element Agreement /
(Kesepakatan Elemen Data)

Contoh 16 rekam medis untuk pengumpul

data kedua
Untuk setiap 16 rekam medis ini, review dan
dokumen bagaimana pengumpul data
pertama mengkategorikan data
Data yang dikumpulkan oleh pengumpul data
kedua, diidentifkasi elemen datanya dan
catat hasilnya
@manajemenrisiko.imrk Manajemen Risiko IMRK
 Data Elements Abstraction
First Abstractor

 Sampel 16 rekam medis dikumpulkan datanya

 Semua 16 kasus diagnose TB yang mendapatkan
pengobatan (denominator)
 12 dari 16 kasus TB pengobatan lengkap dan
sembuh (numerator)
 2 dari 16 kasus tidak lengkap pengobatannya dan
tidak sembuh, tidak memiliki kontraindikasi
(denumerator)
 1 dari 16 kasus memiliki kontraindikasi pemberian
obat (eksklusi)

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Validation-Data Elements
Re-abstraction: Second Abstractor

 Sampel 16 rekam medis dikumpulkan datanya

 Semua 16 kasus diagnose TB yang mendapatkan
pengobatan (denominator)
 8 dari 16 kasus TB pengobatan lengkap dan
sembuh (numerator)
 6 dari 16 kasus tidak tidak lengkap pengobatannya
dan tidak sembuh, tidak memiliki kontraindikasi
(tidak sesuai numerator)
 2 dari 16 kasus memiliki kontraindikasi pemberian
obat (eksklusi dari denominator)

@manajemenrisiko.imrk Manajemen Risiko IMRK

 Method Three
Data Element Assignment Table
Abstractor one Abstractor two
Numerator Denominator Numerator Denominator
1-Record
Diagnosa TB y y
Sembuh y y
Pengobatan lengkap y n

Tidak ada KI n y

2-Record
Diagnosa TB y y
Sembuh y y
Pengobatan lengkap n n
Tidak ada KI y n

3-Record
Diagnosa TB y y
Sembuh y y
Pengobatan lengkap y n
Tidak ada KI n y

16
@manajemenrisiko.imrk Manajemen Risiko IMRK
 Method Two
Data Element Assignment Table
 Ada 4 elemen data setiap rekam medis
 16 rekam medis dilkumpulkan pengumpul
data kedua
 Total elemen data = 4 x 16 = 64
Tidak cocok = 5
Cocok 59 dari 64 elemen data
Nilai kesepakatan elemen 59/64 x 100 =92%
Nilai >80% , tidak perlu investigasi

@manajemenrisiko.imrk Manajemen Risiko IMRK

Terima Kasih

Arjaty Daud Channel arjaty_daud Arjaty