25 posts tagged with "data mining"

Dalam tutorial, data selalu datang sebagai berkas CSV yang rapi. Di dunia kerja, hampir tidak pernah begitu.

Data yang Anda butuhkan biasanya tersebar di beberapa tabel dalam sebuah database. Kolom yang Anda inginkan ada di tabel A, targetnya di tabel B, dan riwayat transaksinya di tabel C. Tidak ada yang akan menyiapkan CSV untuk Anda.

SQL adalah bahasa untuk mengambil dan menggabungkan data itu. Artikel ini membahas bagian-bagian SQL yang benar-benar dipakai praktisi machine learning, dengan penekanan pada satu hal yang sering terlewat: cara membangun dataset tanpa membocorkan informasi masa depan.

Ada kebiasaan yang membedakan praktisi berpengalaman dari pemula: sebelum menulis satu baris kode model, mereka menghabiskan waktu melihat datanya dulu.

Kebiasaan ini terasa membuang waktu di awal, tapi hampir selalu menghemat waktu di akhir. Masalah yang ditemukan dalam lima menit lewat sebuah grafik bisa saja butuh dua hari untuk diselidiki kalau baru ketahuan setelah model dilatih.

Artikel ini membahas cara memeriksa data secara sistematis, grafik apa yang dipakai untuk situasi apa, dan bagaimana temuan dari pemeriksaan itu diterjemahkan menjadi keputusan pemodelan.

Machine learning berdiri di atas statistika. Anda bisa menjalankan model.fit() tanpa memahami satu pun rumus statistik, tapi Anda tidak akan bisa menjawab pertanyaan-pertanyaan yang muncul setelahnya.

Apakah selisih skor 0,03 antara dua model itu nyata atau cuma keacakan? Kenapa median lebih baik daripada rata-rata untuk mengisi sel kosong? Kalau model bilang seseorang punya risiko tinggi, seberapa besar sebenarnya peluangnya? Semua itu pertanyaan statistik.

Artikel ini membahas dasar-dasar yang benar-benar terpakai. Tidak ada bukti matematis, tidak ada turunan rumus. Fokusnya pada memahami maksudnya dan tahu kapan konsep itu berlaku.

Anda selesai membangun model. Skornya bagus. Anda presentasikan ke atasan atau klien, dan pertanyaan pertama yang muncul hampir selalu sama:

"Kenapa modelnya memutuskan begitu?"

Kalau jawaban Anda hanya "karena hasil pelatihannya begitu", model itu kemungkinan besar tidak akan dipakai. Di banyak bidang seperti perbankan, asuransi, dan kesehatan, ketidakmampuan menjelaskan bahkan bisa membuat model dilarang dipakai secara hukum.

Artikel ini membahas tiga alat utama untuk membuka isi model: permutation importance, partial dependence plot, dan SHAP. Ketiganya bekerja pada model apa pun, termasuk yang paling rumit sekalipun.

Dari semua konsep teori dalam machine learning, ini yang paling langsung terpakai sehari-hari.

Alasannya sederhana. Setiap kali model Anda tidak sesuai harapan, ada dua kemungkinan penyebab yang menuntut tindakan berlawanan. Salah mendiagnosis berarti Anda akan memperbaiki dengan cara yang justru memperburuk keadaan.

Artikel ini menjelaskan dua sumber kesalahan itu, cara mengenalinya dari angka yang Anda lihat sehari-hari, dan tindakan apa yang tepat untuk masing-masing.

Anda sudah punya model yang jalan, skornya 0,82. Pertanyaan berikutnya selalu sama: bagaimana cara membuatnya lebih baik?

Jawaban yang paling sering terpikir adalah menyetel pengaturan model. Itu memang salah satu jalannya, tapi bukan satu-satunya, dan sering bukan yang paling efektif.

Artikel ini membahas dua hal yang saling melengkapi. Pertama, cara menyetel pengaturan model secara sistematis, dari yang paling sederhana sampai yang paling efisien. Kedua, dan ini yang sering dilewati, cara mendiagnosis dulu apa sebenarnya masalahnya, supaya Anda tidak menghabiskan berjam-jam menyetel model padahal masalahnya ada di tempat lain.

Anda melatih model, mengukurnya, dan hasilnya 92 persen. Angka itu bagus. Tapi pertanyaan yang sebenarnya adalah: apakah angka itu bisa dipercaya?

Cara membagi data menentukan jawabannya. Pembagian yang salah bisa menghasilkan angka yang jauh lebih tinggi daripada performa sebenarnya, dan celakanya Anda tidak akan menyadarinya sampai model dipakai di dunia nyata.

Artikel ini membahas cara membagi data dengan benar untuk berbagai jenis situasi, dari yang paling sederhana sampai teknik yang dipakai saat harus menyetel model sambil mengukurnya.

Setelah model selesai dilatih, muncul pertanyaan yang kelihatannya sederhana: modelnya bagus atau tidak? Jawabannya ternyata tidak sesederhana melihat satu angka.

Model dengan akurasi 99 persen bisa jadi sama sekali tidak berguna. Model dengan akurasi 70 persen bisa jadi sangat berharga. Semuanya tergantung masalah apa yang sedang diselesaikan dan kesalahan jenis apa yang paling merugikan.

Artikel ini membahas cara mengukur performa model dengan benar. Fokusnya bukan menghafal rumus, tapi memahami kapan memakai ukuran yang mana dan kenapa.

Banyak pemula mengira pekerjaan utama dalam machine learning adalah memilih algoritma yang tepat. Kenyataannya, sebagian besar waktu justru habis untuk membereskan data sebelum algoritma apa pun dijalankan. Proses membereskan itulah yang disebut preprocessing.

Artikel ini membahas setiap tahap preprocessing secara berurutan dengan bahasa sederhana. Tiap teknik dijelaskan dengan pola yang sama: apa masalahnya, kenapa itu jadi masalah, bagaimana solusinya, dan contoh kodenya.

Kita akan memakai satu dataset contoh yang sengaja dibuat berantakan, dan membereskannya bersama-sama dari awal sampai akhir.

Belajar machine learning sering terasa membingungkan karena banyaknya nama algoritma yang terdengar rumit. Padahal ide di balik sebagian besar algoritma itu sederhana dan bisa dijelaskan dengan analogi sehari-hari.

Artikel ini menjelaskan algoritma-algoritma yang paling sering dipakai, satu per satu, dengan pola yang selalu sama: analogi sederhana, cara kerjanya, kapan dipakai, data seperti apa yang cocok, kelebihan dan kekurangannya, lalu contoh kode yang bisa langsung dijalankan.

Semua kode di sini memakai dataset bawaan scikit-learn, jadi Anda tidak perlu mengunduh data apa pun untuk mencobanya.