23 posts tagged with "data science"

Machine learning berdiri di atas statistika. Anda bisa menjalankan model.fit() tanpa memahami satu pun rumus statistik, tapi Anda tidak akan bisa menjawab pertanyaan-pertanyaan yang muncul setelahnya.

Apakah selisih skor 0,03 antara dua model itu nyata atau cuma keacakan? Kenapa median lebih baik daripada rata-rata untuk mengisi sel kosong? Kalau model bilang seseorang punya risiko tinggi, seberapa besar sebenarnya peluangnya? Semua itu pertanyaan statistik.

Artikel ini membahas dasar-dasar yang benar-benar terpakai. Tidak ada bukti matematis, tidak ada turunan rumus. Fokusnya pada memahami maksudnya dan tahu kapan konsep itu berlaku.

Anda selesai membangun model. Skornya bagus. Anda presentasikan ke atasan atau klien, dan pertanyaan pertama yang muncul hampir selalu sama:

"Kenapa modelnya memutuskan begitu?"

Kalau jawaban Anda hanya "karena hasil pelatihannya begitu", model itu kemungkinan besar tidak akan dipakai. Di banyak bidang seperti perbankan, asuransi, dan kesehatan, ketidakmampuan menjelaskan bahkan bisa membuat model dilarang dipakai secara hukum.

Artikel ini membahas tiga alat utama untuk membuka isi model: permutation importance, partial dependence plot, dan SHAP. Ketiganya bekerja pada model apa pun, termasuk yang paling rumit sekalipun.

Dari semua konsep teori dalam machine learning, ini yang paling langsung terpakai sehari-hari.

Alasannya sederhana. Setiap kali model Anda tidak sesuai harapan, ada dua kemungkinan penyebab yang menuntut tindakan berlawanan. Salah mendiagnosis berarti Anda akan memperbaiki dengan cara yang justru memperburuk keadaan.

Artikel ini menjelaskan dua sumber kesalahan itu, cara mengenalinya dari angka yang Anda lihat sehari-hari, dan tindakan apa yang tepat untuk masing-masing.

Anda sudah punya model yang jalan, skornya 0,82. Pertanyaan berikutnya selalu sama: bagaimana cara membuatnya lebih baik?

Jawaban yang paling sering terpikir adalah menyetel pengaturan model. Itu memang salah satu jalannya, tapi bukan satu-satunya, dan sering bukan yang paling efektif.

Artikel ini membahas dua hal yang saling melengkapi. Pertama, cara menyetel pengaturan model secara sistematis, dari yang paling sederhana sampai yang paling efisien. Kedua, dan ini yang sering dilewati, cara mendiagnosis dulu apa sebenarnya masalahnya, supaya Anda tidak menghabiskan berjam-jam menyetel model padahal masalahnya ada di tempat lain.

Anda melatih model, mengukurnya, dan hasilnya 92 persen. Angka itu bagus. Tapi pertanyaan yang sebenarnya adalah: apakah angka itu bisa dipercaya?

Cara membagi data menentukan jawabannya. Pembagian yang salah bisa menghasilkan angka yang jauh lebih tinggi daripada performa sebenarnya, dan celakanya Anda tidak akan menyadarinya sampai model dipakai di dunia nyata.

Artikel ini membahas cara membagi data dengan benar untuk berbagai jenis situasi, dari yang paling sederhana sampai teknik yang dipakai saat harus menyetel model sambil mengukurnya.

Setelah model selesai dilatih, muncul pertanyaan yang kelihatannya sederhana: modelnya bagus atau tidak? Jawabannya ternyata tidak sesederhana melihat satu angka.

Model dengan akurasi 99 persen bisa jadi sama sekali tidak berguna. Model dengan akurasi 70 persen bisa jadi sangat berharga. Semuanya tergantung masalah apa yang sedang diselesaikan dan kesalahan jenis apa yang paling merugikan.

Artikel ini membahas cara mengukur performa model dengan benar. Fokusnya bukan menghafal rumus, tapi memahami kapan memakai ukuran yang mana dan kenapa.

Banyak pemula mengira pekerjaan utama dalam machine learning adalah memilih algoritma yang tepat. Kenyataannya, sebagian besar waktu justru habis untuk membereskan data sebelum algoritma apa pun dijalankan. Proses membereskan itulah yang disebut preprocessing.

Artikel ini membahas setiap tahap preprocessing secara berurutan dengan bahasa sederhana. Tiap teknik dijelaskan dengan pola yang sama: apa masalahnya, kenapa itu jadi masalah, bagaimana solusinya, dan contoh kodenya.

Kita akan memakai satu dataset contoh yang sengaja dibuat berantakan, dan membereskannya bersama-sama dari awal sampai akhir.

Belajar machine learning sering terasa membingungkan karena banyaknya nama algoritma yang terdengar rumit. Padahal ide di balik sebagian besar algoritma itu sederhana dan bisa dijelaskan dengan analogi sehari-hari.

Artikel ini menjelaskan algoritma-algoritma yang paling sering dipakai, satu per satu, dengan pola yang selalu sama: analogi sederhana, cara kerjanya, kapan dipakai, data seperti apa yang cocok, kelebihan dan kekurangannya, lalu contoh kode yang bisa langsung dijalankan.

Semua kode di sini memakai dataset bawaan scikit-learn, jadi Anda tidak perlu mengunduh data apa pun untuk mencobanya.

Pandas adalah library Python yang digunakan untuk mengolah, menganalisis, membersihkan, dan memanipulasi data. Pandas sangat populer dalam Data Science, Machine Learning, analisis data, dan pengolahan dataset.

Dokumen ini menjelaskan cara kerja Pandas dari konsep dasar sampai alur pengolahan data yang umum digunakan.

1. Pengantar Machine Learning​

Machine Learning (ML) adalah cabang dari Artificial Intelligence (AI) yang berfokus pada pengembangan algoritma statistik.

Algoritma Machine Learning belajar dari data untuk menemukan pola dan melakukan generalisasi terhadap data baru tanpa harus diprogram secara eksplisit untuk setiap kemungkinan.

Secara umum, Machine Learning terbagi menjadi dua kategori utama: