SELAMAT DATANG KE LAMAN WEB DATA RAYA SEKTOR AWAM

Memuat Turun Laman Web. Sila Tunggu

Tip untuk hari ini..

DYNAWEB4 sesuai digunakan untuk pembangunan portal dan aplikasi web dengan cepat dan mudah

Metodologi

677 views

Pengenalan

Bab ini menerangkan tentang metodologi yang digunakan untuk melaksanakan analitis data raya.


Pembangunan Metodologi

Metodologi pelaksanaan analitis data raya berbeza dengan pendekatan pembangunan sistem. Metodologi DRSA dibangun dan diadaptasi daripada lima (5) kaedah yang berikut:

  1. Harvard CS109: Data Science Process
    Menyediakan aliran proses bagi peringkat umum untuk melaksanakan analisis eksplorasi dan sains data yang merupakan asas kepada metodologi ini.
  2. Cross Industry Standard Practice for Data Mining (CRISP- DM)
    Mengenal pasti aliran proses umum bagi serahan projek untuk bidang pembelajaran mesin dan perlombongan data yang merupakan proses utama kepada metodologi ini.
  3. National Institute of Standards and Technology Big Data Interoperability Framework (NBIF)
    Mendefinisikan standard bagi menerangkan dan mendokumentasi kes bisnes (business case) dan keperluan data raya.
  4. DataOps
    Metodologi berorientasikan proses automatik untuk meningkatkan kualiti dan mengurangkan masa kitaran analisis data yang menjadi asas kepada penekanan kaedah tangkas (agile) dalam metodologi ini.
  5. Accelerating Digital Transformation: The ADiBA™ Big Data Adoption and Implementation Framework
    Merupakan kerangka analitis data raya yang mentransformasi organisasi ke arah berpacukan data dan merangkumi proses dari hujung ke hujung, termasuk langkah-langkah, garis panduan dan instrumen yang boleh digunapakai oleh organisasi.


Metodologi Analitis DRSA
Metodologi Analitis DRSA menekankan empat (4) prinsip DataOps iaitu ketangkasan, kebolehpercayaan, keteguhan dan inovasi bagi memastikan pelaksanaan analitis data raya dapat dilaksanakan dengan lebih pantas.

Metodologi Analitis DRSA mempunyai sembilan (9) peringkat pelaksanaan seperti Rajah 4, iaitu Pemahaman Perkhidmatan/Bisnes, Definisi Keperluan, Penyediaan Data, Pemodelan dan Penilaian, Pembangunan Produk Data, Pelepasan, Transisi ke Produksi, Pengoperasian dan Pemantauan.

Rajah Metodologi Analitis DRSA

  1. Peringkat 1 dan 2 (Pemahaman Perkhidmatan dan Definisi Keperluan) melibatkan proses mengenal pasti penyataan masalah dan kes perkhidmatan agensi yang perlu diselesaikan dengan menggunakan kaedah analitis data raya. Penyataan masalah hendaklah jelas. Khidmat nasihat dan komitmen SME agensi amat penting dan diperlukan pada peringkat ini. Permasalahan atau soalan yang ingin dijawab boleh diperolehi daripada kumpulan pengguna, pekerja barisan hadapan yang bertugas di lapangan, pengurusan tertinggi organisasi atau kakitangan yang berhadapan dengan situasi yang memerlukan pembuatan keputusan berdasarkan data.
  2. Peringkat 3 (Penyediaan Data) melibatkan proses mengenal pasti tahap ketersediaan dan kualiti data bagi menghasilkan analisis yang tepat. Ketidakcukupan data akan mengakibatkan penyelesaian bagi penyataan masalah sukar diperolehi atau kurang tepat.
  3. Peringkat 4 (Pemodelan dan Penilaian) melibatkan proses pembangunan model analisis. Kemahiran sains data diperlukan bagi memastikan model analisis yang tepat dihasilkan.
  4. Peringkat 5 (Pembangunan Produk Data) melibatkan penghasilan paparan dalam bentuk papan pemuka atau pun pembangunan aplikasi yang mengguna pakai model analisis yang dihasilkan.
  5. Peringkat 6 (Pelepasan) melibatkan pelepasan produk data untuk pengujian fungsi dan pengujian penerimaan pengguna sebelum produk data dilancarkan bagi memastikan tahap kualiti produk memenuhi objektif yang dikenal pasti di peringkat 1 dan 2.
  6. Peringkat 7 (Transisi ke Produksi) melibatkan proses pemindahan produk data ke persekitaran produksi dan pelancaran produk data kepada pengguna.
  7. Peringkat 8 (Pengoperasian) melibatkan proses pengautomasian pelepasan produk data, pengesanan isu dan pembinaan versi produk data yang lebih baik agar proses pembangunan produk data yang berterusan dapat dijalankan secara efisien.
  8. Peringkat 9 (Pemantauan) melibatkan proses memantau, mengawasi dan mengatur usaha atau tindakan bagi menambah baik produk data sedia ada atau penghasilan produk baharu supaya memenuhi keperluan perkhidmatan.

Kitaran metodologi ini melibatkan integrasi dan implementasi berterusan bagi memastikan produk data yang dibangunkan sentiasa berupaya membantu menjawab soalan perkhidmatan/bisnes yang ditetapkan.


Penerangan Aktiviti Metodologi Analitis DRSA



Peringkat 1: Pemahaman Perkhidmatan/ Bisnes

Peringkat ini memberi tumpuan untuk mengenal pasti pemegang taruh, memahami fungsi dan operasi perkhidmatan, memahami kehendak pelanggan dan mengenal pasti peluang daripada data sedia ada dan baharu yang berfaedah untuk perkhidmatan. Pemahaman ini membolehkan soalan-soalan yang sesuai dirangka bagi meningkatkan keberkesanan perkhidmatan yang memberi impak positif kepada organisasi. Aktiviti dan output peringkat Pemahaman Perkhidmatan/Bisnes seperti dalam Jadual 3.

Jadual 3: Pemahaman Perkhidmatan/Bisnes


BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Mengenal pasti objektif perkhidmatan/ bisnes
  1. Latar belakang perkhidmatan
  2. Objektif perkhidmatan / bisnes
  3. Peluang penambahbaikan
  4. Pemegang taruh
  5. Terminologi / takrifan
 Dokumen Spesifikasi Keperluan Perkhidmatan (MAMPU-DRSA-P01)
2.Mengkaji dan menilai senario sedia ada
  1.  Sumber sedia ada
3. Mengenal pasti penyataan masalah
  1. Penyataan masalah
  2. Golongan sasar
  3. Impak kepada perkhidmatan




Peringkat 2 : Definisi Keperluan

Peringkat ini menumpukan kepada mendefinisi dan mendokumenkan skop kerja, keperluan perkhidmatan, keperluan pengguna dan keperluan sistem. Semua aktiviti di peringkat ini menjurus kepada kajian keperluan. Dokumen Spesifikasi Keperluan Perkhidmatan (Business Requirement Specification-BRS) adalah dokumen utama yang perlu dihasilkan di peringkat ini. Dokumen ini mengandungi maklumat mengenai perincian soalan yang perlu dijawab, data yang akan digunakan, jenis analitis dan teknik yang akan diguna pakai, senarai ahli pasukan termasuk SME dan lain-lain maklumat. Memandangkan dokumen ini adalah amat penting sebagai rujukan utama projek, ianya perlu dibangunkan dengan teliti dan biasanya melalui beberapa kitaran penambahbaikan sebelum dimuktamadkan. Aktiviti dan output peringkat Definisi Keperluan adalah seperti dalam Jadual 4.

Jadual 4: Definisi Keperluan

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Mengenal pasti kes perkhidmatan
  1. Definisi objektif perkhidmatan
  2. Soalan perkhidmatan
  3. Matlamat analisis data
  4. Kriteria penerimaan analitis
 Dokumen Spesifikasi Keperluan Perkhidmatan (MAMPU-DRSA- P01)
2.Mendokumentasi keperluan
  1.  Spesifikasi keperluan perkhidmatan



Peringkat 3 : Penyediaan Data

Peringkat ini melibatkan aktiviti perolehan, pengumpulan dan eksplorasi data sedia ada bagi mendapat pemahaman yang lebih baik, mengenal pasti keperluan bagi pembersihan data, mengenal pasti peluang bagi pemerkayaan data iaitu mengenal pasti data lain yang dapat meningkatkan kualiti analitis, dan mengenal pasti analisis yang boleh dibuat ke atas data tersebut. Data yang dikenal pasti mungkin berada di sumber dalaman organisasi seperti pangkalan data aplikasi atau perlu diperolehi dari sumber luar seperti agensi lain, data terbuka atau laman web. Terdapat kemungkinan data terpaksa dibeli dari pihak ketiga seperti data media sosial. Data daripada internet benda (internet of things) juga dapat dijadikan salah satu sumber data yang berpotensi untuk diteroka. Data juga berkemungkinan perlu dikutip dari lapangan kerana belum wujud di dalam organisasi. Pengutipan data ini mungkin melibatkan satu projek berlainan dan kebergantungan ini perlu diambil kira dalam merancang dan melaksanakan projek analitis data raya.

Setelah data diperolehi (sama ada keseluruhan atau subset data), eksplorasi data iaitu kajian terhadap data tersebut perlu dilakukan untuk mendapatkan pemahaman tentang kualiti data, corak data dan mengenal pasti kelainan yang wujud dalam data. Antara terma yang biasa dipakai bagi aktiviti ini ialah Analisis Data Penerokaan (EDA). Subset data boleh digunakan bagi tujuan eksplorasi, namun bagi pembangunan model, saiz dan representatif data yang bersesuaian diperlukan. Kaedah pembelajaran mesin boleh digunakan pada peringkat ini bagi menghasilkan set data yang lengkap dan tepat.

Kualiti data yang diperolehi dapat disahkan apabila data mencukupi, mempunyai atribut (lajur dan baris) yang dikehendaki, mempunyai julat nilai yang betul bagi setiap atribut dan sebagainya.

Berdasarkan pemahaman terhadap data yang telah diperolehi, cadangan data tambahan boleh dipertimbangkan bagi memperkayakan analitis. Sekiranya terdapat data tambahan, dokumen spesifikasi yang disediakan dalam Peringkat 2 perlu dikemas kini.

Peringkat 3 melibatkan proses kerja yang berulang sehingga set data dapat digunakan untuk menjawab soalan perkhidmatan/ bisnes. Aktiviti dan output peringkat Penyediaan Data adalah seperti dalam Jadual 5.

Jadual 5: Penyediaan Data

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Mengenal pasti data
  1. Katalog data
 Dokumen Penyediaan Data, Pemodelan dan Penilaian Model (MAMPU- DRSA-P02)
2. Mengumpul, menerangkan dan memahami data
  1. Sampel data
  2. Keterangan data
  3. Skema data
3. Mengeksplorasi dan mengesahkan kualiti data
  1. Laporan kualiti data
4. Memilih, membersih, menyedia dan mengintegrasi data
  1. Set data



Peringkat 4 : Pemodelan dan Penilaian

Peringkat 4 melibatkan pembangunan model bagi menghasilkan keputusan yang boleh menjawab soalan di Peringkat 2. Terdapat pelbagai teknik, algoritma dan peralatan (tools) yang boleh digunakan, bergantung kepada keperluan soalan.

Model yang sesuai perlu dipilih berdasarkan jenis analitis yang hendak dilaksanakan. Beberapa model perlu diuji untuk mengenal pasti model yang terbaik. Kaedah validasi yang digunakan juga perlu dinyatakan.

Jika hasil penilaian model adalah tidak memuaskan, Peringkat 3 perlu disemak dan dilaksanakan semula untuk mendapatkan set data yang lebih sesuai. Sekiranya masih gagal, kes perkhidmatan/ bisnes, objektif perkhidmatan/ bisnes dan soalan perkhidmatan/ bisnes di Peringkat 2 perlu disemak semula kerana data dan model sedia ada tidak dapat memberikan keputusan analitis pada tahap kebolehpercayaan yang dikehendaki. Sekiranya terdapat perubahan kepada mana-mana elemen dalam dokumen Spesifikasi Keperluan Perkhidmatan berdasarkan semakan semula ini, maka ianya perlu dikemas kini. Aktiviti dan output peringkat Pemodelan dan Penilaian adalah seperti dalam Jadual 6.

Jadual 6: Pemodelan dan Penilaian

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Memilih teknik pemodelan
  1. Model yang dipilih
  2. Andaian bagi model
 Dokumen Penyediaan Data, Pemodelan dan Penilaian Model (MAMPU-DRSA-P02)
2. Membangunkan reka bentuk ujian
  1. Prosedur pengujian model
3. Membina model
  1. Model analitis
4. Menguji dan menilai model
  1. Laporan penilaian model



Peringkat 5 : Pembangunan Produk Data

Model analisis yang dibangunkan biasanya bukanlah output akhir sesuatu analisis. Pemegang taruh memerlukan medium perantaraan untuk mengakses atau mengguna model tersebut. Pada peringkat ini, pembangunan produk data yang terdiri daripada visualisasi papan pemuka, perisian pelaporan, aplikasi berpacukan data seperti aplikasi mudah alih atau sistem pakar perlu dihasilkan. Bagi memastikan kesinambungan dan ketekalan penggunaan produk data, integrasi data daripada sumber data amat diperlukan.

Metodologi pembangunan sistem boleh digunakan pada peringkat ini untuk membangunkan komponen produk data yang berbentuk sistem iaitu melibatkan fasa reka bentuk, pembangunan, pengujian dan pelancaran mengikut metodologi kitar hayat pembangunan perisian yang sesuai seperti tangkas (agile), pemprototaipan dan lain-lain. Aktiviti dan output peringkat Pembangunan Produk Data adalah seperti dalam Jadual 7.

Jadual 7: Pembangunan Produk Data

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Mereka bentuk produk data
  1. Dokumen reka bentuk produk data
 Dokumen Reka Bentuk Produk Data (MAMPU-DRSA-P03)
2. Membangun produk data
  1. Produk data
3. Menguji dan menilai produk data
  1. Laporan pengujian produk
 Dokumen Reka Bentuk Produk Data (MAMPU-DRSA-P03)



Peringkat 6: Pelepasan

Fasa pelepasan merupakan fasa berlakunya pelepasan produk data yang telah dibangunkan ke atas platform pemeringkatan. Fasa ini adalah kritikal kerana ia merupakan peringkat terakhir untuk penyemakan dan pengujian dari segi kelemahan produk data sebelum ke peringkat transisi ke produksi.

Platform pemeringkatan sebaiknya mempunyai segala keperluan untuk pembangunan produk data seperti perisian, kod pengaturcaraan dan kelengkapan lain sebagaimana persekitaran pembangunan.

Dalam platform pemeringkatan ini, segala hasil kerja pembangunan produk data digabungkan dan pengujian semula perlu dilakukan sebagai langkah jaminan mutu.

Saluran data yang telah dihasilkan juga boleh dilihat dan disemak semula. Pergerakan saluran data perlu dijadual secara berkala bagi memudahkan pengesanan titik kegagalan agar penambahbaikan produk data dapat dilaksanakan. Aktiviti dan output peringkat pelepasan adalah seperti dalam Jadual 8.

Jadual 8: Pelepasan

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Mengenal pasti versi setiap proses pembangunan produk data yang akan dipindah ke platform pemeringkatan dan direkodkan dengan teratur
  1. Versi Extract-Load-Tranform (ELT)/ETL
  2. Versi produk data
 Dokumen bersesuaian yang diguna pakai di agensi
2. Merekodkan pelepasan ke platform pemeringkatan
3. Menilai setiap pelepasan dan menjana laporan untuk menambah baik versi masa hadapan
  1. Laporan prestasi versi



Peringkat 7 : Transisi ke Produksi

Produk data yang telah melepasi ujian penerimaan pengguna dan fungsi akan dipindahkan ke produksi. Penjadualan dan automasi untuk proses analisis dikonfigurasi pada peringkat ini. Sekiranya produk data hendak ditempatkan di luar premis agensi, contohnya di platform DRSA, PDSA atau pengkomputeran awan, maka perancangan dan perolehan sumber-sumber ini perlu dilakukan lebih awal. Aktiviti dan output peringkat Transisi ke Produksi adalah seperti dalam Jadual 9.

Jadual 9: Transisi ke Produksi

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Menyediakan pelan bagi pemindahan ke produksi
  1. Pelan pemindahan ke produksi
 Dokumen bersesuaian yang diguna pakai di agensi
2. Memindahkan produk data
  1. Pengautomasian proses analisis
  2. Pengoperasian produk data di persekitaran produksi
3. Menilai setiap pelepasan dan menjana laporan untuk menambah baik versi masa hadapan
  1. Menguji persekitaranproduksi
  2. Laporan pengujian akhir



Peringkat 8 : Pengoperasian

Peringkat pengoperasian terdiri daripada aktiviti mengoperasikan produk data dan mengesan isu pengoperasian bagi membantu menambah baik produk data akan datang. Aktiviti dan output peringkat ini adalah seperti dalam Jadual 10.

Jadual 10: Pengoperasian

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Memastikan integrasi data, pemprosesan data dan produk data dapat berfungsi dengan baik
  1. Automasi integrasi data
  2. Automasi model
  3. Automasi pelepasan
  4. Automasi pemantauan
 Dokumen bersesuaian yang diguna pakai di agensi.



Peringkat 9 : Pemantauan

Penggunaan produk data perlu dipantau bagi memastikan keberkesanan, kestabilan dan kemampuan memenuhi keperluan perkhidmatan. Pemantauan ini adalah berpandukan kepada pelan pemantauan yang ditetapkan oleh organisasi. Sebarang potensi penambahbaikan dan peningkatan akan direkodkan bagi perancangan kitaran pembangunan pada masa hadapan iaitu bermula dari Peringkat 1 sebagai projek baharu atau penambahbaikan produk data sedia ada. Produk data hendaklah digunakan oleh pemegang taruh bagi membantu dalam perancangan dan membuat keputusan. Aktiviti dan output peringkat Pemantauan seperti dalam Jadual 11.

Jadual 11 : Pemantauan

BIL. AKTIVITI OUTPUT DOKUMEN TEKNIKAL
1. Pelan bagi aktiviti pemantauan
  1. Pelan pemantauan
 Dokumen bersesuaian yang diguna pakai di agensi.
2. Melaksanakan pemantauan
  1. Laporan pemantauan
QR code
  • Seksyen Data Raya,
    Bahagian Kerajaan Digital, Jabatan Digital Negara
    Aras 4, Blok B, No. 3200, Bangunan MKN-Embassy
    Techzone, Jalan Teknokrat 2, 63000 Cyberjaya
    Selangor Darul Ehsan
  • 03 8000 8000
  • bda@mampu.gov.my
PAUTAN PANTAS
STATISTIK PELAWAT
  • Hari Ini : 14
  • Minggu Ini : 174
  • Bulan Ini : 764
  • Tahun Ini : 56,617
  • Jumlah : 1,361,770
Penafian Dasar Privasi Dasar Keselamatan
Kemaskini : 21 November 2024
TOP