Posts

Showing posts from August, 2021

Extraction

 Extraction Extract adalah proses memilih dan mengambil data dari satu atau beberapa sumber dan membaca/mengakses  data yang dipilih tersebut. Proses ini dapat menggunakan query, atau aplikasi ETL. Sebaiknya sebelum proses extract kita lakukan, akan lebih mudah jika user sudah mendefinisikan kebutuhan terhadap sumber data yang akan kita butuhkan. Terdapat beberapa fungsi ekstraksi data yaitu : ekstraksi data secara otomatis dari beberapa sumber penyaringan atau seleksi data hasil ekstraksi pengiriman data dari berbagai platform aplikasi ke sumber data perubahan format layuot data dari format aslinya penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain

Loading

 Loading loading merupakan proses tahap akhir dalam mengisi data warehouse. proses ini memuat data yang telah terseleksi dan membuat indeks yang diperlukan. terdapat dua metode untuk pemuatan data warehouse yaitu refresh atau menghidupkan kembali secara keseluruhan data pada data warehouse pada suatu periode interval dan update atau menuliskan data yang berubah disumber data, tidak ada proses menghapus disini. mode refresh umumnya digunakan saat pertama kli memuat data dalam data warehouse. sedangkan mode update digunakan saat pemeliharaan dan berjalannya data warehouse

Transformasi

 Transformasi Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Transformasi merupakan proses mengubah data dari format operasional menjadi format data warehouse. Cara Transformasi : terdapat 2 (dua) cara transformasi, yaitu : Fungsi Level Record , fungsi ini beroprasi pada sekumpulan record seperti file dan table melalui perintah selection, joining, normalization, dan aggreration. Fungsi Field Level , yaitu merubah data format dari suatu sumber record dalam format yang berbeda dalam record tujuan. fungsi ini mempunyai dua type yaitu Single Field dan Multi Field

Desain Data Warehouse dengan Star Schema, Snowflake Schema, dan Fact Constelling Schema

Image
 Desain Data Warehouse dengan Star Schema, Snowflake Schema, dan Fact Constelling Schema A. Star Schema B. Snowflake Schema C. Fact Constelling Schema

Fact Constellation

Image
 Fact Constellation Jika dalam satu skema terdapat beberapa table fakta yang saling berbagi table dimensi, ini mirip sekali dengan desain relational database, namun table fakta hanya menyimpan data yang akan diolah lebih lanjut di data mining atau OLAP Contoh Snowflake Schema

Snowflake Schema Dalam Data Warehouse

Image
 Snowflake Schema Dalam Data Warehouse Menurut Poniah (2010) Mode snowflake schema merupakan perluasan dari star dimana ia juga mempunyai satu atau lebih dimensi. hanya saja pasa snowflake, table yang berelasi pada fact table hanya table dimensi utama, sedangkan table yang lain dihubungkan [ada table dimensi utama, Model snowflake ini hampir sma seperti teknik normalisasi. Kelebihan dari skema keping salju   adanya normalisasi, tetapi dengan jumlah table yang lebih banyak skema ini kurang cocok digunakan untuk digunakan pada data warehouse yang melakukan transaksi data dengan jumlah besar karena proses akan menjadi lebih lambat dan memakan kapasitas data yang kebih boros. Contoh dari Skema Keping Salju (Snowflake Schema)

Star Schema dalam Data Warehouse

Image
 Star Schema dalam Data Warehouse Menurut Ponniah (2010) Skema ini mengikuti seperti bentuk bintang, dimana terdapat satu table fakta (fact table) dipusat bintang dengan beberapa table dimensi (dimensional table) yang mengelilinginya. semua table dimensi berhubungan langsung dengan table fakta. Primary key pada Table Dimensi akan menjadi Key pada Table Fakta atau dengan kata lain bahwa Table Fakta memiliki kombinasi key dari Table Dimensi. Kelebihan Skema Bintang : 1. Membutuhkan kapasitas yang relative lebih kecil karena hanya membutuhkan jumlah table yang lebih sedikit. 2. Mempercepat waktu table scan dalam melakukan eksekusi query. 3. Membutuhkan query yang lebih pendek karena hanya membutuhkan jumlah table yang tidak banyak. 4. Mudah untuk maintenance karena jumlah table tidak banyak. 5. Mempermudah proses ETL karena skema atau struktur yang lebih sederhana, terlebih jika proses ETL melibatkan data yang berkapasitas besar. Contoh Skema Bintang :

5 Langkah Terakhir dari Nine Step Methodology

Image
  MAKALAH Nine Step Methodology                   Disusun Oleh :   Nama : Putri Oktaria Maylanda NPM : 19312197         PROGRAM STUDI S1 INFORMATIKA FAKULTAS TEKNIK DAN ILMU KOMPUTER UNIVERSITAS TEKNOKRAT INDONESIA 202 1 Store Precalculations in the Fact Table Pada tahap ini, hasil perhitungan pada suatu atribut perlu dipertimbangkan untuk disimpan di  database . Hal ini untuk mengurangi risiko kesalahan pada program setiap kali melakukan perhitungan pada atribut-atribut tersebut. Gambar Ilustrasi Perhitungan Awal pada Tabel Fakta (Kimball & Ross, 2010) Round Out the Dimension Tables Dari dimensi-dimensi yang telah diidentifikasi, dibuat deskripsi yang memuat informasi terstruktur mengenai atribut-atribut pada tabel dimensi. Tabel dimensi tersebut harus diberi keterangan secara lengkap dan mudah dipahami oleh pengguna. Choose the Durations of the Database Dur...

4 langkah pertama dalam Nine Step Methodology

Image
  MAKALAH Nine Step Methodology                   Disusun Oleh :   Nama : Putri Oktaria Maylanda NPM : 19312197         PROGRAM STUDI S1 INFORMATIKA FAKULTAS TEKNIK DAN ILMU KOMPUTER UNIVERSITAS TEKNOKRAT INDONESIA 202 1 Choose the Process Memilih proses berarti menentukan subjek utama. Subjek utama merujuk pada suatu kegiatan bisnis perusahaan yang dapat menjawab semua pertanyaan bisnis yang penting serta memiliki ciri-ciri tertentu. Misalnya adalah proses penjualan Choose the Grain Memilih  grain  berarti menentukan apa yang akan diwakili atau dipresentasikan oleh sebuah tabel fakta. Setelah menentukan  grain  dari tabel fakta, selanjutnya dapat ditentukan tabel-tabel dimensi yang berhubungan dengan tabel fakta tersebut.  Grain  pada tabel fakta juga menentukan  grain  tabel dimensi. Pada kasus ini grain bisa diperoleh dari in...

Makalah Nine Step Methodology

Image
  MAKALAH Nine Step Methodology                   Disusun Oleh :   Nama : Putri Oktaria Maylanda NPM : 19312197         PROGRAM STUDI S1 INFORMATIKA FAKULTAS TEKNIK DAN ILMU KOMPUTER UNIVERSITAS TEKNOKRAT INDONESIA 202 1 Nine-Step Methodology Menurut Kimball (2010) metodologi perancangan Data Warehouse adalah  Nine-Step Methodology  yang memiliki 9 (sembilan) langkah yaitu :   1. Choosing The Process Pada tahapan ini untuk merancang data warehouse harus sesuai dengan kebutuhan. contoh : ketika ingin menganalisis penjualan yang berasal dari berbagai sumber yang berbeda atau dimensi, maka dari itu kita harus cermat dalam memilih proses mana yang ingin kita analisa.     2.   Choosing The Grain   Perancangan data model data warehouse itu juga harus sesuai atau berdasarkan dari table fakta dan dimensi, untuk itu ketika p...

Nine Step Methodology

 Nine-Step Methodology Menurut Kimball (2010) metodologi perancangan Data Warehouse adalah Nine-Step Methodology  yang memiliki 9 (sembilan) langkah yaitu : 1. Choosing The Process Pada tahapan ini untuk merancang data warehouse harus sesuai dengan kebutuhan. contoh : ketika ingin menganalisis penjualan yang berasal dari berbagai sumber yang berbeda atau dimensi, maka dari itu kita harus cermat dalam memilih proses mana yang ingin kita analisa. 2.   Choosing The Grain   Perancangan data model data warehouse itu juga harus sesuai atau berdasarkan dari table fakta dan dimensi, untuk itu ketika pemilihan sumber harus mengacu pada kemampuan untuk mempresentasikan fakta-fakta yang diambil dari berbagai sumber dimensi pada OLTP. Contoh : sales_order_fact adalah menggambarkan rincian customer secara detail. Jadi tahap ini sangat penting karena akan mempengaruhi seperti apa nanti hasil dari data warehouse yang akan mudah untuk pengambilan keputusan 3. Identifying and Conform...

Kebutuhan Data Warehouse

 Kebutuhan Data Warehouse Prinsip kebutuhan Data Warehouse muncul dari bisnis, bukan kemajuan teknologi. ada 4 kebutuhan data warehouse secara singkat Kebutuhan bisnis = hal penting untuk semua fase pembangunan Kebutuhan bisnis => fase rancang data Komponen arsitektur DW (Data Warehouse) mempengaruhi kebutuhan bisnis Data Quality = penting Spesifikasi penyimpanan data di tentukan oleh kebutuhan bisnis Mekanisme infromation delivery <= kebutuhan bisnis

Arsitektur Data Warehouse

Image
 Arsitektur Data Warehouse Data Warehouse menurut bapak database yaitu Bill Inmon menyatakan bahwa database memiliki 6 sifat utama yaitu berorientasi objek, data terintegrasi, berorientasi pada proses, adanya perbedaan waktu,dapat diakses atau digunakan, tidak mudah tersebar. Setelah adanya 6 sifat itu, Ralph Kimball menambahkan bahwa data warehouse berfungsi mengumpulkan data dari sumber-sumber transaksional (OLTP) untuk kebutuhan query dan Analisa data (OLAP).             OLTP atau On Line Transactional Processing bertujuan untuk memproses data-data transaksi yang dilakukan, sedangkan OLAP atau On Line Analytical Processing bertujuan untuk membuat query dan membuat Analisa data dengan memperhatikan historis dari suatu data tersebut. Arsitektur data warehouse adalah konsep atau pondasi dasar untuk membuat suatu database, ada 3 jenis arsitektur data warehouse yaitu sebagai berikut. a.         ...