Komponen dan Fitur Data Waehouse

Data Warehouse

Sejarah singkat Data Warehouse

Data Warehouse berguna bagi pengguna untuk memahami dan miningkatlan organisasi mereka. Seiring berjalannya waktu kebutuhan untuk menyimpan data berkembang dengan pesat, sistem komputer menjaadi lebih kompleks dan diperlukan teknologi untuk menangani meningkatnya jumlah informasi.

Beberapa Peristiwa penting dalam perkembangan Data Warehouse :
  • 1960 - Dartmouth dan General Mills dalam sebuah proyek penelitian bersama, mengembangkan dimnsi syarat dan fakta.
  • 1970 A Nielsen dan IRI memperkenalkan Data Mart untuk penjualan ritel.
  • 1983 - Tera Data Corporation memperkenalkan database management system (DBMS) yang khusus dirancang untuk mendukung keputusan.
  • Teknologi Data Warehousing pertama kali digunakan pada akhir 1980 an ketika pelajar IBM Paul Murphy dan Barry Devlin mengembangkan Bisnis Penyimpanan data.

Pengertian Datawarehouse 

Data Warehouse adalah penyipanan elektronik dalam jumlah besar informasi dengan bisnis yang di rancang untuk query analisis.

Data Warehouse berfungsi sebagai repositori utama di mana informasi datang dari satu atau lebih sumber data. Data mengalir ke dalam gudang data , misalnya data di dapat dari sistem transaksional dan database relasional lainnya dan disimpan ke dalam gudang data.
Data yang masuk dapat:
  1. Terstruktur
  2. Semi-terstruktur
  3. Tidak terstruktur
Setelah itu Data akan melalui phase pengolahan data, pengubahan, dan perncernaan sehingga pengguna dapat mengakses data yang diolah dalam storage dengan menggunakan alat bantuan seperti :Business Intelligence, SQL client, dan spreadsheet. Teknologi ini menggabungkan informasi dari sumber yang berbeda ke dalam satu basis data yang komprehensif.
Dengan menggabungkan semua informasi ini dalam satu tempat, organisasi dapat menganalisis pelanggan lebih holistik. Hal ini membantu untuk memastikan bahwa ia telah mempertimbangkan semua informasi yang tersedia. Data Warehousing membuat data mining menjadi mungkin. Data Mining dilakukan dengan cara melihat pola dalam data yang dapat menyebabkan penjualan dan keuntungan yang lebih tinggi.

Tiga jenis Data Warehouse

1.Enterprise Data Warehouse:

Enterprise Data Warehouse adalah penyimpanan terpusat. ia akan menyediakan layanan pendukung keputusan di seluruh perusahaan. Ia akan mengelola semua data dan merepresentasikannya. Enterprise Gudang Data juga menyediakan kemampuan untuk mengklasifikasikan data sesuai dengan subjek dan menyediakan akses sesuai dengan divisi.

2.Operational Data Storage:

Operational Data Store, yang juga disebut ODS, ODS dibutuhkan untuk kebutuhan report perusahaan, Gudang Data jenis ini akan di-refresh secara real time. Oleh karena itu jenis ini lebih disukai untuk kegiatan rutin seperti menyimpan catatan karyawan.

3.Data Mart:

data mart adalah bagian dari data warehouse. Data Mart dirancang khusus untuk bagian tertentu bisnis, seperti penjualan, keuangan. Data Mart dapat mengumpulkan data langsung dari sumbernya.


Komponen dari data warehouse


  • Database

ini adalah komponen terpenting dari ruang lingkup data warehousing. semua data yang didapat dari berbagai sumber akan disimpan di dalam Database.

  • Sourcing, Acquisition, Cleanup and Transformation Tools

Data Source, Transformation, dan migration tools digunakan untuk melakukan semua konversi, ringkasan, dan semua perubahan yang diperlukan untuk mengubah data menjadi format utuh di gudang data. Mereka juga disebut Extract, Transform and Load Tools (ETL) Tools.

  • metadata

Meta Data dipakai di beberapa konsep teknologi tingkat tinggi. Namun, ini cukup sederhana. Metadata adalah data tambahan tentang suatu data seperti kapan data itu masuk, size, dll . Ini digunakan untuk membangun, memelihara, dan mengelola gudang data.

Dalam Arsitektur Data Gudang, meta-data memainkan peran penting karena menentukan sumber, penggunaan, nilai, dan gudang data fitur. Ini juga mendefinisikan bagaimana data dapat ditransformasikan dan diproses.

  • Query tools

Salah satu kegunaan utama data warehouse adalah memberikan informasi kepada bisnis untuk membuat keputusan strategis. Query tools memungkinkan pengguna untuk berinteraksi dengan sistem data warehouses.

Fungsi mereka meliputi:

  • Menganonimkan data sesuai ketentuan peraturan.
  • Menghilangkan data yang tidak diinginkan dalam database operasional
  • Cari dan ganti nama dan definisi umum untuk data yang datang dari berbagai sumber.
  • Menghitung ringkasan dan data turunan
  • Jika ada data yang hilang, isilah dengan default.
  • De-duplikasi data berulang yang datang dari berbagai sumber data.

Karakteristik data warehouse

Subject-Oriented

Data Warehouse menggunakan prinsip subject-oriented dan menawarkan informasi sesuai dengan tema yang merujuk pada operasi perusahaan. misalnya penjualan, pemasaran, distribusi, dll

Data warehouse tidak pernah fokus pada operasi yang sedang berlangsung. Sebaliknya, ia menekankan pada pemodelan dan analisis data untuk pengambilan keputusan.Prinsip ini memungkinkan sistem untuk mengambil data yang spesifik dan mengabaikan data yang tidak mendukung proses pengambilan keputusan.

Intergrations

Dalam Data Warehouse, Intergration berarti penggabungan beberapa data yang sama yang berasalh dari database yang berbeda. Data juga perlu disimpan dalam lokasi yang tempat yang bisa di akses semua pengguna.

Data warehouse dikembangkan untuk mengintegrasikan data dari berbagai sumber seperti mainframe, relational database, flat file, dll Selain itu, sehingga penamaan dari semua data tersebut harus konsisten.

Integrasi ini membantu agar analisis data menjadi lebih efektif. Konsistensi dalam konvensi penamaan bisa dilakukan terhadap atribut,ukuran,struktur, dll.

variasi waktu

zona waktu dalam gudang data lebih luas jika dibandingkan dengan sistem operasi. Data yang dikumpulkan dalam data warehouse memiliki atribut waktu tertentu yang nantinya akan di delivery berdasarkan historynya. Ini berisi unsur waktu, secara eksplisit maupun implisit.

Satu tempat di mana varians waktu dalam Datawarehouse berguna adalah ketika kita akan menampilkan data yang terkait dalam struktur record key. Masing-masing kunci yang terkandung dalam DW harus memiliki elemen waktu, baik secara implisit maupun eksplisit. Seperti hari, bulan, minggu, dll

bersifat tetap Non-volatile(tidak bisa dihapus)

Data Warehouse bersifat tetap dan tidak dapat dihapus, jika kamu memasukan data baru maka data yang lama tidak dihapus.

Data bersifat read-only dan periodicall refresh. Hal ini juga membantu untuk menganalisis data historis dan memahami apa dan kapan itu terjadi. Tidak memerlukan proses pertukaran, restored dan concurrency control mechanisms.

Kegiatan seperti menghapus, update, dan insert dilakukan di lingkungan aplikasi saja dan diabaikan di dalam lingkungan gudang data. Hanya ada dua jenis operasi data dilakukan dalam Data Warehouse

Data loading
Data access

Proses utama dari data warehouse

Data Warehousing terdiri dari empat komponen yaitu:

Load Manager: Load Manager juga disebut sebagai komponen depan. dia mengerjakan semua operasi yang berhubungan dengan ekstraksi dan pemuatan data ke dalam Warehouse. Operasi ini termasuk mempersiapkan data agar data tersebut bisa masuk ke dalam Gudang Data. jadi komponen ini bisa disebut juga sebagai tempat pengolahan data

Warehouse Manager: Warehouse Manager melakukan operasi yang berhubungan dengan manajemen data di gudang. Ia melakukan operasi seperti analisis data untuk memastikan konsistensi dari data yang disimpan. membuat indeks dan views,transformasi dan menata sumber data serta mengarsipkan data dan melakukan backup.

Query Manager: Query manager juga dikenal sebagai komponen backend. Yang melakukan semua operasi yang berhubungan dengan operasi pengelolaan permintaan user. oprasi ini akan melakukan permintaan langsung ke table yang tepat untuk mengksekusi query.

end-user access tools: operasi ini akan membantu user untuk melakukan manipulasi data yang ada di dalam gudang.Ini dikategorikan menjadi lima kelompok yang berbeda yaitau: Data Reporting,Query Tools, Application Development Tools,IES Tools,OLAP Tools,Data Mining Tools

Comments

Post a Comment

Popular posts from this blog

Quiz Desain Pengalaman Pengguna - Putri Oktaria Maylanda

Image
 Quiz Desain Pengalaman Pengguna Aplikasi Pengingat Untuk Olahraga dan Menjaga Pola Makan      Melihat kondisi saat ini bisa di bilang kita hidup di tengah virus covid-19. Dengan kondisi seperti ini kita perlu menjaga kesehatan dengan benar, tidak sedikit orang yang kesehatannya berkurang saat ini ntah itu disebabkan oleh virus covid-19 atau bukan, bahkan banyak isu yang mengatakan bahwa yang sakit seperti (Flu, demam dan lain sebagainya) malah dikatakan terkena virus covid-19 oleh karena itu kita sangat perlu mengontrol pola makan kita dan tidak lupa untuk berolahraga.      Saya melihat beberapa aplikasi untuk olahraga dan mengontrol pola makan tetapi menurut saya kurang efektif dalam mengingatkan penggunanya. saya menginginkan sebuah aplikasi dimana pengguna bisa di ingatkan untuk olahraga dan mengontrol pola makan seperti halnya alarm.  BIODATA USER PERSONA : DOCUMENTASI :  USER JOURNEY :  Alamat Blog Dosen :  https://qadhliadr...
Read more

Contoh Tamplate Dokumentasi Pengujian Perangkat Lunak

Image
  Dokumentasi Pengujian Perangkat Lunak Nama : Putri Oktaria Maylanda NPM : 19312197 Kelas : IF GAB EX 1 Indonesia sudah memiliki dokumentasi pengujian berdasarkan standar format dari IEEE, seperti yang terlihat pada gambar di atas. Dari standar yang sudah dijelaskan, tidak harus dipakai semua. Asalkan ada kesepakatan dan bersifat informatif, maka dokumentasi tersebut tetap bisa digunakan dan diimplementasikan. Selain itu, dari standar tersebut, tidak menutup kemungkinan dilakukan inovasi terhadapnya, sesuai kebutuhan.  Saat ini, bukan hanya tentang bagaimana  output  yang dihasilkan dari sebuah perangkat lunak, tetapi juga  outcome  apa yang diciptakan dari perangkat lunak tersebut. Tidak melulu berbicara tentang pengakuan, melainkan seperti apa kenyamanan dan kepercayaan itu dihasilkan. Standar internasional pengujian perangkat lunak terdiri atas 5 bagian. Standar tersebut berada pada ISO/IEC/IEEE 29119. Standar ini pertama kali dikembangkan pada tahun 20...
Read more

Makalah Nine Step Methodology

Image
  MAKALAH Nine Step Methodology                   Disusun Oleh :   Nama : Putri Oktaria Maylanda NPM : 19312197         PROGRAM STUDI S1 INFORMATIKA FAKULTAS TEKNIK DAN ILMU KOMPUTER UNIVERSITAS TEKNOKRAT INDONESIA 202 1 Nine-Step Methodology Menurut Kimball (2010) metodologi perancangan Data Warehouse adalah  Nine-Step Methodology  yang memiliki 9 (sembilan) langkah yaitu :   1. Choosing The Process Pada tahapan ini untuk merancang data warehouse harus sesuai dengan kebutuhan. contoh : ketika ingin menganalisis penjualan yang berasal dari berbagai sumber yang berbeda atau dimensi, maka dari itu kita harus cermat dalam memilih proses mana yang ingin kita analisa.     2.   Choosing The Grain   Perancangan data model data warehouse itu juga harus sesuai atau berdasarkan dari table fakta dan dimensi, untuk itu ketika p...
Read more