Contoh Program Source Code /

Data Mining OLAP Data Warehouse

Posted on1/25/2016
Join with us

Data Mining OLAP Data Warehouse

Data Mining

Definisi sederhana dari data mining adalah ekstraksi informasi atau pola yang penting atau menarik dari data yang ada di database yang besar. Dalam jurnal ilmiah, data mining juga dikenal dengan nama Knowledge Discovery in Databases (KDD).

Kehadiran data mining dilatar belakangi dengan problema data explosion yang dialami akhir-akhir ini dimana banyak organisasi telah mengumpulkan data sekian tahun lamanya (data pembelian, data penjualan, data nasabah, data transaksi dsb.). Hampir semua data tersebut dimasukkan dengan menggunakan aplikasi komputer yang digunakan untuk menangani transaksi sehari-hari yang kebanyakan adalah OLTP (On Line Transaction Processing). Bayangkan berapa transaksi yang dimasukkan oleh hypermarket semacam Carrefour atau transaksi kartu kredit dari sebuah bank dalam seharinya dan bayangkan betapa besarnya ukuran data mereka jika nanti telah berjalan beberapa tahun. Pertanyaannya sekarang, apakah data tersebut akan dibiarkan menggunung, tidak berguna lalu dibuang, ataukah kita dapat me-‘nambang’-nya untuk mencari ‘emas’, ‘berlian’ yaitu informasi yang berguna untuk organisasi kita. Banyak diantara kita yang kebanjiran data tapi miskin informasi.

Data mining tidak hanya melakukan mining terhadap data transaksi saja. Penelitian di bidang data mining saat ini sudah merambah ke sistem database lanjut seperti object oriented database, image/spatial database, time-series data/temporal database, teks (dikenal dengan nama text mining), web (dikenal dengan nama web mining) dan multimedia database.

Fungsi Data Mining

  • Mengotomatisasi penemuan pola-pola yang tidak diketahui sebelumnya. Contoh dari penemuan pola ini adalah analisis pada data penjulan ritel untuk mengidentifikasi produk-produk,yang kelihatannya tidak berkaitan, yang seringkali dibeli secara bersamaan oleh kustomer. Contoh lain adalah pendeteksian transaksi palsu dengan kartu kredit.
  • Data mining digunakan untuk menentukan Prospek. Model ini dapat diterapkan untuk menarik kesimpulan dari informasi khusus (sebagai data prospek), dimana saat ini informasi khusus tersebut tidak dimiliki oleh perusahaan. Dengan model ini, calon-calon kustomer baru dapat ditarget secara selektif.
  • Data mining digunakan untuk prediksi, memprediksi apa yang akan terjadi di masa mendatang

Data Mining dan Teknologi Databases

Data Mining OLAP Data Warehouse

  • Dari gambar di atas terlihat bahwa teknologi data warehouse digunakan untuk melakukan OLAP ( On-line Analytical Processing )
  • Data mining digunakan untuk melakukan information discovery yang informasinya lebih ditujukan untuk seorang Data Analyst dan Business Analyst.
  • Dalam prakteknya , data mining juga mengambil data dari data warehouse. Hanya saja aplikasi dari data mining lebih khusus dan lebih spesifik dibandingkan OLAP mengingat database bukan satu-satunya bidang ilmu yang mempengaruhi data mining

Prinsip Data Mining

Data Mining OLAP Data Warehouse

Contoh Penerapan Aplikasi Data Mining

Pemasaran
  • Mengidentifikasi pembelian yang dilakukan konsumen
  • Menemukan hubungan di antara karakteristik demografi pelanggan
  • Memperkirakan tanggapan penawaran melalui surat
Bank
  • Mendeteksi pola penyalahgunaan kartu kredit
  • Mengidentifikasi tingkat loyalitas pelanggan
Asuransi
  • Analisis klaim
  • Memperkirakan pelanggan yang akan membeli produk baru

Teknologi Untuk Data Mining

  • Statistik
  • Jaringan saraf (neural network)
  • Logika kabur (fuzzy logic)
  • Algoritma genetika
  • dan berbagai teknologi kecerdasan buatan yang lain

Data Mining : Visualisasi Data


  • Pendekatan data mining juga ada yang melalui visualisasi data
  • Pada sistem seperti ini, pemakai akan dibantu untuk menemukan sendiri pola dari sejumlah data berukuran besar dengan didasarkan visualisasi oleh data mining

OLAP ( OnLine Analytical Processing )

OLAP merupakan Suatu jenis pemrosesan yang memanipulasi dan menganalisa data bervolume besar dari berbagai perspektif (multidimensi). OLAP seringkali disebut analisis data multidimensi. Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang

Kemampuan OLAP

  1. Konsolidasi melibatkan pengelompokan data. Sebagai contoh kantor-kantor cabang dapat dikelompokkan menurut kota atau bahkan propinsi. Transaksi penjualan dapat ditinjau menurut tahun, triwulan, bulan, dan sebagainya. Kadangkala istilah rollupdigunakan untuk menyatakan konsolidasi
  2. Drill-down adalah suatu bentuk yang merupakan kebalikan dari konsolidasi, yang memungkinkan data yang ringkas dijabarkan menjadi data yang lebih detail
  3. Slicing and dicing (atau dikenal dengan istilah pivoting) menjabarkan pada kemampuan untuk melihat data dari berbagai sudut pandang

Contoh Software OLAP

  • Express Server (Oracle)
  • PowerPlay (Cognos Software)
  • Metacube (Informix/Stanford Technology Group)
  • HighGate Project (Sybase)

Data Mart

Data Mart  merupakan bagian dari data warehouse yang mendukung kebutuhan pada tingkat departemen atau fungsi bisnis tertentu dalam perusahaan. Karakteristik yang membedakan data mart dan data warehouse adalah sebagai berikut (Connolly, Begg, Strachan 1999).
  • Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.
  • Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.
  • Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami dan dinavigasi.

Contoh Software Data Mart

  • SmartMart (IBM)
  • Visual Warehouse (IBM)
  • PowerMart (Informatica)

Data Warehouse

Data warehouse adalah basis data yang menyimpan data sekarang dan data masa lalu yang berasal dari berbagai sistem operasional dan sumber yang lain (sumber eksternal) yang menjadi perhatian penting bagi manajemen dalam organisasi dan ditujukan untuk keperluan analisis dan pelaporan manajemen dalam rangka pengambilan keputusan. Data warehouse digunakan untuk mendukung pengambilan keputusan, bukan untuk melaksanakan pemrosesan transaksi

Data warehouse meliputi: extraction, transportation, transformation, loading solution, online analytical processing (OLAP),client analysis tool, dan aplikasi lain yang mengatur proses pengumpulan data dan mengirimkan ke business user.

Contoh: data penjualan pada suatu perusahaan. Dengan data warehouse maka dapat menjawab pertanyaan “siapakah customer terbesar pada akhir tahun?”

Data warehouve vs OLTP ( Online Transaction Processing )

Data Mining OLAP Data Warehouse

Salah satu perbedaan utama data warehouse dengan OLTP adalah data warehouse tidak selalu dalam bentuk normal ketiga (3NF), sedangkan OLTP biasanya dalam bentuk normal ketiga (3NF)

Workload
  • Data warehouse didesain untuk menampung query dalam jumlah yang besar
  • OLTP hanya mendukung operasi tertentu
Data modification
  • Data warehouse diupdate secara regular (setiap minggu atau setiap hari) menggunakan teknik modifikasi data sehingga user tidak secara langsung mengupdate data warehouse
  • Pada OLTP, user melakukan proses update data secara rutin dan langsung

Schema Design

  • Data warehouse biasanya ternormalisai secara sebagian bahkan dalam keadaan tidak ternormalisasi
  • OLTP ternormalisasi penuh untuk meningkatkan proses update/insert/delete dan meningkatkan konsistensi data
Typical operation
  • Data warehouse menjalankan query yang memproses banyak baris (ratusan atau milyaran), contoh : total penjualan semua customer pada akhir tahun
  • OLTP hanya mengkases record tertentu, contoh : mencari data order untuk customer tertentu
Historical data
  • Data warehouse menyimpan data selama beberapa bulan atau tahun. Hal ini mendukung proses historical analysis
  • OLTP menyimpan data hanya beberapa minggu atau bulan

1. Arsitektur Dasar Data Warehouse

Gambar berikut menampilkan arsitektur sederhana dari suatu Data Warehouse. User dapat secara langsung mengakses data yang diambil dari beberapa source melalui data warehouse


2. Arsitektur Data Warehouse dengan menggunakan Staging Area


Staging area menyederhanakan proses pembuatan summary dan management warehouse secara umum

3. Arsitektur Data Warehouse dengan menggunakan Staging Area dan Data Mart

Data mart merupakan subsetdari data resource, biasanya berorientasi untuk suatu tujuan yang spesifik atau subjek data yang didistribusikanuntuk mendukung kebutuhan bisnis.

Sumber Data untuk Data Warehouse

  • Data operasional dalam organisasi, misalnya basis data pelanggan dan produk, dan
  • Sumber eksternal yang diperoleh misalnya melalui Internet, basis data komersial, basis data pemasok atau pelanggan
  • Berbagai data yang berasal dari sumber digabungkan dan diproses lebih lanjut oleh manajer data warehousedan disimpan dalam basis data tersendiri.
  • Selanjutnya, perangkat lunak seperti OLAP dan data miningdapat digunakan oleh pemakai untuk mengakses data warehouse

Prinsip Data Warehouse



Sifat Data Warehouse

  • Multidimensional yang berarti bahwa terdapat banyak lapisan kolom dan baris (Ini berbeda dengan tabel pada model relasional yang hanya berdimensi dua)
  • Berdasarkan susunan data seperti itu, amatlah mudah untuk memperoleh jawaban atas pertanyaan seperti: “Berapakah jumlah produk 1 terjual di Jawa Tengah pada tahun n-3?”

Aplikasi Data Warehouse

Data warehousedapat dibangun sendiri dengan menggunakan perangkat pengembangan aplikasi ataupun dengan menggunakan perangkat lunak khusus yang ditujukan untuk menangani hal ini. Beberapa contoh perangkat lunak yang digunakan untuk administrasi dan manajemen data warehouse:
  • HP Intelligent Warehouse (Hewlett Packard)
  • FlowMark (IBM)
  • SourcePoint (Software AG)

Petunjuk Membangun Data warehouse

  1. Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse
  2. Mengidentifikasi data dari basis data operasional dan sumber lain yang diperlukan bagi data warehouse
  3. Menentukan item-item data dalam perusahaan dengan melakukan standarisasi penamaan data dan maknanya
  4. Merancang basis data untuk data warehouse
  5. Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan tak menjadi terlalu besar dan agar pengambilan keputusan tidak menjadi terlalu lamban.
  6. Menarik data produksi (operasional) dan meletakkan ke basis data milik data warehouse


Data Mining OLAP Data Warehouse

Data Mining

Definisi sederhana dari data mining adalah ekstraksi informasi atau pola yang penting atau menarik dari data yang ada di database yang besar. Dalam jurnal ilmiah, data mining juga dikenal dengan nama Knowledge Discovery in Databases (KDD).

Kehadiran data mining dilatar belakangi dengan problema data explosion yang dialami akhir-akhir ini dimana banyak organisasi telah mengumpulkan data sekian tahun lamanya (data pembelian, data penjualan, data nasabah, data transaksi dsb.). Hampir semua data tersebut dimasukkan dengan menggunakan aplikasi komputer yang digunakan untuk menangani transaksi sehari-hari yang kebanyakan adalah OLTP (On Line Transaction Processing). Bayangkan berapa transaksi yang dimasukkan oleh hypermarket semacam Carrefour atau transaksi kartu kredit dari sebuah bank dalam seharinya dan bayangkan betapa besarnya ukuran data mereka jika nanti telah berjalan beberapa tahun. Pertanyaannya sekarang, apakah data tersebut akan dibiarkan menggunung, tidak berguna lalu dibuang, ataukah kita dapat me-‘nambang’-nya untuk mencari ‘emas’, ‘berlian’ yaitu informasi yang berguna untuk organisasi kita. Banyak diantara kita yang kebanjiran data tapi miskin informasi.

Data mining tidak hanya melakukan mining terhadap data transaksi saja. Penelitian di bidang data mining saat ini sudah merambah ke sistem database lanjut seperti object oriented database, image/spatial database, time-series data/temporal database, teks (dikenal dengan nama text mining), web (dikenal dengan nama web mining) dan multimedia database.

Fungsi Data Mining

  • Mengotomatisasi penemuan pola-pola yang tidak diketahui sebelumnya. Contoh dari penemuan pola ini adalah analisis pada data penjulan ritel untuk mengidentifikasi produk-produk,yang kelihatannya tidak berkaitan, yang seringkali dibeli secara bersamaan oleh kustomer. Contoh lain adalah pendeteksian transaksi palsu dengan kartu kredit.
  • Data mining digunakan untuk menentukan Prospek. Model ini dapat diterapkan untuk menarik kesimpulan dari informasi khusus (sebagai data prospek), dimana saat ini informasi khusus tersebut tidak dimiliki oleh perusahaan. Dengan model ini, calon-calon kustomer baru dapat ditarget secara selektif.
  • Data mining digunakan untuk prediksi, memprediksi apa yang akan terjadi di masa mendatang

Data Mining dan Teknologi Databases

Data Mining OLAP Data Warehouse

  • Dari gambar di atas terlihat bahwa teknologi data warehouse digunakan untuk melakukan OLAP ( On-line Analytical Processing )
  • Data mining digunakan untuk melakukan information discovery yang informasinya lebih ditujukan untuk seorang Data Analyst dan Business Analyst.
  • Dalam prakteknya , data mining juga mengambil data dari data warehouse. Hanya saja aplikasi dari data mining lebih khusus dan lebih spesifik dibandingkan OLAP mengingat database bukan satu-satunya bidang ilmu yang mempengaruhi data mining

Prinsip Data Mining

Data Mining OLAP Data Warehouse

Contoh Penerapan Aplikasi Data Mining

Pemasaran
  • Mengidentifikasi pembelian yang dilakukan konsumen
  • Menemukan hubungan di antara karakteristik demografi pelanggan
  • Memperkirakan tanggapan penawaran melalui surat
Bank
  • Mendeteksi pola penyalahgunaan kartu kredit
  • Mengidentifikasi tingkat loyalitas pelanggan
Asuransi
  • Analisis klaim
  • Memperkirakan pelanggan yang akan membeli produk baru

Teknologi Untuk Data Mining

  • Statistik
  • Jaringan saraf (neural network)
  • Logika kabur (fuzzy logic)
  • Algoritma genetika
  • dan berbagai teknologi kecerdasan buatan yang lain

Data Mining : Visualisasi Data


  • Pendekatan data mining juga ada yang melalui visualisasi data
  • Pada sistem seperti ini, pemakai akan dibantu untuk menemukan sendiri pola dari sejumlah data berukuran besar dengan didasarkan visualisasi oleh data mining

OLAP ( OnLine Analytical Processing )

OLAP merupakan Suatu jenis pemrosesan yang memanipulasi dan menganalisa data bervolume besar dari berbagai perspektif (multidimensi). OLAP seringkali disebut analisis data multidimensi. Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang

Kemampuan OLAP

  1. Konsolidasi melibatkan pengelompokan data. Sebagai contoh kantor-kantor cabang dapat dikelompokkan menurut kota atau bahkan propinsi. Transaksi penjualan dapat ditinjau menurut tahun, triwulan, bulan, dan sebagainya. Kadangkala istilah rollupdigunakan untuk menyatakan konsolidasi
  2. Drill-down adalah suatu bentuk yang merupakan kebalikan dari konsolidasi, yang memungkinkan data yang ringkas dijabarkan menjadi data yang lebih detail
  3. Slicing and dicing (atau dikenal dengan istilah pivoting) menjabarkan pada kemampuan untuk melihat data dari berbagai sudut pandang

Contoh Software OLAP

  • Express Server (Oracle)
  • PowerPlay (Cognos Software)
  • Metacube (Informix/Stanford Technology Group)
  • HighGate Project (Sybase)

Data Mart

Data Mart  merupakan bagian dari data warehouse yang mendukung kebutuhan pada tingkat departemen atau fungsi bisnis tertentu dalam perusahaan. Karakteristik yang membedakan data mart dan data warehouse adalah sebagai berikut (Connolly, Begg, Strachan 1999).
  • Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.
  • Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.
  • Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami dan dinavigasi.

Contoh Software Data Mart

  • SmartMart (IBM)
  • Visual Warehouse (IBM)
  • PowerMart (Informatica)

Data Warehouse

Data warehouse adalah basis data yang menyimpan data sekarang dan data masa lalu yang berasal dari berbagai sistem operasional dan sumber yang lain (sumber eksternal) yang menjadi perhatian penting bagi manajemen dalam organisasi dan ditujukan untuk keperluan analisis dan pelaporan manajemen dalam rangka pengambilan keputusan. Data warehouse digunakan untuk mendukung pengambilan keputusan, bukan untuk melaksanakan pemrosesan transaksi

Data warehouse meliputi: extraction, transportation, transformation, loading solution, online analytical processing (OLAP),client analysis tool, dan aplikasi lain yang mengatur proses pengumpulan data dan mengirimkan ke business user.

Contoh: data penjualan pada suatu perusahaan. Dengan data warehouse maka dapat menjawab pertanyaan “siapakah customer terbesar pada akhir tahun?”

Data warehouve vs OLTP ( Online Transaction Processing )

Data Mining OLAP Data Warehouse

Salah satu perbedaan utama data warehouse dengan OLTP adalah data warehouse tidak selalu dalam bentuk normal ketiga (3NF), sedangkan OLTP biasanya dalam bentuk normal ketiga (3NF)

Workload
  • Data warehouse didesain untuk menampung query dalam jumlah yang besar
  • OLTP hanya mendukung operasi tertentu
Data modification
  • Data warehouse diupdate secara regular (setiap minggu atau setiap hari) menggunakan teknik modifikasi data sehingga user tidak secara langsung mengupdate data warehouse
  • Pada OLTP, user melakukan proses update data secara rutin dan langsung

Schema Design

  • Data warehouse biasanya ternormalisai secara sebagian bahkan dalam keadaan tidak ternormalisasi
  • OLTP ternormalisasi penuh untuk meningkatkan proses update/insert/delete dan meningkatkan konsistensi data
Typical operation
  • Data warehouse menjalankan query yang memproses banyak baris (ratusan atau milyaran), contoh : total penjualan semua customer pada akhir tahun
  • OLTP hanya mengkases record tertentu, contoh : mencari data order untuk customer tertentu
Historical data
  • Data warehouse menyimpan data selama beberapa bulan atau tahun. Hal ini mendukung proses historical analysis
  • OLTP menyimpan data hanya beberapa minggu atau bulan

1. Arsitektur Dasar Data Warehouse

Gambar berikut menampilkan arsitektur sederhana dari suatu Data Warehouse. User dapat secara langsung mengakses data yang diambil dari beberapa source melalui data warehouse


2. Arsitektur Data Warehouse dengan menggunakan Staging Area


Staging area menyederhanakan proses pembuatan summary dan management warehouse secara umum

3. Arsitektur Data Warehouse dengan menggunakan Staging Area dan Data Mart

Data mart merupakan subsetdari data resource, biasanya berorientasi untuk suatu tujuan yang spesifik atau subjek data yang didistribusikanuntuk mendukung kebutuhan bisnis.

Sumber Data untuk Data Warehouse

  • Data operasional dalam organisasi, misalnya basis data pelanggan dan produk, dan
  • Sumber eksternal yang diperoleh misalnya melalui Internet, basis data komersial, basis data pemasok atau pelanggan
  • Berbagai data yang berasal dari sumber digabungkan dan diproses lebih lanjut oleh manajer data warehousedan disimpan dalam basis data tersendiri.
  • Selanjutnya, perangkat lunak seperti OLAP dan data miningdapat digunakan oleh pemakai untuk mengakses data warehouse

Prinsip Data Warehouse



Sifat Data Warehouse

  • Multidimensional yang berarti bahwa terdapat banyak lapisan kolom dan baris (Ini berbeda dengan tabel pada model relasional yang hanya berdimensi dua)
  • Berdasarkan susunan data seperti itu, amatlah mudah untuk memperoleh jawaban atas pertanyaan seperti: “Berapakah jumlah produk 1 terjual di Jawa Tengah pada tahun n-3?”

Aplikasi Data Warehouse

Data warehousedapat dibangun sendiri dengan menggunakan perangkat pengembangan aplikasi ataupun dengan menggunakan perangkat lunak khusus yang ditujukan untuk menangani hal ini. Beberapa contoh perangkat lunak yang digunakan untuk administrasi dan manajemen data warehouse:
  • HP Intelligent Warehouse (Hewlett Packard)
  • FlowMark (IBM)
  • SourcePoint (Software AG)

Petunjuk Membangun Data warehouse

  1. Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse
  2. Mengidentifikasi data dari basis data operasional dan sumber lain yang diperlukan bagi data warehouse
  3. Menentukan item-item data dalam perusahaan dengan melakukan standarisasi penamaan data dan maknanya
  4. Merancang basis data untuk data warehouse
  5. Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan tak menjadi terlalu besar dan agar pengambilan keputusan tidak menjadi terlalu lamban.
  6. Menarik data produksi (operasional) dan meletakkan ke basis data milik data warehouse

Data Mining OLAP Data Warehouse| Contoh Program

Source CodeData Mining OLAP Data Warehouse

Source Code Tutorial belajar Gratis download Flow Chart PDF ZIP RAR DOC Java C# Visual Basic VB PHP Matlab C++ Penerapan implementasi metode algoritma pemrograman

Tutorial belajarData Mining OLAP Data Warehouse

VB PHP Matlab C++ Penerapan implementasi metode algoritma pemrograman Source Code Tutorial belajar Gratis download Flow Chart PDF ZIP RAR DOC Java C# Visual Basic

Gratis downloadData Mining OLAP Data Warehouse

Chart PDF ZIP RAR DOC Java C# Visual Basic VB PHP Matlab C++ Penerapan implementasi metode algoritma pemrograman Source Code Tutorial belajar Gratis download Flow

Penerapan implementasiData Mining OLAP Data WarehouseData Mining OLAP Data Warehouse

Posted by: Metode-Algoritma.comData Mining OLAP Data Warehouse| Contoh ProgramUpdated at :







Konsultasi Gratis

Jika ada yang ingin di tanyakan, Kamu bisa melakukan konsultasi gratis kepada team metode-algoritma.com melalui form di bawah. Mohon isi email dengan benar, karena hasil konsultasi akan di kirimkan ke email kamu.


Data Mining OLAP Data Warehouse| Contoh Program

Label:,,,

Copyright © 2013 metode-algoritma.com Allright Reserved|about|sitemap|

Konsultasi gratis