Sejarah dan Evolusi Analisis Big Data

Sejarah dan Evolusi Analisis Big Data

Konsep Big Data telah ada selama bertahun-tahun kebelakang, sekarang sebagian besar organisasi mengerti bahwa jika mereka mampu menampung semua data set besar yang mengalir ke dalam bisnis mereka, maka mereka dapat menerapkan analisis dan mendapatkan manfaat/informasi yang sangat berharga dari proses analisis tersebut.

Sekitar tahun 2005, orang mulai menyadari bahwa ada banyak data yang dihasilkan pengguna melalui Facebook, YouTube, dan layanan online lainnya. Hadoop, sebuah open-source software untuk mengumpulkan dan menganalisa data dikembangkan pada tahun yang sama. NoSQL juga mulai mendapatkan popularitas selama ini. Pengembangan software open-source untuk data, seperti Hadoop (dan yang lebih baru, Spark) memiliki peran penting dalam pertumbuhan big data karena mereka membuat data besar lebih mudah digunakan dan lebih murah untuk disimpan. Pada tahun-tahun sejak saat itu, volume big data terus meningkat. Pengguna masih menghasilkan data dalam jumlah besar - tetapi itu bukan hanya manusia yang melakukannya.

Dengan munculnya Internet of Things (IoT), lebih banyak objek dan perangkat terhubung ke internet. Produsen pun melakukan pengumpulan data tentang pola penggunaan pelanggan dan kinerja produk. Munculnya machine learning juga telah menghasilkan lebih banyak data.

Istilah Big Data telah digunakan sejak 1990-an, dengan beberapa memberikan kredit kepada John Mashey untuk mempopulerkan istilah itu. ^[18] [19] Data besar biasanya mencakup kumpulan data dengan ukuran di luar kemampuan alat perangkat lunak yang biasa digunakan untuk menangkap , menyusun , mengelola, dan memproses data dalam waktu yang telah berlalu. ^[20] Filosofi data besar mencakup data yang tidak terstruktur, semi terstruktur dan terstruktur, namun fokus utamanya adalah pada data yang tidak terstruktur. ^[21] "Ukuran" big data adalah target yang terus bergerak, mulai 2012 mulai dari beberapa lusin terabyte hingga banyak zettabytes data. ^[22] 
Data besar membutuhkan serangkaian teknik dan teknologi dengan bentuk integrasi baru untuk mengungkapkan wawasan dari kumpulan data yang beragam, kompleks, dan berskala besar.

Jika kita lihat ke belakang sebelum istilah Big Data dikenal, di tahun 1950-an bisnis pada saat itu sudah menggunakan analisis konvensional, yang didasarkan pada spreadsheet yang dikaji secara manual untuk mengungkap informasi berharga dan trend.

Lalu apa yang di tawarkan oleh analisis Big Data?

Benefit analisis big data di bandingkan dengan analisis konvensional adalah kecepatan dan efisiensi.

Sebelum aplikasi analisis big data muncul, bisnis akan mengumpulkan data ke dalam data warehouse dari database enterprise seperti Oracle, DB2, MS SQL Server, kemudian melakukan analisis untuk membantu pengambilan keputusan yang bermanfaat untuk masa depan bisnis perusahaan.

Kendala yang dihadapi muncul dengan pertumbuhan data yang sangat pesat dari berbagai jenis tipe data, sehingga dengan analisis konvensional ada limitasi untuk dapat menampung data set besar tersebut, waktu yang relatif lama diperlukan untuk menghasilkan informasi berharga dari analisis.

Kemunculan teknologi analisis big data memberikan solusi bagi bisnis untuk mendapatkan hasil analisis segera bahkan real-time sekalipun, sehingga memberikan bisnis keunggulan dalam berkompetisi.