Frasa “data besar” sering digunakan dalam pengaturan perusahaan untuk menggambarkan sejumlah besar data.
Itu tidak merujuk pada jumlah data tertentu, tetapi lebih menggambarkan dataset yang tidak dapat disimpan atau diproses menggunakan perangkat lunak database tradisional.
Contoh data besar termasuk Indeks Pencarian Google, database profil pengguna Facebook, dan daftar produk Amazon.com.
Koleksi data ini (atau “dataset”) sangat besar sehingga data tidak dapat disimpan dalam database khas, atau bahkan satu komputer.
Sebaliknya, data harus disimpan dan diproses menggunakan sistem manajemen database yang sangat terukur.
Big Data sering didistribusikan di beberapa perangkat penyimpanan, kadang-kadang di beberapa lokasi yang berbeda.
Banyak sistem manajemen basis data tradisional memiliki batasan berapa banyak data yang dapat mereka simpan.
Misalnya, database Access 2010 hanya dapat berisi dua gigabyte data, yang membuatnya tidak layak untuk menyimpan beberapa petabyte atau exabyte data.
Bahkan jika DBMS dapat menyimpan data dalam jumlah besar, itu dapat beroperasi secara tidak efisien jika terlalu banyak tabel atau catatan dibuat, yang dapat menyebabkan kinerja yang lambat.
Solusi data besar menyelesaikan masalah ini dengan menyediakan sistem penyimpanan yang sangat responsif dan dapat diskalakan.
Ada beberapa jenis solusi perangkat lunak data besar, termasuk platform penyimpanan data dan program analisis data.
Beberapa produk perangkat lunak data besar yang paling umum termasuk Apache Hadoop, platform data besar IBM, database Oracle NoSQL, Microsoft Hdinsight, dan EMC Pivotal One.
