Google Sortir 1 Petabyte Dalam 6 Jam

Blog Google menulis sebuah artikel menarik yang menunjukkan besarnya skala komputasi yang dilakukan Google. Mereka mengatakan bahwa mereka mampu menyortir data sebesar 1 Petabyte (1.000 Terabyte) hanya dalam 6 jam dan 2 menit menggunakan 4.000 komputer. Teknologi kunci yang digunakan Google dalam infrastrukturnya adalah MapReduce yang mampu mengoperasikan banyak proses secara simultan untuk melakukan pemrosesan data di ribuan komputer sekaligus. Dalam salah satu riset penyortiran yang dilakukan Google mereka mengikuti benchmark standar sebesar 1 Terabyte untuk membandingkan berbagai teknologi mereka dengan orang lain. Dengan mendorong program-program ini hingga ambang batas kemampuannya,

Google telah tahu liitasi dari teknologi saat ini maupun mempelajari pelajaran berharga yang berguna untuk mendesain platform komputasi masa depan. Google kini mampu menyortir data sebesar 1TB dalam 1.000 komputer hanya dalam 68 detik. Sebagai pembanding, rekor sebelumnya adalah 209 detik dalam 910 komputer. Karena terkadang mereka perlu menyortir data yang lebih besar dari 1TB (total data yang diproses oleh semua implementasi MapReduce di Google secara rata-rata mencapai 20 PB di bulan Januari 2008), mereka mencoba menyortir data sebesar 1PB dan menemukan bahwa mereka hanya membutuhkan 6 jam dan 2 menit untuk memroses 1PB (10 trilyun data sebesar 100 byte) dalam 4.000 komputer. Satu lagi pertanyaan menarik yang timbul saat melakukan eksperimen berskala besar seperti ini: "Di mana mereka menyimpan data sebesar 1PB? Google menyimpan data itu dalam 48.000 hard drive (walaupun tidak dipakai sepenuhnya). sumber : udaramaya