Apache Hadoop
Apache Hadoop adalah sebuah open source project yang menyediakan frame work software untuk mengolah data yang besar dengan metode komputasi terdistribusi. Konsep ini diperkenalkan pertama kali oleh Doug Cutting, seorang pembuat Apache Lucene. Project Hadoop berasal dari project Apache Nutch, adalah sebuah opensource web search engine sebagai bagian dari project Lucene. Apache Hadoop memungkinkan adanya proses distribusi dalam data berskala besar dengan metode clustering menggunakan model pemrograman sederhana. Apache Hadoop didesain untuk skala dari master tunggal ke banyak mesin, masing-masing menawarkan komputasi lokal dan storage. Daripada mengandalkan perangkat keras untuk memberikan high availability, library dirancang untuk mendeteksi dan menangani kegagalan pada lapisan aplikasi sehingga memberikan layanan yang tersedia di atas sebuah cluster komputer yang masing-masing mesin mungkin rentan terhadap kegagalan
- Hadoop Common: utilitas umum yang mendukung modul Hadoop lainnya.
- Hadoop Distributed File System (HDFS): sebuah file sistem terdistribusi yang menyediakan akses tinggi melalui aplikasi data.
- Hadoop Yet Another Resource Negotiatior (YARN): sebuah framework untuk penjadwalan dan manajemen sumber daya cluster yang merupakan generasi kedua dari infrastruktur Apache Hadoop.
- Hadoop MapReduce: sebuah sistem berbasis YARN untuk pemrosesan paralel dari kumpulan data besar.
