A | B | C | D | E | F | G | H | CH | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9
Vývojář | Apache Software Foundation |
---|---|
První vydání | 2005 |
Aktuální verze | 3.4.0 (17. března 2024) |
Operační systém | Multiplatformní software |
Platforma | Java Virtual Machine |
Vyvíjeno v | Java |
Typ softwaru | framework |
Licence | Apache License 2.0 |
Web | Hadoop Apache |
Některá data mohou pocházet z datové položky. |
Hadoop je framework obsahující sadu opensource softwarových komponent určených pro zpracování velkého množství nestrukturovaných a distribuovaných dat v řádech petabytů a exabytů.[1]
Principy Hadoopu
Podstata spočívá v uložení dat na velkém množství samostatných počítačů.[2] Může jít o běžný hardware a tak je uložení těchto dat levnější než ukládání na specializovaném hardwaru s vysokou dostupností. Pro uložení je potom použit distribuovaný souborový systém. Jeden takový systém nabízí přímo Hadoop. Je to systém HDFS, což je zkratka z anglického názvu Hadoop Distributed File System.[2] Zpracování potom probíhá tak, že je úloha rozdělena a zpracovávána paralelně na více uzlech. Jde tedy vlastně o distribuovaný výpočet. Konečný výsledek je zjištěn výpočtem z dílčích výsledků. Jde o tak zvaný princip MapReduce, kde Map je rozdělení úlohy a Reduce je spojení výsledků. Samotný výpočet je tak posunut z velké části k datům, čímž je značně redukována potřeba přenosu velkých objemů dat po síti.
Vývoj Hadoopu a jeho derivátů
Hadoop je rozvíjen v rámci opensource softwaru. V jeho vývoji se angažuje organizace Apache Software Foundation. [3] Volné komponenty Hadoopu jsou dostupné na stránkách hadoop.apache.org. Na bázi Hadoopu jsou postavena mnohá komerčně dodávaná řešení [4] pro big data.
Apache Hadoop
Aktuální verze Hadoopu v roce 2012 mohla pracovat na 4000 uzlech clusterů. Pro uzel se počítalo 16 (a více) jader a 10000 paralelních úkolů.
Vydání významných verzí
- 22. březen 2017: Release 2.8.0. Pro produkční nasazení je doporučeno počkat na verze 2.8.1/2.8.2
- 25. leden 2017: Release 3.0.0-alpha2
- 8. říjen 2016: Release 2.6.5
- 25. srpen 2016: Release 2.7.3
- 21. duben 2015: Release 2.7.0 (nejde o stabilní verzi pro produkční nasazení)
- 18. listopad 2014: Release 2.6.0 (nejde o stabilní verzi pro produkční nasazení)
- 15. říjen 2013: Release 2.2.0 release s tzv. General availability obsahující významná rozšíření:
- YARN - systém řízení zdrojů pro Hadoop
- High Availability (Vysoká dostupnost) pro HDFS
- HDFS Federation
- HDFS Snapshots
- NFSv3 přístup k datům v HDFS
- Podporu pro provoz Hadoop na Microsoft Windows
- Binární kompatibilitu pro aplikace MapReduce postavené na hadoop-1.x
Významní uživatelé
Reference [5]
- Amazon.com
- Akamai
- American Airlines
- AOL
- Apple[6]
- Cloudera
- eBay
- Federal Reserve Board of Governors
- foursquare
- Fox Interactive Media
- Gauss Algorithmic
- Gemvara
- Hewlett-Packard
- IBM
- ImageShack
- ISI
- Intuit
- Joost
- Last.fm
- LinkedIn[7]
- Microsoft[8]
- NetApp
- Netflix[9]
- Riot Games
- Risk Management Solutions (RMS)
- The New York Times
- The Walt Disney Company
- SAP AG[10]
- SAS Institute[11]
- Seznam.cz
- StumbleUpon[12]
- Socialbakers
- Yahoo!
- Yodlee
Odkazy
Reference
- ↑ DOLÁK, Ondřej. Big data . . Dostupné online.
- ↑ a b Web hadoop.appache.org
- ↑ ŠVERÁK, Petr. Apache vydává novou verzi Hadoop . 3.3.2012 . Dostupné online.
- ↑ InfoSphere BigInsights (Bringing the power of Hadoop to the enterprise)
- ↑ Applikace a organizace používající Hadoop. wiki.apache.org . . Dostupné v archivu pořízeném dne 2012-11-29.
- ↑ Apple Embraces Hadoop . . Dostupné v archivu pořízeném z originálu dne 2011-02-28.
- ↑ Building a terabyte-scale data cycle at LinkedIn with Hadoop and Project Voldemort . . Dostupné v archivu pořízeném dne 2011-01-27.
- ↑ Microsoft Expands Data Platform With SQL Server 2012, New Investments for Managing Any Data, Any Size, Anywhere . . Dostupné online.
- ↑ Use Case Study of Hive/Hadoop . . Dostupné online.
- ↑ SAP UNVEILS UNIFIED STRATEGY FOR REAL-TIME DATA MANAGEMENT TO GROW DATABASE MARKET LEADERSHIP . SAP America . Dostupné online.
- ↑ SAS® access to Hadoop links leading analytics, big data . cit. 2012-11-30. Dostupné v archivu pořízeném dne 2012-12-01.
- ↑ HBase at StumbleUpon online. cit. 2010-06-26. Dostupné v archivu pořízeném dne 2010-08-13.
Literaturaeditovat | editovat zdroj
- White, T.: Hadoop: The Definitive Guide, O'Reilly Media, Incorporated, 2009, ISBN 9780596521974
- Lam, Ch.: Hadoop in Action, O'Reilly Media, 2010, ISBN 1935182196, ISBN 9781935182191, 312 stran
- STRANSKY, Jakub. Hadoop IO and file formats online. 2014-06-22 cit. 2016-11-04. Dostupné online.
Související článkyeditovat | editovat zdroj
Externí odkazyeditovat | editovat zdroj
- Obrázky, zvuky či videa k tématu Apache Hadoop na Wikimedia Commons
- Apache Foundation Official website
- Linux Magazine
Text je dostupný za podmienok Creative Commons Attribution/Share-Alike License 3.0 Unported; prípadne za ďalších podmienok. Podrobnejšie informácie nájdete na stránke Podmienky použitia.
Antropológia
Aplikované vedy
Bibliometria
Dejiny vedy
Encyklopédie
Filozofia vedy
Forenzné vedy
Humanitné vedy
Knižničná veda
Kryogenika
Kryptológia
Kulturológia
Literárna veda
Medzidisciplinárne oblasti
Metódy kvantitatívnej analýzy
Metavedy
Metodika
Text je dostupný za podmienok Creative
Commons Attribution/Share-Alike License 3.0 Unported; prípadne za ďalších
podmienok.
Podrobnejšie informácie nájdete na stránke Podmienky
použitia.
www.astronomia.sk | www.biologia.sk | www.botanika.sk | www.dejiny.sk | www.economy.sk | www.elektrotechnika.sk | www.estetika.sk | www.farmakologia.sk | www.filozofia.sk | Fyzika | www.futurologia.sk | www.genetika.sk | www.chemia.sk | www.lingvistika.sk | www.politologia.sk | www.psychologia.sk | www.sexuologia.sk | www.sociologia.sk | www.veda.sk I www.zoologia.sk