DEFREN

Login und Suche



CH Open Sponsoren

MD Systems - /ch/open-Sponsor
Open Source Big Data mit Apache Hadoop

Open Source Big Data mit Apa­che Hadoop

von San­dro Leh­mann, mima­com ag | 22.07.2015

Apa­che Hadoop, mit sei­nem schnell wach­sen­den Öko­sys­tem, geniesst als Lösung für Big Data seit eini­ger Zeit viel Auf­merk­sam­keit. Die­ser Bei­trag zeigt, wie die bei­den Pro­jekte Spring for Apa­che Hadoop und Spring XD den Ein­stieg ind die Welt von Hadoop erleichtern.

Hadoop ist nach wie vor DIE Platt­form für «Big Data» und ver­teil­tes Rech­nen. Jedoch besitzt Hadoop ein Low-​Level-​Programmiermodell, wel­ches die Pro­gram­mie­rung auf­wän­dig macht. Man kommt häu­fig nicht darum herum, viel Infrastruktur-​Code zu schrei­ben. Bereits für das Kon­fi­gu­rie­ren eines ein­fa­chen Jobs müs­sen einige Zei­len Java pro­gram­miert wer­den, ganz abge­se­hen von der Pro­gram­mie­rung der dazu­ge­hö­ren­den Funk­tio­nen selbst. Des­we­gen gibt es eine Reihe von Erwei­te­run­gen, die auf Hadoop auf­bauen, auf einer höhe­ren Abs­trak­ti­ons­ebene sind und somit die Kom­ple­xi­tät vermindern.

Spring for Apa­che Hadoop

Aus die­sen Grün­den wurde auch das Spring-​Projekt «Spring for Apa­che Hadoop» ins Leben geru­fen. Das Ziel von «Spring for Apa­che Hadoop» ist die Ver­ein­fa­chung der Ent­wick­lung von Hadoop-​Applikationen. Es bie­tet ein bekann­tes und kon­sis­ten­tes Pro­gram­mie­rungs– und Kon­fi­gu­ra­ti­ons­mo­dell an. Das Spring-​Projekt baut zudem auf exis­tie­ren­den Service-​Layer-​Abstraktionen auf. Das Spring-​Framework und die Erwei­te­run­gen Spring Batch, Spring Inte­gra­tion und Spring Data sind inte­grierte Bestand­teile. Die Vor­teile lie­gen auf der Hand — mit all den Kom­po­nen­ten kön­nen grosse und kom­plexe Appli­ka­tio­nen gebaut werden.

Spring XD

Für die Vali­da­tion, die Ver­ar­bei­tung und den Import (Data-​Ingestion) von Daten in Hadoop drängt sich die Ver­wen­dung von Spring XD auf, da die Ver­ein­fa­chung die­ser Funk­tio­nen eines der Haupt­ziele des Pro­jekts ist. Spring XD kann als ver­teil­ter und erwei­ter­ba­rer Ser­vice für Data-​Ingestion, Echt­zeit­ana­lyse, Batch-​Jobs und Daten­ex­port genutzt wer­den. Ein soge­nann­ter Stream defi­niert in der Welt von Spring XD die ereig­nis­ge­steu­erte Daten­auf­nahme von einer Source (Daten­quelle) zu einem Sink (Daten­aus­gabe), mit einer belie­bige Anzahl von Pro­zes­so­ren (z.B. Fil­ter und Trans­for­ma­to­ren) dazwi­schen. Streams haben eine lange Lebens­dauer und müs­sen manu­ell gestoppt wer­den, falls man sie nicht mehr braucht. Die Module (Sour­cen, Sinks und Pro­zes­so­ren) wer­den mit einem Pipe-​Symbol ver­bun­den (ana­log dem Ver­bin­den von ein­zel­nen Befeh­len auf einer Unix-​Shell). Das ver­ein­facht den Ein­stieg für gewohnte Unix-​Benutzer. Die ein­zel­nen Module basie­ren wie­derum auf Spring-​Programmen und las­sen sich auch gut selbst modi­fi­zie­ren oder neu ent­wi­ckeln. Spring ermög­licht die Ein­spa­rung eines erheb­li­chen Ent­wick­lungs­auf­wands von Big-​Data-​Applikationen basie­rend auf Apa­che Hadoop.

Fazit

Die bei­den vor­ge­stell­ten Spring-​Projekte sind für gewohnte Anwen­der von Spring schnell erschliess­bar und bie­ten viele attrak­tive Funk­tio­na­li­tä­ten. Spring ver­ein­facht und beschleu­nigt die Ent­wick­lung erheb­lich. Kom­ple­xi­tät wird ver­bor­gen und der Ent­wick­ler kann sich mehr den fach­li­chen Auf­ga­ben wid­men. Mit gerin­gem Auf­wand las­sen sich bereits viel­schich­tige Appli­ka­tio­nen ablei­ten, für deren Ent­wick­lung man ohne Spring viel mehr Zeit inves­tie­ren müsste.

_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​_​

Über den Autor

San­dro Leh­mann ist als Senior Soft­ware Engi­neer bei der mima­com ag tätig. Seine Schwer­punkte sind Pro­jekte in der Ent­wick­lung von Indi­vi­du­al­soft­ware. Seit meh­re­ren Jah­ren arbei­tet er mit diver­sen Spring-​Projekten und Webtechnologien.


her­un­ter­la­den (PDF 184.3 KB)


Weiterführende Informationen aus dem OSS Directory

mimacom ag

mimacom.com | 170 Mitarbeitende | 16 Referenzen | 4 Produkte


«Wir wollen uns selber immer wieder übertreffen - bevor es andere tun. Erstens zum Nutzen unserer Kunden und zweitens im Interesse von uns selbst». mimacom besticht seit über 15 Jahren d...

» Mehr
Letzte Aktualisierung: 30.03.2017  -  Anzahl Ansichten seit dem 01. April 2013: 1045
Erstellt: 14.10.2012

Apache Hadoop

Software-Entwicklung / Frameworks
1 Firma, 0 Referenzen


Apache Hadoop ist ein in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software. Es basiert auf dem MapReduce-Algorithmus von Google Inc. sowie auf Vorschlägen des Google...

» Mehr
Letzte Aktualisierung: 17.11.2016  -  Anzahl Ansichten seit dem 01. April 2013: 287
Erstellt: 14.06.2015

OSS Nutzer:
SRG SSR

DIKON Planungsapplikation für SRG SSR

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


 

Das System unterstützt bei der SRG SSR im Geschäftsfeld Programm-Distribution die Planung, Konzessionierung und den Betrieb der schweizweiten Programmverbreitun...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 367
Erstellt: 07.11.2012

OSS Nutzer:
armasuisse VBS

MILVER zur Verwaltung von militärischen Vorschriften für armasuisse VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


 

Milver ist eine Applikation zur Verwaltung und Speicherung von Militärischen Verordnungen und Aufträgen. Dabei wird mit grossen Datenmengen und zahlreichen Obje...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 526
Erstellt: 07.11.2012

AGATE Portal als nationales Agrarinformationssystem für das Bundesamt für Landwirtschaft EVD

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


Mit Agate hat mimacom im 2010 ein Portal umgesetzt, welches die Plattform des nationalen Agrarinformationssystems von Bund, Kantonen und der Privatwirtschaft bildet. Dieses unterstü...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 392
Erstellt: 07.11.2012

ZEMIS zur Verwaltung ausländischer Personendaten für das Bundesamt für Migration EJPD

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


mimacom unterstützte das Bundesamt für Migration (eine Bundesbehörde des Justiz- und Polizeidepartements) massgeblich bei der Qualitätssicherung, Testmanagement und Einführung d...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 444
Erstellt: 07.11.2012

MELANI-Net zur Früherkennung von Cyber-Attacken für das Informatiksteuerungsorgan des Bundes EFD

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


 

Pannen, Ausfälle sowie elektronische Attacken (z.B. durch Hacker) oder Malware (wie Viren und Würmer) stellen eine Bedrohung für die Informations- und Kommunik...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 482
Erstellt: 07.11.2012

SIBAD zur elektronischen Sicherheitsüberüberprüfungen für Informations- und Objektsicherheit VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


Webplattform zur Verwaltung und Bearbeitung von elektronischen Sicherheitsüberprüfungen durch Mitarbeiter der Objekt- und Informationssicherheit des Eidgenössischen Departements f...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 559
Erstellt: 07.11.2012

SPHAIR Portal zur Verwaltung von Bewerberdaten für die Schweizer Luftwaffe VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


Für die Schweizer Luftwaffe hat die mimacom in 2011 ein Portal für die Organsiation SPHAIR entwickelt, welche für die Durchführung von Eingungstests für Piloten zuständig ist. ...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 450
Erstellt: 07.11.2012

OSS Nutzer:
Kanton Waadt

Cyberadministration eGovernment-Plattform für den Kanton Waadt

Branche: Verwaltung: Kantonsverwaltung
Ausgeführt durch mimacom ag


Cyberadministration ist die eGovernment-Plattform des Kantons Waadt. mimacom hat den Kanton mit Beratung in der Einführung von Good Practices und der Grundkonfiguration der projekts...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 382
Erstellt: 07.11.2012

OSS Nutzer:
Kanton Wallis

JEE ICEfaces Beratung und Unterstützung für den Kanton Wallis

Branche: Verwaltung: Kantonsverwaltung
Ausgeführt durch mimacom ag


Beratung und Unterstützung bei der Entwicklung mit JEE ICEfaces. Integration von Office-Dokumenten aus dem Content Management System heraus in eine mimacom Standardapplikation....

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 325
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

Invoice Reporting Auswertungsapplikation für Grossunternehmen für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Invoice Reporting ist eine umfassende Lösung zur Rechnungsübersicht und zur Auswertung der vom Kunden bezogenen Leistungen der Swisscom.

Success-Story Invoice Reportiingwe...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 748
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

RAS zur Verwaltung der Remote Access Services für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Verwaltungs- und Reportingapplikation für Remote Access Services (RAS). Rich-Client für die Administration, sowie Web-Client für den Kundenzugriff.

weitere Referenze...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 369
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

Heureka webbasierte Reportingapplikation für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Heureka besteht aus einer webbasierten Reportingapplikation für Voice- und Trafficdaten, sowie über Incidents und Orders und dem dazugehörigen Datawarehouse. Monatlich werden eine...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 369
Erstellt: 07.11.2012

OSS Nutzer:
Atupri Krankenkasse

Atupri KBM Beschwerdemanagementsystem für die Atupri Krankenkasse

Branche: Banken und Versicherungen
Ausgeführt durch mimacom ag


Die Atupri Krankenkasse benötigte ein Beschwerdemanagement (Complaint Management), welches sie die Bedürfnisse und Wünsche ihrer Kunde besser und effizienter entgegen nehmen und bearbeit...

» Mehr
Letzte Aktualisierung: 22.10.2014  -  Anzahl Ansichten seit dem 01. April 2013: 529
Erstellt: 07.11.2012

OSS Nutzer:
Basler Versicherungen

MyBasler Mitarbeiterportal für die Basler Versicherungen

Branche: Banken und Versicherungen
Ausgeführt durch mimacom ag


Für das Mitarbeiterportal MyBasler hat mimacom die CI/CD für Liferay auf der Basis von ICEfaces umgesetzt und Basler tatkräftig in der Portaletentwicklung unterstützt. Dies sowoh...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 666
Erstellt: 07.11.2012

OSS Nutzer:
beeline

beeBOP System zur Ressourcenplanung für beeline

Branche: Detail- und Fachhandel
Ausgeführt durch mimacom ag


mimacom implementiert bei der Firma beeline zusammen mit deren internen IT Abteilung eine neue Business Operating Plattform (ERP System). Zur optimalen Unterstützung der Geschäftsp...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 387
Erstellt: 07.11.2012

OSS Nutzer:
Straumann AG

myStraumann Intranetlösung für die Straumann AG

Branche: Gesundheitssektor, Pharma, Chemie
Ausgeführt durch mimacom ag


Mit myStraumann 2.0 hat mimacom eine globale Intranetlösung im Bereich der standorts-, rollen- und organisationsspezifischen Erfassung und Bereitstellung von Content realisiert. Das...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 1673
Erstellt: 07.11.2012

Mitgliedschaft bei /ch/open

Der Vorstand der /ch/open wird jährlich an der Mitgliederversammlung gewählt und arbeitet vorwiegend ehrenamtlich. Werden Sie Mitglied des Vereins /ch/open und unterstützen Sie die Förderung von Open Source Software in der Schweiz.

Einzelmitgliedschaft
Für alle, die persönlich die Anliegen und Aktivitäten von /ch/open unterstützen und kostenlos an Abendveranstaltungen und am Open Business Lunch teilnehmen möchten.
CHF 100.– pro Jahr

Einzelmitgliedschaft für Personen in Ausbildung
Personen in Ausbildung erhalten eine Ermässigung des Mitgliederbeitrags.
CHF 20.– pro Jahr

Kollektivmitgliedschaft
Für Unternehmen, öffentliche Verwaltung, Schulen und andere juristische Personen: Alle Mitarbeiter solcher Organisationen geniessen die gleichen Möglichkeiten und Vergünstigungen wie Einzelmitglieder. Eine definierte Kontaktperson erhält alle Korrespondenz.
CHF 450.– pro Jahr

Sponsormitgliedschaft
Für Mitglieder, welche die Anliegen der /ch/open besonders unterstützen möchten: Sponsormitglieder können Anfang Jahr am /ch/open Sponsoren-Dinner teilnehmen, werden auf der /ch/open Website und dem Portal www.opensource.ch mit Logo aufgeführt, in allen Mailings namentlich mit Link erwähnt und können beliebig viele Projekte und Referenzen im OSS Directory verlinken.
CHF 1000.– pro Jahr

Die Anmeldung für die Mitgliedschaft, die Vereinsstatuten sowie viele weitere Informationen sind auf der Website zu finden:
http://www.ch-open.ch/anmeldeformular_mitgliedschaft/

Twitter Feed







Links

Über unsNewsletterKontaktNutzungsbedingungenCH Open Initiativen