DEFREN

Login und Suche



CH Open Sponsoren

AdNovum Informatik AG - /ch/open-Sponsor
Open Source Big Data mit Apache Hadoop

Open Source Big Data mit Apache Hadoop

von Sandro Lehmann, mimacom ag | 22.07.2015

Apache Hadoop, mit seinem schnell wachsenden Ökosystem, geniesst als Lösung für Big Data seit einiger Zeit viel Aufmerksamkeit. Dieser Beitrag zeigt, wie die beiden Projekte Spring for Apache Hadoop und Spring XD den Einstieg ind die Welt von Hadoop erleichtern.

Hadoop ist nach wie vor DIE Plattform für «Big Data» und verteiltes Rechnen. Jedoch besitzt Hadoop ein Low-Level-Programmiermodell, welches die Programmierung aufwändig macht. Man kommt häufig nicht darum herum, viel Infrastruktur-Code zu schreiben. Bereits für das Konfigurieren eines einfachen Jobs müssen einige Zeilen Java programmiert werden, ganz abgesehen von der Programmierung der dazugehörenden Funktionen selbst. Deswegen gibt es eine Reihe von Erweiterungen, die auf Hadoop aufbauen, auf einer höheren Abstraktionsebene sind und somit die Komplexität vermindern.

 

Spring for Apache Hadoop

Aus diesen Gründen wurde auch das Spring-Projekt «Spring for Apache Hadoop» ins Leben gerufen. Das Ziel von «Spring for Apache Hadoop» ist die Vereinfachung der Entwicklung von Hadoop-Applikationen. Es bietet ein bekanntes und konsistentes Programmierungs- und Konfigurationsmodell an. Das Spring-Projekt baut zudem auf existierenden Service-Layer-Abstraktionen auf. Das Spring-Framework und die Erweiterungen Spring Batch, Spring Integration und Spring Data sind integrierte Bestandteile. Die Vorteile liegen auf der Hand - mit all den Komponenten können grosse und komplexe Applikationen gebaut werden.

 

Spring XD

Für die Validation, die Verarbeitung und den Import (Data-Ingestion) von Daten in Hadoop drängt sich die Verwendung von Spring XD auf, da die Vereinfachung dieser Funktionen eines der Hauptziele des Projekts ist. Spring XD kann als verteilter und erweiterbarer Service für Data-Ingestion, Echtzeitanalyse, Batch-Jobs und Datenexport genutzt werden. Ein sogenannter Stream definiert in der Welt von Spring XD die ereignisgesteuerte Datenaufnahme von einer Source (Datenquelle) zu einem Sink (Datenausgabe), mit einer beliebige Anzahl von Prozessoren (z.B. Filter und Transformatoren) dazwischen. Streams haben eine lange Lebensdauer und müssen manuell gestoppt werden, falls man sie nicht mehr braucht. Die Module (Sourcen, Sinks und Prozessoren) werden mit einem Pipe-Symbol verbunden (analog dem Verbinden von einzelnen Befehlen auf einer Unix-Shell). Das vereinfacht den Einstieg für gewohnte Unix-Benutzer. Die einzelnen Module basieren wiederum auf Spring-Programmen und lassen sich auch gut selbst modifizieren oder neu entwickeln. Spring ermöglicht die Einsparung eines erheblichen Entwicklungsaufwands von Big-Data-Applikationen basierend auf Apache Hadoop.

 

Fazit

Die beiden vorgestellten Spring-Projekte sind für gewohnte Anwender von Spring schnell erschliessbar und bieten viele attraktive Funktionalitäten. Spring vereinfacht und beschleunigt die Entwicklung erheblich. Komplexität wird verborgen und der Entwickler kann sich mehr den fachlichen Aufgaben widmen. Mit geringem Aufwand lassen sich bereits vielschichtige Applikationen ableiten, für deren Entwicklung man ohne Spring viel mehr Zeit investieren müsste.

 

_______________________________________________________________

Über den Autor

Sandro Lehmann ist als Senior Software Engineer bei der mimacom ag tätig. Seine Schwerpunkte sind Projekte in der Entwicklung von Individualsoftware. Seit mehreren Jahren arbeitet er mit diversen Spring-Projekten und Webtechnologien.


herunterladen (PDF 184.3 KB)


Weiterführende Informationen aus dem OSS Directory

mimacom ag

mimacom.com | 170 Mitarbeitende | 16 Referenzen | 4 Produkte


«Wir wollen uns selber immer wieder übertreffen - bevor es andere tun. Erstens zum Nutzen unserer Kunden und zweitens im Interesse von uns selbst». mimacom besticht seit über 15 Jahren d...

» Mehr
Letzte Aktualisierung: 30.03.2017  -  Anzahl Ansichten seit dem 01. April 2013: 986
Erstellt: 14.10.2012

Apache Hadoop

Software-Entwicklung / Frameworks
1 Firma, 0 Referenzen


Apache Hadoop ist ein in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software. Es basiert auf dem MapReduce-Algorithmus von Google Inc. sowie auf Vorschlägen des Google...

» Mehr
Letzte Aktualisierung: 17.11.2016  -  Anzahl Ansichten seit dem 01. April 2013: 252
Erstellt: 14.06.2015

OSS Nutzer:
SRG SSR

DIKON Planungsapplikation für SRG SSR

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


 

Das System unterstützt bei der SRG SSR im Geschäftsfeld Programm-Distribution die Planung, Konzessionierung und den Betrieb der schweizweiten Programmverbreitun...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 329
Erstellt: 07.11.2012

OSS Nutzer:
armasuisse VBS

MILVER zur Verwaltung von militärischen Vorschriften für armasuisse VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


 

Milver ist eine Applikation zur Verwaltung und Speicherung von Militärischen Verordnungen und Aufträgen. Dabei wird mit grossen Datenmengen und zahlreichen Obje...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 487
Erstellt: 07.11.2012

AGATE Portal als nationales Agrarinformationssystem für das Bundesamt für Landwirtschaft EVD

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


Mit Agate hat mimacom im 2010 ein Portal umgesetzt, welches die Plattform des nationalen Agrarinformationssystems von Bund, Kantonen und der Privatwirtschaft bildet. Dieses unterstü...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 361
Erstellt: 07.11.2012

ZEMIS zur Verwaltung ausländischer Personendaten für das Bundesamt für Migration EJPD

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


mimacom unterstützte das Bundesamt für Migration (eine Bundesbehörde des Justiz- und Polizeidepartements) massgeblich bei der Qualitätssicherung, Testmanagement und Einführung d...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 413
Erstellt: 07.11.2012

MELANI-Net zur Früherkennung von Cyber-Attacken für das Informatiksteuerungsorgan des Bundes EFD

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


 

Pannen, Ausfälle sowie elektronische Attacken (z.B. durch Hacker) oder Malware (wie Viren und Würmer) stellen eine Bedrohung für die Informations- und Kommunik...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 452
Erstellt: 07.11.2012

SIBAD zur elektronischen Sicherheitsüberüberprüfungen für Informations- und Objektsicherheit VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


Webplattform zur Verwaltung und Bearbeitung von elektronischen Sicherheitsüberprüfungen durch Mitarbeiter der Objekt- und Informationssicherheit des Eidgenössischen Departements f...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 531
Erstellt: 07.11.2012

SPHAIR Portal zur Verwaltung von Bewerberdaten für die Schweizer Luftwaffe VBS

Branche: Verwaltung: Bundesverwaltung
Ausgeführt durch mimacom ag


Für die Schweizer Luftwaffe hat die mimacom in 2011 ein Portal für die Organsiation SPHAIR entwickelt, welche für die Durchführung von Eingungstests für Piloten zuständig ist. ...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 421
Erstellt: 07.11.2012

OSS Nutzer:
Kanton Waadt

Cyberadministration eGovernment-Plattform für den Kanton Waadt

Branche: Verwaltung: Kantonsverwaltung
Ausgeführt durch mimacom ag


Cyberadministration ist die eGovernment-Plattform des Kantons Waadt. mimacom hat den Kanton mit Beratung in der Einführung von Good Practices und der Grundkonfiguration der projekts...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 343
Erstellt: 07.11.2012

OSS Nutzer:
Kanton Wallis

JEE ICEfaces Beratung und Unterstützung für den Kanton Wallis

Branche: Verwaltung: Kantonsverwaltung
Ausgeführt durch mimacom ag


Beratung und Unterstützung bei der Entwicklung mit JEE ICEfaces. Integration von Office-Dokumenten aus dem Content Management System heraus in eine mimacom Standardapplikation....

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 294
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

Invoice Reporting Auswertungsapplikation für Grossunternehmen für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Invoice Reporting ist eine umfassende Lösung zur Rechnungsübersicht und zur Auswertung der vom Kunden bezogenen Leistungen der Swisscom.

Success-Story Invoice Reportiingwe...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 718
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

RAS zur Verwaltung der Remote Access Services für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Verwaltungs- und Reportingapplikation für Remote Access Services (RAS). Rich-Client für die Administration, sowie Web-Client für den Kundenzugriff.

weitere Referenze...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 331
Erstellt: 07.11.2012

OSS Nutzer:
Swisscom (Schweiz) AG

Heureka webbasierte Reportingapplikation für Swisscom

Branche: Informatik und Telekommunikation, Medienunternehmen
Ausgeführt durch mimacom ag


Heureka besteht aus einer webbasierten Reportingapplikation für Voice- und Trafficdaten, sowie über Incidents und Orders und dem dazugehörigen Datawarehouse. Monatlich werden eine...

» Mehr
Letzte Aktualisierung: 10.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 329
Erstellt: 07.11.2012

OSS Nutzer:
Atupri Krankenkasse

Atupri KBM Beschwerdemanagementsystem für die Atupri Krankenkasse

Branche: Banken und Versicherungen
Ausgeführt durch mimacom ag


Die Atupri Krankenkasse benötigte ein Beschwerdemanagement (Complaint Management), welches sie die Bedürfnisse und Wünsche ihrer Kunde besser und effizienter entgegen nehmen und bearbeit...

» Mehr
Letzte Aktualisierung: 22.10.2014  -  Anzahl Ansichten seit dem 01. April 2013: 497
Erstellt: 07.11.2012

OSS Nutzer:
Basler Versicherungen

MyBasler Mitarbeiterportal für die Basler Versicherungen

Branche: Banken und Versicherungen
Ausgeführt durch mimacom ag


Für das Mitarbeiterportal MyBasler hat mimacom die CI/CD für Liferay auf der Basis von ICEfaces umgesetzt und Basler tatkräftig in der Portaletentwicklung unterstützt. Dies sowoh...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 633
Erstellt: 07.11.2012

OSS Nutzer:
beeline

beeBOP System zur Ressourcenplanung für beeline

Branche: Detail- und Fachhandel
Ausgeführt durch mimacom ag


mimacom implementiert bei der Firma beeline zusammen mit deren internen IT Abteilung eine neue Business Operating Plattform (ERP System). Zur optimalen Unterstützung der Geschäftsp...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 358
Erstellt: 07.11.2012

OSS Nutzer:
Straumann AG

myStraumann Intranetlösung für die Straumann AG

Branche: Gesundheitssektor, Pharma, Chemie
Ausgeführt durch mimacom ag


Mit myStraumann 2.0 hat mimacom eine globale Intranetlösung im Bereich der standorts-, rollen- und organisationsspezifischen Erfassung und Bereitstellung von Content realisiert. Das...

» Mehr
Letzte Aktualisierung: 13.01.2014  -  Anzahl Ansichten seit dem 01. April 2013: 1629
Erstellt: 07.11.2012

Mitgliedschaft bei /ch/open

Der Vorstand der /ch/open wird jährlich an der Mitgliederversammlung gewählt und arbeitet vorwiegend ehrenamtlich. Werden Sie Mitglied des Vereins /ch/open und unterstützen Sie die Förderung von Open Source Software in der Schweiz.

Einzelmitgliedschaft
Für alle, die persönlich die Anliegen und Aktivitäten von /ch/open unterstützen und kostenlos an Abendveranstaltungen und am Open Business Lunch teilnehmen möchten.
CHF 100.– pro Jahr

Einzelmitgliedschaft für Personen in Ausbildung
Personen in Ausbildung erhalten eine Ermässigung des Mitgliederbeitrags.
CHF 20.– pro Jahr

Kollektivmitgliedschaft
Für Unternehmen, öffentliche Verwaltung, Schulen und andere juristische Personen: Alle Mitarbeiter solcher Organisationen geniessen die gleichen Möglichkeiten und Vergünstigungen wie Einzelmitglieder. Eine definierte Kontaktperson erhält alle Korrespondenz.
CHF 450.– pro Jahr

Sponsormitgliedschaft
Für Mitglieder, welche die Anliegen der /ch/open besonders unterstützen möchten: Sponsormitglieder können Anfang Jahr am /ch/open Sponsoren-Dinner teilnehmen, werden auf der /ch/open Website und dem Portal www.opensource.ch mit Logo aufgeführt, in allen Mailings namentlich mit Link erwähnt und können beliebig viele Projekte und Referenzen im OSS Directory verlinken.
CHF 1000.– pro Jahr

Die Anmeldung für die Mitgliedschaft, die Vereinsstatuten sowie viele weitere Informationen sind auf der Website zu finden:
http://www.ch-open.ch/anmeldeformular_mitgliedschaft/

Twitter Feed







Links

Über unsNewsletterKontaktNutzungsbedingungenCH Open Initiativen