Arbeiten mit den Daten

Nachdem wir mit den letzten beiden Jobs sichergestellt hatten, dass das Talend-Produkt problemlos mit unserem Hadoop-SystemHadoop und erzeugten mit dem Talend-Werkzeug einen Code, der dann in das Hadoop-SystemHadoop-Dateisystem ab.

HadoopMapReduceMapReduceMaster-NodeTeil-Anfragendirekt Master-Node. Im zweiten Schritt ("Reduce") sammelt der Master diese Antworten wieder eineiner

Um MapReduce-Programme zu erstellen, die auf Hadoop laufen, kommt die "PigPigMapReduce spezielle Programme schreiben. Der Code Generator Talend Enterprise Data Integration nimmt IhnenIhnen -Umgebung zu definieren, den Code zu erzeugen (zum Beispiel MapReduce oder Pig Latin), an die Hadoop-Umgebung

tPigLoad" an, das die zu untersuchenden Daten laden sollte. Ihm gaben wir als Konfigurationsparameter unter anderem wieder den Hadoop-Servernamen, die Hadoop-Version, den BenutzeraccounttPigRow" und teilten ihm mit, welches Feld welchen Wert haben sollte, um die Abfrage nach der Kundenummer umzusetzen.

Mit Hilfe des Hadoop-Webinterfaces Sie sich jederzeit PresSservice)

Talend

Die Antwort definierten wir mit einem Icon namens "tPigStoreResultzuordneten. Zum Schluss stellten wir noch Verbindungen zwischen den einzelnen Icons her, diesmal nicht mit der rechten Maustaste, sondern durch einen Rechtsklick auf das betroffene Element und die Auswahl des Befehle "Pig CombineHadoop-SystemHadoop-Servers das Ergebnis betrachten, das wie erwartet ausfiel. Die Arbeit mit den Pig-Elementen lief im Test also ebenfalls vollkommen problemlos ab.

tPigRow-Element durch ein Icon namens "tPigAggregate", dem wir mitteilten, dass wir eine Ausgabespalte namens "Anzahl" haben wollten und dass das System aus der Datenbank mit den Kunden-EHadoop-Server einsehen.