Machine-Learning-Anwendungen entwickeln mit RStudio und sparklyr
Im Zusammenspiel mit Apache Spark und Amazons Elastic Map Reduce (EMR) lässt sich eine skalierbare Datenverarbeitungs-Pipeline mit R und RStudio aufbauen.
Als offenes Datenverarbeitungsframework hat sich in den letzten Jahren Apache Spark in den Bereichen Data Engineering und Data Science etabliert. Eine üppige Auswahl an parallelen Machine-Learning-Algorithmen erlaubt es, damit sowohl lokal mit wenig Daten als auch in großen Clustern ML-Anwendungen zu entwickeln.
R – ein alter Bekannter
Die Programmiersprache R existiert bereits seit den 1990er-Jahren. Version 1.0 erschien im Jahr 2000. R stammt in direkter Linie von der Statistiksprache S ab, deren Wurzeln noch weiter zurückreichen. Die statistischen und analytischen Modelle der Programmiersprache sind besonders bei Anwendern interaktiver Datenanalysen, Statistik und Zeitreihenprognosen beliebt. Schon für die ersten Versionen von Hadoop gab es mit RHadoop und RHive Schnittstellen, um auch von der R-Umgebung aus auf verteilte Dateisysteme und die Computing-Power von Clustersystemen zuzugreifen.
Seit Version 1.4 liefert auch das In-Memory-Framework Spark mit SparkR eine Schnittstelle für R mit. Damit können Fans der Programmiersprache gleich zwischen zwei Tools wählen, wenn sie große Datenmengen mit der Kombination aus Spark und R verarbeiten wollen. Neben SparkR gibt es sparklyr, das von Javier Luraschi und anderen aus dem RStudio-Projekt entwickelt wird. Welches das bessere Framework ist, soll an dieser Stelle nicht beleuchtet werden. Einen guten Überblick über die Vor- und Nachteile beider Frameworks finden Sie hier.
Das war die Leseprobe unseres heise-Plus-Artikels "Machine-Learning-Anwendungen entwickeln mit RStudio und sparklyr".
Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Nur bis zum 31. Mai: heise+ 1 Jahr für nur 1,90 pro Woche lesen. Unbegrenzter Zugriff auf alle heise+ Artikel inklusive allen Digital-Magazinen.Länger lesen, mehr sparen: heise+ 1 Jahr lang für nur 1,90 € pro Woche lesen und brandaktuelles IT- und Tech-Wissen sichern. Zugriff auf alle heise+ Artikel inklusive der Digital-Magazine. Nur bis zum 31. Mai!