Yocker
  1. Yocker
  3. Requisiti per convertire Spark dataframe in dataframe Pandas / R
Intereting Posts
Javascript – come trovare l’ebraico? Numerazione del mese basata su zero Qual è il parametro _snowman nei moduli di Ruby on Rails 3? Errore HTTP 404.3 – Non trovato “durante la navigazione del servizio wcf su Windows Server 2008 (64 bit) Evitare AppleScript tramite Ruby: rb-appscript o rubyosa? builtins.TypeError: deve essere str, non byte Saltare i parametri di funzione opzionali in JavaScript Uso del CSS per effetto dissolvenza sul caricamento della pagina La necessità di un modificatore volatile nel doppio blocco controllato in .NET Google Chrome “window.open” soluzione alternativa? Stabilizzazione video con OpenCV Come mettere le etichette su geom_bar in R con ggplot2 Trigger Keypress con jQuery Come posso usare le variabili Ruby / Rails all’interno di Sass? Come rendere trasparente lo sfondo della finestra di Gtk +?

Requisiti per convertire Spark dataframe in dataframe Pandas / R

Sto conducendo Spark su YARN di Hadoop. Come funziona questa conversione? Un collect () ha luogo prima della conversione?

Inoltre ho bisogno di installare Python e R su ogni nodo slave affinché la conversione funzioni? Sto faticando a trovare documentazione su questo.

I dati devono essere raccolti prima che il data frame locale venga creato. Ad esempio, il metodo toPandas presenta come segue: 

 def toPandas(self): import pandas as pd return pd.DataFrame.from_records(self.collect(), columns=self.columns)

Hai bisogno di Python, in modo ottimale con tutte le dipendenze, installato su ciascun nodo.

La controparte di SparkR ( as.data.frame ) è semplicemente un alias da collect .

Per riassumere in entrambi i casi i dati vengono collected sul nodo driver e convertiti nella struttura dati locale ( pandas.DataFrame e base::data.frame in Python e R).