Salva il modello ML per l’utilizzo futuro

Stavo applicando alcuni algoritmi di Apprendimento Automatico come Regressione Lineare, Regressione Logistica e Naive Bayes ad alcuni dati, ma stavo cercando di evitare l’uso di RDD e di iniziare ad usare DataFrames perché gli RDD sono più lenti dei Dataframes in pyspark (vedi foto 1).

• Come accedere all'elemento di una colonna VectorUDT in Spark DataFrame?
• Come migliorare le prestazioni per i lavori Slow Spark che utilizzano la connessione DataFrame e JDBC?
• Come dividere un RDD in due o più RDD?
• Come caricare dipendenze di jar in IPython Notebook
• Come trovare il valore massimo nella coppia RDD?

L’altro motivo per cui sto usando DataFrame è perché la libreria ml ha una class molto utile per regolare i modelli che è CrossValidator questa class restituisce un modello dopo averlo installato, ovviamente questo metodo deve testare diversi scenari, e dopo restituisce un modello adattato ( con le migliori combinazioni di parametri).

Il cluster che uso non è così grande e i dati sono piuttosto grandi e alcuni adattamenti richiedono ore quindi voglio salvare questi modelli per riutilizzarli in seguito, ma non mi sono reso conto di come, c’è qualcosa che sto ignorando?

Gli appunti:

• Converti stringa pyspark in formato data
• spark.ml StringIndexer genera l'etichetta 'Unseen' su fit ()
• Numero di partizioni in RDD e prestazioni in Spark
• Come eseguire le trasformazioni indipendenti in parallelo usando PySpark?
• Pyspark filtra il dataframe per colonne di un altro dataframe

• Le classi del modello di mllib hanno un metodo di salvataggio (cioè NaiveBayes ), ma mllib non ha CrossValidator e usa RDD quindi sto evitandolo premeditatamente.
• La versione corrente è la scintilla 1.5.1.