Yocker
  1. Yocker
  3. Partizionamento in scintilla durante la lettura da RDBMS tramite JDBC
Intereting Posts
Ottieni i campi di input del modulo usando jQuery? ServiceStack vs API Web ASP.Net Restituisci un tipo specifico all’interno di Haskell Come posso specificare la versione richiesta di Node.js in packages.json? Immagine negozio ASP.NET in SQL e recuperare per Asp: Image Test di moka con opzioni o parametri extra Modello all’interno del modello: perché “` >> ‘dovrebbe essere `>>’ all’interno di un elenco di argomenti template annidato” Perché sottraendo ‘0’ in C risulta il numero che il char sta rappresentando? stili completi per lo zoom CSS cross-browser Grails 2.3.0 Auto-ricarica non funzionante Aggiunta di BigDecimals usando gli Stream Fare il giro degli URL per fare la stessa cosa lettura e ricerca di testi in file pdf Geocoding di Google Maps v3 lato server Download di Docx da IE: impostazione dei tipi MIME in IIS

Partizionamento in scintilla durante la lettura da RDBMS tramite JDBC

Sto facendo scintilla in modalità cluster e leggendo i dati da RDBMS tramite JDBC.

Come da Spark doc , questi parametri di partizionamento descrivono come partizionare la tabella quando si legge in parallelo da più worker: 

partitionColumn, lowerBound, upperBound, numPartitions

Questi sono parametri opzionali.

Cosa accadrebbe se non specificassi questi:

  • Solo 1 lavoratore ha letto l’intero dato?
  • Se legge ancora parallelamente, come si partiziona i dati?