Articles of elaborazione parallela

leggere le variabili globali usando foreach in R

Sto cercando di eseguire un ciclo foreach su un server Windows con una CPU 16 core e 64 GB di RAM usando RStudio. (usando il pacchetto doParallel) I processi “worker” copiano tutte le variabili dall’esterno del ciclo for (osservato osservando l’istanza di questi processi nel task manager di Windows quando viene eseguito il ciclo foreach), […]

Come eseguire attività in parallelo in MSBuild

A meno che non abbia frainteso grossolanamente MSBuild, le attività vengono eseguite nell’ordine del documento in cui appaiono all’interno di un nodo “Target”. Mi piacerebbe essere in grado di specificare che due attività (come le attività di xcopy) potrebbero essere eseguite in parallelo. Mi aspettavo che ci fosse un compito “parallelo” o qualcosa del genere […]

Nested Java 8 parallelo per il ciclo Everybody perform poor. È previsto questo comportamento?

Nota: ho già affrontato questo problema in un altro post SO: l’ utilizzo di un semaforo all’interno di un’azione di stream parallelo Java 8 annidata può DEADLOCK. è un insetto? -, ma il titolo di questo post ha suggerito che il problema è legato all’uso di un semaforo – che ha in qualche modo distratto […]

Cosa determina il numero di thread creati da Java ForkJoinPool?

Per quanto ho capito ForkJoinPool , quel pool crea un numero fisso di thread (predefinito: numero di core) e non creerà mai più thread (a meno che l’applicazione non indichi la necessità di quelli usando managedBlock ). Tuttavia, utilizzando ForkJoinPool.getPoolSize() ho scoperto che in un programma che crea 30.000 attività ( RecursiveAction ), ForkJoinPool esegue […]

Esecuzione di programmi in parallelo usando xargs

Al momento ho lo script corrente. #!/bin/bash # script.sh for i in {0..99}; do script-to-run.sh input/ output/ $i done Vorrei eseguirlo in parallelo usando xargs. Ho provato script.sh | xargs -P8 Ma facendo quanto sopra eseguito solo una volta al momento. Nessuna fortuna con -n8 pure. Aggiungendo & alla fine della riga da eseguire nello […]

Esecuzione di script di shell in parallelo

Ho uno script di shell che mischia un grande file di testo (6 milioni di righe e 6 colonne) ordina il file basato sulla prima colonna emette 1000 file Quindi lo pseudocodice ha questo aspetto file1.sh #!/bin/bash for i in $(seq 1 1000) do Generating random numbers here , sorting and outputting to file$i.txt done […]

Multithreading Puzzles

Sto cercando di inventare alcuni puzzle di programmazione incentrati sul multi-threading. La maggior parte dei problemi che sono riuscito a fare finora sono stati abbastanza specifici per il dominio. Qualcuno ha qualche puzzle di programmazione decente per gli sviluppatori che cercano di imparare i concetti chiave delle applicazioni multi-threading?

C’è un buon modo per estrarre blocchi di dati da un stream java 8?

Io un processo ETL sto recuperando un sacco di entity framework da un archivio di dati di spring. Sto quindi utilizzando un stream parallelo per mappare le quadro a differenti. Posso utilizzare un consumatore per archiviare le nuove entity framework in un altro repository uno per uno o raccoglierle in un elenco e archiviarle in […]

Quanto è costosa la dichiarazione di blocco?

Ho sperimentato con il multi threading e l’elaborazione parallela e avevo bisogno di un contatore per fare un conteggio base e un’analisi statistica della velocità dell’elaborazione. Per evitare problemi con l’uso simultaneo della mia class ho usato un’istruzione lock su una variabile privata nella mia class: private object mutex = new object(); public void Count(int […]

Come articolare la differenza tra la programmazione asincrona e quella parallela?

Molte piattaforms promuovono l’asincronia e il parallelismo come mezzi per migliorare la reattività. Capisco la differenza in generale, ma spesso trovo difficile articolarsi nella mia mente, così come per gli altri. Sono un programmatore di tutti i giorni e uso async e callback abbastanza spesso. Il parallelismo sembra esotico. Ma mi sento come se fossero […]