Articles of google BigQuery

Bigquery aggiunge colonne allo schema della tabella

Sto cercando di aggiungere una nuova colonna alla tabella esistente di BigQuery. Ho provato bq command tool e l’approccio API. Ottengo il seguente errore quando effettuo una chiamata a Tables.update (). Ho provato a fornire lo schema completo con campi aggiuntivi e questo mi dà lo stesso errore, come mostrato di seguito. Con l’API ottengo […]

Creazione / scrittura sulla tabella BigQuery parititoned tramite Google Cloud Dataflow

Volevo sfruttare la nuova funzionalità BigQuery delle tabelle partizionate nel tempo, ma non sono sicuro che ciò sia attualmente ansible nella versione 1.6 di Dataflow SDK. Osservando l’ API JSON di BigQuery , per creare una tabella partizionata del giorno è necessario passare in a “timePartitioning”: { “type”: “DAY” } opzione, ma l’interfaccia com.google.cloud.dataflow.sdk.io.BigQueryIO consente […]

Pianifica la query in BigQuery

Ho una query BigQuery che unisce due tabelle (esportazioni giornaliere di Google Analytics). Quello che voglio è salvare la query come una vista o una tabella, ma avere automaticamente l’aggiornamento della vista / tabella finale ogni giorno quando i nuovi dati di Google Analytics vengono caricati in BigQuery. Grazie per l’aiuto

Come creare colonne variabili fittizie per migliaia di categorie in Google BigQuery?

Ho una semplice tabella con 2 colonne: UserID e Category, e ogni UserID può ripetere con alcune categorie, in questo modo: UserID Category —— ——– 1 A 1 B 2 C 3 A 3 C 3 B Voglio “dummify” questa tabella: cioè creare una tabella di output che abbia una colonna univoca per ogni categoria […]

Come ridimensionare Pivoting in BigQuery?

Diciamo che, per un determinato giorno, ho una tabella delle statistiche di riproduzione video musicale mydataset.stats (file 3B, utenti 1M, artisti 6K). Lo schema semplificato è: UserGUID String, ArtistGUID String Ho bisogno di pivot / transpose artisti da righe a colonne, quindi lo schema sarà: UserGUID String, Artist1 Int, Artist2 Int, … Artist8000 Int Conteggio […]

Imansible accedere a BigQuery dal server di sviluppo App Engine locale

Si tratta in particolare di una domanda relativa all’authorization da server a server tra un’applicazione Google AppEngine python e BigQuery di Google, ma potrebbe essere rilevante per altri servizi cloud. TLDR; È ansible ottenere il server di sviluppo locale App Engine per l’autenticazione con il servizio BigQuery remoto? Meglio ancora c’è un BigQuery locale? Capisco […]

Come faccio a utilizzare la funzione TABLE_QUERY () in BigQuery?

Un paio di domande sulla funzione TABLE_QUERY: Gli esempi mostrano l’uso di table_id nella stringa di query, ci sono altri campi disponibili? Sembra difficile eseguire il debug. Ricevo “errore nella valutazione della query secondaria” quando provo a utilizzarlo. Come funziona TABLE_QUERY() ?

Scrittura di valori diversi su tabelle BigQuery differenti in Apache Beam

Supponiamo che io abbia un PCollection e voglio scriverlo su più tabelle BigQuery, scegliendo una tabella potenzialmente diversa per ogni Foo . Come posso farlo usando l’API di Apache Beam BigQueryIO ?

Migrazione da tabelle non partizionate a partizioni

A giugno il team di BQ ha annunciato il supporto per le tabelle partizionate per data . Ma alla guida manca come migrare le vecchie tabelle non partizionate nel nuovo stile. Sto cercando un modo per aggiornare più o meno tutte le tabelle con il nuovo stile. Anche al di fuori del tipo DAY sono […]