Search
K

BigData

大きなデータを取り扱うアクションの一覧です。

BigQuery

概要

BigQueryは、Google の BigQuery のクエリを利用できます。

パラメーター

*は、必須パラメーター
名前
概要
provider*
文字列
プロバイダーID
bigquery_xxxxxxxx
query
文字列
クエリそのもの
SELECT * from autoro.userdata.histories order by timestamp ASC
location
文字列
データセットが配置されているロケーションを指定します。
asia-northeast1

アウトプット

タイプ
概要
Array
JSON形式
Queryの結果
※使用例のアウトプット参照

使用例

クエリー SELECT * from autoro.userdata.histories order by timestamp ASC を実行する
# BigQueyを叩く
+bigquery_1:
action>: BigQuery
provider: bigquery_xxxxxxxx
query: |
SELECT name
FROM `bigquery-public-data.usa_names.usa_1910_2013`
WHERE state = 'TX'
LIMIT 10
location: US
#=>
# [
# {
# "name": "Frances"
# },
# {
# "name": "Alice"
# },
# {
# "name": "Beatrice"
# },
# {
# "name": "Ella"
# },
# {
# "name": "Gertrude"
# },
# {
# "name": "Josephine"
# },
# {
# "name": "Lula"
# },
# {
# "name": "Blanche"
# },
# {
# "name": "Marjorie"
# },
# {
# "name": "Christine"
# }
# ]

BigQueryImportCSV

概要

BigQueryImportCSVは、Google の BigQuery にCSVファイルからデータをインポートするアクションです。

パラメーター

*は、必須パラメーター
名前
概要
filename*
文字列
使用するCSVファイル名
+get_file_1
provider*
文字列
プロバイダーID
bigquery_xxxxxxxx
dataset*
文字列
データセットID
my_dataset
table*
文字列
テーブルID。tableが存在しない場合は入力したtable_idでtableが作られます。存在している場合は、指定したテーブルにデータが追加されます。
my_table
headers*
真理値
CSVにヘッダーが含まれている場合はtrue
true
schema
JSON
テーブルのスキーマ。Jsonで指定してください。使えるフィールドは次のURLを参照してください。https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#TableFieldSchema
{"fields": [{"name": "name", "type": "STRING", "description": "名前", "mode": "REQUIRED"}, {"name": "weight", "type": "FLOAT", "description": "体重", "mode": "NULLABLE"}]}

アウトプット

タイプ
概要
Boolean
真理値
完了するとtrueとなる(エラーがなければ、常にtrue)
true

使用例

CSVファイルからmy_datasetデータセットのmy_tableテーブルにデータをインポートする。
# BigQueyを叩く
+big_query_import_c_s_v_1:
action>: BigQueryImportCSV
filename: +get_file_1
provider: bigquery_xxxxxxxx
dataset: my_dataset
table: my_table
headers: true
schema: "{\n \"fields\": [\n {\n \"name\": \"name\",\n \"type\": \"STRING\",\n \"description\": \"名前\",\n \"mode\": \"REQUIRED\"\n },\n {\n \"name\": \"weight\",\n \"type\": \"FLOAT\"\n }\n ]\n}"
#=> true