BigData

大きなデータを取り扱うアクションの一覧です。
BigQuery
概要
BigQueryは、Google の BigQuery のクエリを利用できます。
パラメーター
*は、必須パラメーター
名前
型
概要
例
provider*
文字列
プロバイダーID
bigquery_xxxxxxxx
query
文字列
クエリそのもの
SELECT * from autoro.userdata.histories order by timestamp ASC
location
文字列
データセットが配置されているロケーションを指定します。
asia-northeast1
アウトプット
タイプ
型
概要
例
Array
JSON形式
Queryの結果
※使用例のアウトプット参照
使用例
クエリー SELECT * from autoro.userdata.histories order by timestamp ASC を実行する
# BigQueyを叩く
+bigquery_1:
  action>: BigQuery
  provider: bigquery_xxxxxxxx
  query: |
    SELECT name
    FROM `bigquery-public-data.usa_names.usa_1910_2013`
    WHERE state = 'TX'
    LIMIT 10
  location: US
​
#=>
# [
#   {
#     "name": "Frances"
#   },
#   {
#     "name": "Alice"
#   },
#   {
#     "name": "Beatrice"
#   },
#   {
#     "name": "Ella"
#   },
#   {
#     "name": "Gertrude"
#   },
#   {
#     "name": "Josephine"
#   },
#   {
#     "name": "Lula"
#   },
#   {
#     "name": "Blanche"
#   },
#   {
#     "name": "Marjorie"
#   },
#   {
#     "name": "Christine"
#   }
# ]
BigQueryImportCSV
概要
BigQueryImportCSVは、Google の BigQuery にCSVファイルからデータをインポートするアクションです。
パラメーター
*は、必須パラメーター
名前
型
概要
例
filename*
文字列
使用するCSVファイル名
+get_file_1
provider*
文字列
プロバイダーID
bigquery_xxxxxxxx
dataset*
文字列
データセットID
my_dataset
table*
文字列
テーブルID。tableが存在しない場合は入力したtable_idでtableが作られます。存在している場合は、指定したテーブルにデータが追加されます。
my_table
headers*
真理値
CSVにヘッダーが含まれている場合はtrue
true
schema
JSON
テーブルのスキーマ。Jsonで指定してください。使えるフィールドは次のURLを参照してください。https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#TableFieldSchema​
{"fields": [{"name": "name", "type": "STRING", "description": "名前", "mode": "REQUIRED"}, {"name": "weight", "type": "FLOAT", "description": "体重", "mode": "NULLABLE"}]}
アウトプット
タイプ
型
概要
例
Boolean
真理値
完了するとtrueとなる（エラーがなければ、常にtrue）
true
使用例
CSVファイルからmy_datasetデータセットのmy_tableテーブルにデータをインポートする。
# BigQueyを叩く
+big_query_import_c_s_v_1:
  action>: BigQueryImportCSV
    filename: +get_file_1
    provider: bigquery_xxxxxxxx
    dataset: my_dataset
    table: my_table
    headers: true
    schema: "{\n    \"fields\": [\n        {\n            \"name\": \"name\",\n            \"type\": \"STRING\",\n            \"description\": \"名前\",\n            \"mode\": \"REQUIRED\"\n        },\n        {\n            \"name\": \"weight\",\n            \"type\": \"FLOAT\"\n        }\n    ]\n}"
​
#=> true

名前	型	概要	例
provider*	文字列	プロバイダーID	bigquery_xxxxxxxx
query	文字列	クエリそのもの	`SELECT * from autoro.userdata.histories order by timestamp ASC`
location	文字列	データセットが配置されているロケーションを指定します。	asia-northeast1

タイプ	型	概要	例
Array	JSON形式	Queryの結果	※使用例のアウトプット参照

名前	型	概要	例
filename*	文字列	使用するCSVファイル名	+get_file_1
provider*	文字列	プロバイダーID	bigquery_xxxxxxxx
dataset*	文字列	データセットID	my_dataset
table*	文字列	テーブルID。tableが存在しない場合は入力したtable_idでtableが作られます。存在している場合は、指定したテーブルにデータが追加されます。	my_table
headers*	真理値	CSVにヘッダーが含まれている場合はtrue	true
schema	JSON	テーブルのスキーマ。Jsonで指定してください。使えるフィールドは次のURLを参照してください。https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#TableFieldSchema	{"fields": [{"name": "name", "type": "STRING", "description": "名前", "mode": "REQUIRED"}, {"name": "weight", "type": "FLOAT", "description": "体重", "mode": "NULLABLE"}]}

タイプ	型	概要	例
Boolean	真理値	完了するとtrueとなる（エラーがなければ、常にtrue）	true

Last modified 1yr ago