はじめての方へ

Step8. バルクインポート方法

ビッグデータ分析プラットフォーム「トレジャーデータサービス by IDCF」にBulkuploaderを用いてデータをインポートする方法をご案内します。
事前に「Step5. コマンドラインツールでの操作(Table作成)」を行ってください。

 ※インポート対象のデータが存在することを前提とします。

以下のデータ形式でのインポート方法をご案内します。

・ CSV(時刻あり)
・ CSV(時刻なし)
・ MySQL

より詳細な内容につきましては、https://docs.ybi.idcfcloud.net/categories/bulk-import を参照してください。

CSV(時刻あり)

「トレジャーデータサービス by IDCF」にBulkuploaderを用いて時刻データを持つCSVファイルをインポートする方法をご案内します。

※CSVファイルがあることを前提とします。

1. インポート対象のデータ確認

例として「data.csv」のデータをインポートすることとします。

 "host","log_name","date_time","method","url","res_code","bytes","referer","user_agent"
 "64.242.88.10","-","2014-03-07 16:05:49","GET","/twiki/bin/edit/Main/sender",401,12846,"",""
 "64.242.88.10","-","2014-03-07 16:06:51","GET","/twiki/bin/rdiff/TWiki/NewUser",200,4523,"",""
 "64.242.88.10","-","2014-03-07 16:10:02","GET","/mailman/listinfo/hsdivision",200,6291,"",""
 "64.242.88.10","-","2014-03-07 16:11:58","GET","/twiki/bin/view/TWiki/WikiSyntax",200,7352,"",""

2. インポート実行

以下のコマンドでインポートすることが出来ます。

  $ td import:auto \
    --format csv \  # csvの他にtsv,json,mysqlを指定可能です。
    --auto-create DBNAME.TABLENAME \  # インポート先のDB名、Table名を指定します。
    --column-header \  # 先頭行をカラム名として使用する場合に付けるオプションです。先頭行がカラム名でない場合や、改めて命名したい場合は--columnsオプションを利用します。
    -o /tmp \  # インポート前の一時ファイルを格納する場所を指定します。
    --time-column 'date_time' \  # 時刻カラムを指定します。
    --time-format '%Y-%m-%d %H:%M:%S' \  # 時刻のフォーマットを指定します。
    data.csv

CSV(時刻なし)

「トレジャーデータサービス by IDCF」にBulkuploaderを用いて時刻データがないCSVファイルをインポートする方法をご案内します。

※CSVファイルがあることを前提とします。

1 インポート対象のデータ確認

例として「data.csv」のデータをインポートすることとします。

 AR,item1,146852
 DH,item2,72565
 OP,item3,226643
 BD,item4,112441
 QA,item5,52369

2 インポート実行

以下のコマンドでインポートすることが出来ます。

  $ td import:auto \
    --format csv \  # csvの他にtsv,json,mysqlを指定可能です。
    --auto-create DBNAME.TABLENAME \  # インポート先のDB名、Table名を指定します。
    --columns code,item,amount \
    -o /tmp \  # インポート前の一時ファイルを格納する場所を指定します。
    --timevalue 1426643577 \  # UnixTimeを指定します。
   data.csv

MySQL

「トレジャーデータサービス by IDCF」にBulkuploaderを用いてMySQLのテーブルデータをインポートする方法をご案内します。
事前に
「Step5. コマンドラインツールでの操作(Table作成)」を行ってください。

※MySQLのテーブルがあることを前提とします。

1. インポート実行

以下のコマンドでインポートすることが出来ます。

  $ td import:auto \
    --format mysql \  # mysqlの他にcsv,tsv,jsonを指定可能です。
    --auto-create DBNAME.TABLENAME \  # インポート先のDB名、Table名を指定します。
    --db-url jdbc:mysql://MYSQL_HOST/MYSQL_DB \  # MySQLのhostとDBを指定します。
    --db-user MYSQL_USER \  # MYSQL_DBにアクセス可能なMySQLユーザー名を指定します。
    --db-password MYSQL_PASSWORD \  # MYSQL_USERのパスワードを指定します。
    --time-column date_time \  # 時刻カラムを指定します。
    -o /tmp \  # インポート前の一時ファイルを格納する場所を指定します。
    MYSQL_TABLE  # インポート対象のMySQLテーブル名を指定します。



次ページ

Step9. クエリ実行

このページの先頭へ このページの先頭へ