スリーシェイク、クラウドETL「Reckoner」の接続先DBを拡充、データ加工時の四則演算などを可能に

スリーシェイク(東京都新宿区)は2022年6月14日、クラウドETLツール「Reckoner」を刷新して強化したと発表した。データのETL(抽出/加工/登録)機能をSaaS型で提供するサービスである。特徴は、GUI操作だけでETL処理を設計して実行できること。今回の刷新では、アーキテクチャをApache SparkベースからGoogle BigQueryベースへと変更して処理速度を高めた。機能面では、接続可能なデータベースを増やしたほか、データ加工時の四則演算、実行結果のSNS/メール通知などを追加した。

 スリーシェイクの「Reckoner」は、クラウド型で動作するETL(抽出/加工/登録)ツールである。今回、Reckonerを刷新し、アーキテクチャをApache SparkベースからGoogle BigQueryベースへと変更した。最大で5倍に処理速度を高めたとしている(図1)。

Subscribe to get access

Read more of this content when you subscribe today.

 機能面では、データ加工機能を強化し、四則演算と端数処理を追加した。データ加工時に外部APIを介したデータの取り込みも可能になった。データ加工結果をSNS(Slack、Chatwork)やメール(SendGrid)で配信する機能も追加した。

 接続先となるデータベース/DWHも増やした。これまでの接続対象(BigQuery、MySQLなど)に加えて、Azure SQL、Oracle Database、Snowflakeなどを追加した。

GUI操作だけでETL処理を設計して実行

 Reckonerの最大の特徴は、GUI操作だけでETL処理を設計して実行できることである。ワークフローを作成する、というシンプルなステップだけでETL処理を実行可能である。

 データの読み込み(抽出)と書き出し(登録)は、数クリックのGUI操作で済む。接続先の一覧からサービスを選択し、必要な情報を入力する。スケジューリング機能を使えば、データの書き出しを定期実行することも可能である。ワークフロー同士の依存関係を設定して順番に実行したり、APIを介してワークフローを実行したりといった運用もとれる。

 接続先として、各種データベース(BigQueryやMySQLなど)やSaaSアプリケーション(Salesforceなど)などを指定可能である。

 データの加工/変換も、GUI上でワークフローを作成する操作だけで、加工/変換のためのプログラムを一切書くことなく実行できる。また、データ変換時には、画面上に実際のデータを加工した結果をプレビュー表示できるため、常に結果を確かめながら操作が可能である。

 具体的な加工/変換処理として、文字列の変換、カラムの追加・削除、型・名前の変換、データ同士の結合、値のグループ化、値のバリデーションとフィルタリング、値の集計(合計、平均、最大、最小、カウンタ)、値のハッシュ化、顧客情報のマスキング、フォーマット変換などが可能である。

Original Post>

Enjoyed this article? Sign up for our newsletter to receive regular insights and stay connected.