Lakeflow Designer の組み込み演算子

Lakeflow Designer には、一般的なデータ準備タスクと変換タスク用の組み込み演算子が含まれています。 左側の オペレー タウィンドウを開くとカテゴリ別にオペレーターを閲覧できます。または、パレーの上部にある 「オペレーターを検索 」を使ってください。 演算子検索では、意図に基づいて演算子が提案されます。 たとえば、「 average by month 」と入力すると 、Aggregate 演算子が返されます。 「 AI検索でオペレーターを探す」をご覧ください。 キャンバスに追加した後にオペレーターを構成するには、その演算子をダブルクリックするか、その上にマウス ポインターを合わせて をクリックします 。(演算子の編集) をクリックして、構成ウィンドウを開きます。

各オペレーターは、AI によって生成された処理の説明を表示します。 説明は、オペレーターのエディターとしても機能します。説明を編集すると、説明に合わせて演算子が再構成されます。

組み込みのオペレーターがあなたのタスクに合わない場合は、 自分でオペレーターを作成できます。

入力と出力

Source

Unity カタログ テーブルまたはその他のサポートされているソースからデザイナーにデータをインポートします。 ソースを選択するには、名前でテーブルまたはファイルを検索するか、カタログとスキーマで参照します。 このウィンドウから新しいテーブルを作成することもできます。

テーブルを選択すると、ペインにテーブルの名前、所有者、最終更新時刻が表示されます。 [ 新しいデータ ソースの選択 ] をクリックしてソースを変更します。 ソースを変更すると、すべてのダウンストリーム演算子の出力キャッシュが無効になります。

Unity カタログ メトリック ビューをソースとして使用することもできます。 メトリック ビューを選択すると、含めるディメンションとメジャーが選択され、Designer によって集計クエリが生成されます。

Unity カタログのボリュームまたはフォルダー全体をターゲットにするなど、さまざまなデータ インジェスト オプションについては、「 Lakeflow Designer へのデータの取り込み」を参照してください。

データの入力

スプレッドシート スタイルのエディターに値を入力してテーブルを作成します。 この演算子を使用して、参照値やテスト データなどの少量の参照データを追加します。別のソース テーブルは作成しません。

Output

デザイナーからデータをエクスポートします。 出力オペレーターは、結果をUnityカタログテーブルに書き込み、物質化されたビューとして公開するか、Unityカタログボリューム、Googleドライブ、SharePointのファイルに書き込むことができます。 出力タイプで「テーブル」「マテリアライズドビュー」「ファイル」を選択します。 ファイル出力については、 宛先で書き込む場所を選択します。

Unityカタログボリューム内の テーブル 出力または ファイル 出力については、 書き込みモードを選択してください:

[ 実行 ] をクリックしてビジュアル データの準備を実行し、結果を書き込みます。 テーブル出力の場合、テーブルが存在しない場合は、演算子によって作成されます。 スケジュールされた実行は、同じ書き込みモードを使用して宛先に書き込みます。

出力オペレーターがUnityカタログのテーブル、マテリアル化されたビュー、またはボリュームファイルを書き込んだ後、その送信ポートを接続してワークフローを継続します。 テーブル、マテリアル化されたビュー、単一ファイルの出力の場合、送信ポートは 出力 オペレーターが書いた永続的なアセットから直接読み込みます。 分割出力、Excelの範囲書き込み、ヘッダーのないファイルの場合、送信ポートは入力行を通過します。

Unity Catalogボリューム内のファイル出力については、「 Advanced 」を展開して以下のオプションを設定してください:

• 異なる値で分割:各異なる値に対して1つのファイルを書き込むカラムを選択します。 Excel出力の場合は、各値を1つのワークブックに別々のワークシートに書き込むことができます。 1回のランは最大50のファイルやワークシートを作成できます。
• シート名:Excel出力の場合、ターゲットワークシートを設定します。
• ヘッダー行を含める:CSVまたはExcel出力で列名を含める。
• セル範囲:Excel出力をオーバーライトモードで行う場合、開始セルとオプションの終了セルを設定します。 Designerは範囲外のフォーマットを保持し、データが固定範囲に合わなければ実行失敗します。 セルの範囲と Splitを異なる値で組み合わせることはできません。

Google DriveやSharePointにファイルを書き込むには:

1. 出力タイプをファイルに、宛先をGoogle DriveまたはMicrosoft 365(SharePoint)に設定してください。
2. 対応する Genie Codeコネクタ を有効にし、求められたら 「Connect 」を選択します。 宛先フォルダに書き込み権限を持つアカウントでサインインしてください。
3. フォルダURLにGoogleドライブまたはSharePointフォルダへのリンクを貼り付けます。 SharePointでコピーリンクを取得できます。
4. ファイル名を入力し、ファイルタイプを選択し、「実行」をクリックします。

各実行ごとにファイルが作成されるか、同じ名前の既存ファイルの完全な内容(すべてのExcelワークシートを含む)を置き換えます。 エクスポートは最大2.75 MiBのファイルに収まらなければなりません。 プレビューはファイルを書き込まずに入力データを表示します。 スケジュールされた実行は、実行として実行されるユーザーのアカウントとコネクターの認証情報を使用します。

清潔

フィルター

グラフィカル条件ビルダーを使用して、1 つ以上の条件を満たしているかどうかに基づいて行を分割します。

Filter 演算子には 2 つの出力があるため、条件を満たしているかどうかに基づいてデータを分岐できます。

ガードレール

入力データを順序付けられたチェックリストと照らし合わせて検証し、合格した行と失敗した行を区別します。

• 警告し、通過した列を続けてください:
  • 下流の執行は継続されます。
  • すべての有効なチェックに合格した行は 「合格」に送られます。
  • 少なくとも1つの有効なチェックに失敗した行は 失敗に回されます。
  • エラーは 失敗した各チェックに対して1行を含み、そのタイプ、重大度、メッセージを含みます。
• 警告とパス出力のブロック:
  • チェックが失敗した場合、下流の実行は続行されますが、 Passed には行が含まれていません。
  • Failed には 失敗した行が残り、 Errors には 失敗の詳細が残っています。
  • このオプションを使って、パス行の下流処理を防ぎつつ、FailやErrorsの下流処理を可能にします。
• ワークフローが失敗する場合:
  • チェックに失敗した場合、実行は下流演算子が実行される前に停止します。
  • 合格、失敗、エラーの出力は受け取れません。
  • スケジュールジョブでは、実行が失敗としてマークされ、 ジョブ通知などの設定された失敗処理がトリガーされることがあります。

ガードレールオペレーター自体をプレビューしても、「 ワークフローに失敗 」モードで3つの出力すべてを検査できます。

どちらの警告モードでも出力の行を永続化するには、出力演算子に接続してください。

Limit

指定した行の最大数までしか渡さることによって、行数を制限します。

Prepare

入力データに対して 1 つ以上のアクションを連結することで、列をクリーンアップして派生させます。 [ + アクションの追加] をクリックし、アクションを選択します。 必要な数のアクションを追加します。 順番に適用されます。

FormulaとParse JSONを除くすべてのアクションは複数列をサポートしています。

アクションを削除するには、その行にカーソルを合わせ、[ をクリックします。

カスタム列

数式アクションによって式エディターが開き、自然言語または SQL コードを使用して新しい列を作成したり、既存の列を上書きしたりできます。 エディターには 2 つの入力ボックスがあり、双方向です。

• 説明: 列で実行する内容の自然言語の説明を入力します。 DesignerはGenie Codeを使って、以下の対応するコード式を生成します。
• 式: コードを直接記述または編集する場合は、[式の編集] ボタンをクリックします。 式を編集すると、自然言語の説明が自動的に生成されます。

式式エディタで @ と入力すると、演算子の入力列と組み込みの SQL 関数のメニューを開きます。 @ 後にタイプしてリストをフィルタし、挿入するエントリを選択します。列は名前を挿入し、関数はカーソルを括弧内に置いた状態で呼び出しを挿入します。 同じ @ メニューは、カスタムフィルターや結合条件など他の演算子の式エディタでも利用可能です。

準備アクションは一度に一行ずつ作業します。 他の行の値(例えば合計値や前の行の値)から列を計算するには、 マルチ・ロー数式を使います。

Select

入力データから列を選択、名前変更、並べ替えます。

並べ替え

1 つ以上の列の行を並べ替えます。

Unique

入力データから重複する行を削除します。 デフォルトでは、演算子はすべての列で重複を解消します。 代わりに、列のサブセットをキーとして選び、行の順序を並べてどの重複を保持するかを制御できます。

コンバイン

Combine

複数のテーブルからデータをセット操作で単一の出力にまとめます。

Join

入力データセットを列の値に合わせて組み合わせてテーブルをリンクします。

入力が2つある場合、Joinオペレーターはデフォルトで3つの出力を持つため、結合結果に基づいてワークフローを分岐させることができます。

2つの入力がある場合、特定の ジョインタイプ (フル、インナー、左、右)を選択すると、3つの分割出力の代わりに単一のジョインド出力が生成されます。

Transform

AI 関数

データに対して組み込みの AI 操作を実行します。 構成ウィンドウで、[ 関数の選択 ] を開き、次の表のいずれかの関数を選択します。 各関数は、入力 (列、プロンプト、ラベル、言語など) と出力のオプションをペインで公開します。

各関数の詳細については 、「AI関数を使った非構造化データの変換」をご覧ください。

Aggregate

データをグループ化し、集計値を計算して行を集計します。

マルチローフォーミュラ

他の行の値から新しい列を計算します。例えば、実行合計、行番号やレコードID、順位、過去と次の値、行ごとの差、移動平均などです。 計算が隣接する行に依存する場合はマルチ ロー式 を用いてください。 現在の行の値だけを使う計算には Prepareを使いましょう。 オペレーターメニューで Record IDを検索すればオペレーターも見つけることができます。

演算子は順序付けられた式のリストを保持します。 式は上から下へと進み、各式は出力に1列ずつ加算します。 もしある式の列名が既存の列と一致すると、その式はその列を上書きします。 リストが空であるか、すべての式がオフになっている場合、演算子は入力を変更せずに通過させます。

すべての式タイプには 新しい列名 フィールドがあります。 カスタム 式 を除くすべての型には Order by と Group byがあり、これらは式が見る行のウィンドウを定義します。

フォーミュラの種類

以下の表は、共有されたフィールドに加えて各式の種類とそのフィールドを説明します。

前の行との差分、移動平均、指数平滑化について、Of列は数値列のみを一覧にします。 行は離れ、 行は戻り、 ウィンドウ(行)は 1以上の整数を受け入れます。 分数は切り捨てられ、1より小さい数、空欄、または数値でない値が1を使います。 許容範囲外 の平滑化係数(α )は0.3を使用します。 開始は 任意の整数を受け入れ、空欄は1を使用します。 「 Start at」に分数を入力すると、項目は 「Value」が範囲外 で「 Apply 」は利用できません。

以下の条件により、オペレーターは実行時にエラーを返します。

• 例えば、上流演算子が名前を変更したり削除したりした後に入力データに含まれていない Of列 。
• 小数列での指数平滑化。 小数点値を滑らかにするには、まずPrepare Change型 アクションで列をダブルに変換します。
• 指数平滑化は非常に小さい平滑化係数で、約0.002未満です。 もっと大きな値を使いましょう。
• 開始時が2,147,483,647以下の場合、整数列が保持する最大の値である行番号/ランク番号。 価値 のある小さなスタート を使いましょう。

数式の設定

設定パネルで式リストを設定するには、以下のコントロールを使用します:

• 数式を追加してください:「 数式を追加 」をクリックし、式の種類を選択します。 新しい数式はリストの最後にデフォルトのカラム名(例えば running_total)で表示され、そのエディタが起動します。
• 式を編集する:リスト内の数式をクリックすると、そのエディターを開きます。 各式は型と customer_running_total = sum(amount) (by customer_id; ordered by order_date)のような一行の要約を示します。 行番号/ランクについては、1以外の開始地点とrecord_id = row_number() from 1001 as text (ordered by order_id)などのテキスト出力タイプも要約で示されます。 編集者はキャンバス作業中も開いたままです。 閉じるには をクリックしてください。閉じるアイコン。
• 式の並べ替え:式を上下にドラッグする。 式は順番に動作するため、その式が使う列の下に式を移動させます。
• 公式をオフまたはオンに切り替える:公式にカーソルを合わせてスイッチをクリックします。 オフにした公式はリストに残りますが実行されません。
• 公式を複製または削除する:公式にカーソルを合わせ、 ケバブメニューの上で、「 複製 」または 「削除」を選択します。

変更を保存するには、[ 適用] をクリックします。 オンになっている数式に必須フィールドが欠けている場合、 Apply は利用できず、その横に完了すべきフィールドや数式を示すメッセージが表示されます。

ビジュアルデータ準備の編集権限がない場合は、数式のリストとその要約は見られますが、開いたり追加したり、並べ替えたり変更したりすることはできません。

例:各顧客の合計と変更の実行

この例では、各順序ごとに1行の orders テーブルを使用しています:

各顧客の累計金額、前回の注文金額、前回の注文からの変更を計算するには、 orders ソースの後にマルチロー数式演算子を追加し、以下の式を設定します。 各式は順位order_date(昇順)およびグループcustomer_idを使用します。

1. ランニングアグリゲートの公式を追加します。 新しい列名をcustomer_running_totalに、集計を合計に、Of列をamountに設定します。
2. 別の行の式から値を追加します。 新しい列名をprevious_amountに、方向を遅延(前の行)に、Of列をamountに、行を1に設定します。 Leave With(そのような行がなければNullに設定)を残します。
3. 前の行の式から差を加算します。 新しい列名をamount_changeに、Of列をamountに、行を1に戻します。
4. [適用] をクリックします。

以下の表は、顧客と日付で並べ替えた3つの新しい列での出力を示しており、 order_date は省略されています。

各顧客の最初の注文には以前の注文がないため、 previous_amount と amount_change は無効となります。 previous_amountを0で埋めるには、そのような行がなければゼロに設定します。

ピボット

表形式のデータを 2 方向に整形します。 構成ウィンドウの上部にあるタブを使用して、モードを選択します。

列→行 (ピボット)

ある列の個別の値を新しい列ヘッダーに変換し、別の列の集計値でいっぱいにします。

行→列 (ピボット解除)

1 つ以上の列を行に折りたたみます。

列を含める

どちらのモードでも、ピボットされた値またはピボット解除された値と共に出力に残っている列を選択し、変換の前に不要な列を削除します。 デザイナーは、ピボット、値、ピボット解除の各ロールに割り当てられていない列から固定 (グループ化) 列を推論します。

Code

Python

入力データに対してカスタム Python (PySpark) を実行します。

最小パターンは、最初の入力が存在する場合は使用し、それ以外の場合は空の DataFrame を使用します。

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

そこから、割り当てが終了する前に、selectで DataFrame 操作 (filter、withColumn、result、結合など) を連結したり、resultをinputs["data"]から構築された新しい DataFrame に置き換えたりすることができます。

プレビュー中は、オペレーターの出力が出力ペインに流れ込み、レンダリングしたものや display() を印刷したテキストも含まれます。これにより、実行が終わる前に結果を確認できます。

Pythonプレビューモード

ビジュアルデータ準備を作成すると、Designerは各オペレーターの出力をデータのサンプルに対して継続的にプレビューします。 これらのプレビューは、フル実行と同じようにPythonコードを実行させます。 これは、コードが外部APIを呼び出したり、通知を送信したり、Unity Catalog以外のシステムに書き込みをしたりと副作用が出る場合に問題となります。 通常、これらの副作用が毎回プレビューで発生するのは望ましくありません。

コードで両者を区別するために、Designerが設定したブール値 config["is_preview"]読みましょう:

• True プレビュープレイ中に副作用を避けられるようにしましょう。
• False フルラン中、例えば 「走る」 時や予定されたラン中などです。

例えば、副作用を回避してプレビュー以外でのみ動作するようにします:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

カスタムオペレーターはこの値を受け取るために is_preview 設定プロパティを宣言しなければなりません。 プレビュー 中の副作用をスキップする。

SQL

他の演算子でカバーされていない変換用のカスタム SQL コードを書き込みます。

フィールド	Description
SQL エディター	SQL SELECT ステートメントを入力します。 入力演算子の出力を参照するには、その演算子の名前をクエリのテーブル名として使用します。 例えば次が挙げられます。 SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 [ をクリックして、完全な SQL コード ウィンドウを開き、ステートメントが完全なワークフローにどのように適合するかを確認します。
Parameters	ビジュアル データ準備パラメーターを参照するには、 :environmentなどの名前付きパラメーター マーカー構文を使用します。 エディターの上に、演算子を編集用に開くと、デザイナーに例が表示されます。 Lakeflow Designerの「Use paracess」を参照してください。

レポート

HTML

出力ペインに組み込みのCSSやJavaScriptを含むカスタムHTMLページをレンダリングします。 1つ以上のオペレーターをHTMLオペレーターに接続して、そのデータをチャート、表、その他のビューとして表示します。 HTML演算子には出力ポートがないため、その後に他の演算子を接続することはできません。

例えば、次のページでは、最初の連結演算子がページに何行渡したかを示しています:

<h2>Summary</h2>
<p id="summary">Connect an operator to bind data.</p>
<script>
  const input = window.inputs[0];
  if (input) {
    document.getElementById('summary').textContent = input.rows.length + ' rows available.';
  }
</script>

プレビュー中は、各入力がオペレーターの 「行」スキャン 設定によって制限されます。 ページは合計で最大10,000行を受け取り、接続された入力ごとに均等に分割されます。 データ プレビューで処理する量を制御するをご覧ください。

Visualization

入力データから視覚化を作成し、キャンバスに直接レンダリングします。 視覚化演算子を表形式のデータを生成する任意の演算子に接続し、デザイナーを終了せずに結果をグラフ化します。

視覚エフェクトを構成するには、演算子を開き、[ 視覚化 ] の種類を選択し、列をグラフにマップします。

キャンバスツール

Group

キャンバス上の演算子を視覚的にグループ化します。演算子間のデータ フローは変更されません。これは、視覚的なデータ準備が大きくなる場合や、論理ステージを反映したい場合に役立ちます。

Note

キャンバスにメモを追加して、後でビジュアル データ準備を開くすべてのユーザーの目的、想定、注意事項、ハンドオフ コンテキストなど、ワークフロー自体を文書化できるようにします。

自分でオペレーターを作成してください

組み込みの演算子がロジックをカバーできない場合は、カスタム演算子を作成しましょう。 カスタムオペレーターはローカルまたは共有されています:

• ローカル:オペレーターは現在のビジュアルデータ準備に所属しています。 変換を記述すると、Genie Codeが演算子を生成します。 あなたはコードを書くわけではありません。 詳細は「 Genie Codeでローカルカスタムオペレーターを作成する」をご覧ください。
• 共有:オペレーターは登録されており、他のユーザーや視覚データ作成者が利用できるようにしています。 そのロジックはPythonまたはUnity Catalog関数で、YAMLで説明されています。 「 共有オペレーターの作成」を参照してください。

追加リソース

• チュートリアル:ビジュアルデータの準備を作る
• Lakeflow Designer にデータを取り込む
• Lakeflow Designerのカスタムオペレーター