Lakeflow Designerで結果をプレビューして精査する

ビジュアルデータ準備を作成すると、Lakeflow Designerは各オペレーターの結果をプレビューし、ワークフロー全体を実行しなくても内容を確認できます。 このページでは、プレビューの読み取りと制御、視覚データ準備の一部または全部の実行、チェックポイント付きのオペレーター結果の保存、結果テーブル内でのデータを直接調整する方法を説明しています。

出力ペインを使用してください

任意のオペレーターを選択すると、画面下部の出力パネルで結果が表示されます。 ほとんどの演算子タイプでは、入力データは左側、出力データは右側にあります。 プロット、HTML、画像など、テーブル以外の結果を生成する演算子は、それらの出力を出力ウィンドウに直接レンダリングします。

ビジュアライゼーションやHTML出力を表示するには、パネルヘッダーの 「フルスクリーン」アイコン をクリックして、出力をブラウザウィンドウに展開します。 フルスクリーンでは、Designerは「スキャンされた行数」などのオーサリングコントロールを隠し、Genie Codeのプロンプトは引き続き利用できるので、ビューを離れずに変更をリクエストできます。 ページURLはフルスクリーンビューを記録しているため、共有リンクを開くと同じ表示がフルスクリーンで再度開きます。 退出するには Escape キーを押してください。

出力ウィンドウのビュー コントロールを使用して、入力と出力 (既定)、入力のみ、または出力のみを切り替えます。 結合されたビューで、分割線をドラッグして入力ペインと出力ペインのサイズを変更します。

選択されたオペレーターの実行にパフォーマンスデータがある場合は、出力ペインの「 パフォーマンス 」をクリックすると、クエリプロファイル全体が開かれます。

入力プレビューと出力プレビューがあるLFD出力パネルで、[スキャンした行]メニューが開いています。

プレビューで処理するデータ量を制御

デザイナーはオペレーターを自動的にプレビューします。 デフォルトでは、オペレーターはプレビュー用に最初の1,000行の入力を処理します。 デフォルトを変更するには、キャンバスの ツール バーのプレビューメニューから「 最初のN行 」を選択して新しい制限を入力するか、「 すべての行」を選択してください。 [すべての演算子に適用] を選択して、各演算子の [スキャンされた行] のオーバーライドをクリアし、現在の既定値を使用します。

出力ペインのスキャンした行メニューを使用して、個々のオペレーターについてデフォルト設定を上書きします:

  • スキャンする行数: 継承: プレビュー メニューの既定値を使用します。
  • スキャンされた行: 制限: 最初の N 個の入力行を処理します。 メニューの横の欄に行の制限を入力します。
  • スキャン中の行:すべての行:すべての入力行を処理する。

プレビューですべての行を処理すると、キャンバスはオペレーターの正確な出力行数を表示します。 複数の出力を持つオペレーターの場合は、行数バッジにカーソルを合わせると出力ごとのカウントが表示されます。

Warnung

スキャンした行数: すべての行 でプレビューを生成すると、演算子とその上流の演算子がデータセット全体に対して再実行されるため、時間がかかることがあります。

プレビューの制限はスケジュールされたジョブや、またはRun allには適用されません。

視覚データの準備をすべて実行してください

「 すべて実行 」をクリックすると、キャンバス上のすべてのオペレーターを個別にプレビューせずに、単一のアクションで全データセットに対して実行できます。 Designerはビジュアルデータ準備ファイル全体を実行し、各オペレーターの結果を更新し、キャンバス上で各オペレーターの正確な出力行数を表示します。

Runメニューには、ビジュアルデータ準備全体を実行するためのさらに多くのアクションがあります:

  1. ファイル ヘッダーの ケバブ メニュー アイコン をクリックし、[実行] を選択します。
  2. アクションを選択してください:
    • すべて実行: ビジュアルデータ準備全体を実行します。
    • 実行を中断:実行中のビジュアルデータ準備を停止します。
    • 最後の実行オペレーターへ移動:直近に実行されたオペレーターにフォーカスします。
    • クリア>すべてのオペレーター出力をクリア:表示された結果を削除してください。
    • クリア>状態をクリアして全実行:計算状態をクリアし、ビジュアルデータ準備を再実行します。

クリアにはビジュアルデータ準備ファイルの編集許可が必要です。

演算子まで実行する

オペレーターを右クリックし、「このオペレーターまで実行」を選択すると、プレビュー行の制限なしでその演算子とその上流オペレーターを全データセットに対して実行できます。 下流のオペレーターや切断されたブランチは実行されません。

オペレーター チェックポイントを設定

チェックポイントは演算子の結果を保存するため、プレビューで上流の演算子を再実行せずにその結果を再利用できます。 オペレーターの構成ペインで、オペレーター設定を開き、チェックポイントを選択します。

  • Auto:デザイナーがどの結果を保存するかを選択します。 これは新規オペレーター向けのデフォルトです。
  • オン: この演算子の結果を保存します。
  • オフ:このオペレーターの結果を保存しないでください。

ファイル全体のチェックポイント設定を変更するには、実行中のワークフローを停止し、その後、次の操作を行います。

  1. ファイル ヘッダーの ケバブ メニュー アイコン をクリックし、Run>Checkpointing を選択します。
  2. 「すべてを自動に設定」または「すべてをオンに設定」を選択します。

この設定は出力のある編集可能な演算子に適用されます。 外部で変更された演算子はその設定を維持します。

チェックポイント設定を変更するには、ビジュアルデータ準備ファイルの編集、実行、プレビュー生成の許可が必要です。 プレビューは同じ計算セッション内で保存された結果を再利用できます。 すべてを実行、このオペレーターまで実行、およびスケジュールされたジョブでは結果が再計算されます。

チェックポイントが利用できない場合や失敗した場合、Autoはチェックポイントなしで続行します。 オンにするとプレビューや実行が失敗します。

結果表に直接データを変換してください

データを変換するためのオペレーターを追加するだけでなく、結果表で直接データを処理することもできます。 プレビュー中の編集はプレビューサンプルのみを変更し、保留中の変更として収集されます。 適用するまではデータやワークフローが変わることはありません。

LFDの結果表で直接データを編集する場合:カラムに作用すると、保留中の変更が処理され、「キャンバスに適用」が演算子に変わります。

データプレビューでは以下のアクションがサポートされています:

  • 列を挿入する:「 列を挿入」を選択し、名前と式を入力します。
  • 列のタイプを変更する: タイプの変更 を選択し、変更先のタイプを選びます。
  • null行を削除: Remove nulls を選択して、列がnullの行を除外します。
  • フィルター行:列に1つ以上のフィルター条件を追加します。
  • 列名を変更する:列ヘッダーをダブルクリックして新しい名前を入力します。
  • 列を非表示、並べ替え、または削除する:列を非表示または削除するか、列ヘッダーをドラッグして並べ替えできます。
  • 行の並べ替え: 列に並べ替え順を追加します。 列数を増やすことで並べ替え順が増えます。
  • 重複行を削除:重複 を削除し、比較する列を選択します。

保留中の変更を確認して適用

段階的な編集は「 保留中の変更 」ペインに集まります。 適用前に編集内容を確認するか削除するために開いてください。 段階的に新しい列を変更するには、プレビューでダブルクリックして名前や式を更新してください。

段階編集をワークフローに追加するには、「 キャンバスに適用」を選択してください。 Lakeflow Designer は、ステージングされた編集に対して、ステージングした順序通りにオペレーターを追加します。 各編集の種類は以下のオペレータータイプにマッピングされます:

プレビュー編集 オペレーターがキャンバスに追加されました
列を挿入する 準備
列のタイプを変更する 準備
NULL 行を削除 Filter
行のフィルター Filter
列の削除、名前変更、並べ替え、または非表示 Select
行の並べ替え Sort
重複する行を削除する ユニーク

Note

変更が保留中でプレビューを全データセット処理に切り替えると、Lakeflow Designerは段階的な編集が失われないように、まず適用するよう促します。

データプロファイルを確認してください

出力の特定の部分に関する詳細を確認するには、確認したいデータを選択し、出力ペインの右上隅にある サイドバー アイコン。 サイドバー ボタンをクリックして、詳細ペインを開きます。

出力プレビューの横にあるカラム分布と要約統計が示されたデータプロファイリングパネル。

結果のダウンロード

出力パネルのダウンロードコントロールを使ってプレビュー結果をファイルにエクスポートしてください:

  • 表示された行:プレビューに表示された行をCSVまたはExcelとしてダウンロードできます。
  • 全行:完全なデータセットをダウンロードしてください。 ワークフローを実行する権限があれば利用可能です。 すべての行のExcelエクスポートにはサーバーレス計算が必要です。

ワークスペース管理者はダウンロードをオフにできます。

追加リソース