2022 年 3 月

これらの機能とAzure Databricksプラットフォームの機能強化は、2022 年 3 月にリリースされました。

注

リリースは段階的に行われます。 Azure Databricks アカウントは、最初のリリース日から 1 週間以上経過するまで更新されない場合があります。

Databricks の自動スケーリングが強化され、DLT パイプラインのパフォーマンスとコストが向上する

2022 年 3 月 31 日

Databricks の強化された自動スケーリングでは、ストリーミング ワークロードの最適化とバッチ ワークロードのサポートの強化によってクラスターの自動スケール機能が既存の機能が向上します。 自動スケールの強化により、クラスターの効率的な使用率、リソースの使用量の削減、コストの削減が実現します。 自動スケーリングを使用した Lakeflow パイプライン クラスターの使用率の最適化に関する説明を参照してください。

Repos内のファイルは、新しいワークスペースで既定で有効になっています

2022 年 3 月 30 日

新しく作成されたワークスペースでは、Repos のファイル機能がデフォルトで有効になりました。

Databricks Feature Store の一般提供

2022 年 3 月 22 日

Databricks Feature Store は一般提供されています。 Databricks Feature Store を使用すると、組織全体で特徴の共有と検出が可能になります。また、モデルのトレーニングと推論に一貫した特徴評価コードが使用されるようになります。

実験ページから実験を共有する

2022 年 3 月 21 から 28 日: バージョン 3.68

MLflow 実験ページの [アクセス許可] ボタンの名前が [共有] に変更されました。 ダイアログに実験への共有可能なリンクが含まれるようになりました。 「実験のアクセス許可を変更する」をご覧ください。

RStudio Workbench のバグ修正

2022 年 3 月 21 から 28 日: バージョン 3.68

最新の RStudio Workbench は、ライセンス ファイルを使用する場合に Cookie に依存します。 これらの Cookie はプロキシ用の許可リストに載っていませんでした。 この問題は修正されています。

新しいワークスペース言語オプション

2022 年 3 月 21 日

ワークスペースは、次の言語で使用できるようになりました。

  • エスパニョール
  • Português (ブラジル)

Databricks Runtime 10.4 LTS と 10.4 LTS ML は GA、10.4 Photon はパブリック プレビュー

2022 年 3 月 18 日

Databricks Runtime 10.4 LTS と Databricks Runtime 10.4 LTS ML が一般提供されるようになりました。 Databricks Runtime 10.4 Photon は、パブリック プレビュー段階です。

注

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks ランタイムのサポート ライフサイクルに関する説明を参照してください。

Unity カタログがパブリック プレビューで利用可能

2022 年 3 月 10 日

Unity Catalog (プレビュー) は、Databricks Lakehouse 上のデータと AI に対する粒度の細かいガバナンス ソリューションです。

Unity Catalog は、次の主な機能を使用して、データのセキュリティとガバナンスを簡略化するのに役立ちます。

  • 1 回だけ定義し、すべての場所をセキュリティで保護: Unity Catalog は、すべてのワークスペースとペルソナに適用されるデータ アクセス ポリシーを管理するための単一の場所となります。
  • 標準準拠のセキュリティ モデル: Unity カタログのセキュリティ モデルは標準の ANSI SQL に基づいており、管理者は使い慣れた構文を使用して、カタログ、データベース (スキーマとも呼ばれます)、テーブル、およびビューのレベルでアクセス許可を付与できます。
  • 組み込みの監査: Unity Catalog は、データへのアクセスを記録するユーザーレベルの監査ログを自動的にキャプチャします。

Unity Catalog のデータには、Data Science & Engineering クラスターや Databricks Mosaic AI クラスター、SQL ウェアハウス、Databricks SQL エディターから、または Unity Catalog REST API や Unity Catalog コマンド ライン インターフェイス (CLI) を使用するなど、ワークスペースのローカル データにアクセスするのと同じ方法でアクセスできます。

詳細については、「Unity Catalog とは」を参照してください。 Unity カタログのパブリック プレビューに参加するには、Azure Databricks アカウント チームにお問い合わせください。

Delta Sharingはパブリックプレビューで利用可能

2022 年 3 月 10 日

Delta Sharing (プレビュー) は、使用するコンピューティング プラットフォームに関係なく、他の組織と安全にデータを共有するために Databricks によって開発されたオープン プロトコルです。 "データプロバイダー" と呼ばれる Databricks ユーザーは、Delta Sharing を使用して、"データ受信者" と呼ばれる組織外の個人またはグループと Unity Catalog メタストア内のデータを共有できます。 データ受信者は、最新バージョンの共有データの操作をすぐに開始できます。 コネクタの完全なリストと使用方法についての情報は、Delta Sharing プロジェクトに関するドキュメントを参照してください。 Unity Catalog メタストアで Delta Sharing が有効になっている場合、Unity Catalog は Delta Sharing サーバーを実行します。

詳細については、「 OpenSharing とは」を参照してください。 Delta Sharing パブリック プレビューに参加するには、Azure Databricks アカウント チームにお問い合わせください。

管理サービスのためのカスタマー マネージド キーのローテーション

2022 年 3 月 10 日

管理サービスのためのカスタマー マネージド キー (CMK) を追加できます。 Azure Databricksでは、キーを使用して、ノートブックソース、シークレット、Databricks SQL クエリ履歴のコントロール プレーン内のデータを暗号化するキーへのアクセスを保護および制御します。 この機能はパブリック プレビュー段階にあります。

キーのローテーション (更新) ができるようになりました。

DLT パイプラインのアクセス制御の強化

2022 年 3 月 9 日

これで、パイプラインの所有者、パイプラインを表示または管理できるユーザー、パイプラインを実行できるユーザーなど、DLT パイプラインへのアクセスをより詳細に制御できるようになりました。 Lakeflow パイプラインの ACL を参照してください。

新しい channel 設定で DLT プレビュー機能をテストする (パブリック プレビュー)

2022 年 3 月 7 日から 3 月 14 日: バージョン 3.67

新しい channel 設定を使用して、DLT パイプラインで今後の機能をテストできます。 今後の機能をパイプラインでテストするには、channel を preview に設定します。 現在のリリースに戻すには、channel を current に設定します。

DLT Python関数のエラー処理の改善 (パブリック プレビュー)

2022 年 3 月 7 日から 3 月 14 日: バージョン 3.67

このリリースでは、stringの名前と値を設定する際に、DLT Python関数が データ型を使用していることを検証するために型チェックが追加されました。 以前は、文字列以外の値を使用してテーブルプロパティを設定すると、基になる原因を示すエラー メッセージなしでパイプラインが失敗するおそれがありました。

Databricks Reposの機能強化

2022 年 3 月 7 日から 14 日: バージョン 3.67

Databricks Repos に次の機能強化が行われました。

  • リポジトリ内のファイルでのテキスト検索と置換。 検索、置換、すべて置換の各機能を提供する [ファイル] および [編集] メニューがファイル エディターに追加されました。
  • 以前は、Databricks では、1 つのリポジトリに含めるノートブックとファイルの総数が 2,000 を超えないようにすることが推奨されていました。 この制限は 5,000 に引き上げられました。

クラスター ポリシーの変更に関する診断ログ

2022 年 3 月 7 日から 14 日: バージョン 3.67

監査ログが有効な状態で、クラスター ポリシーを作成、更新、または削除するか、クラスター ポリシーのユーザー アクセス許可を更新すると、監査イベントがログに記録されるようになりました。 詳細については、「診断ログ リファレンス」を参照してください。

Databricks Runtime 10.4 (ベータ版)

2022 年 3 月 4 日

Databricks Runtime 10.4、10.4 Photon、10.4 ML をベータ リリースとして使用できるようになりました。