Private Linkの概念

Azure Private Link は、Azure Databricks リソースと Azure サービスとサーバーレス リソースの間にプライベートで安全な接続を作成し、ネットワーク トラフィックがパブリック インターネットに公開されないようにします。

Azure Databricks では、次の 3 種類の Private Link 接続がサポートされています。

• インバウンド(フロントエンド):ユーザーからワークスペースやアカウントレベルのリソース(例:アカウントコンソールやアカウントレベルのGenie One)への接続を安全に保護します。
• 送信 (サーバーレス):Azure Databricks のサーバーレス コンピュートから Azure リソースへの接続をセキュリティで保護します
• クラシック (バックエンド): クラシック コンピューティングからコントロール プレーンへの接続をセキュリティで保護します

プライベート接続の概要

Azure Private Link を使用すると、Azure VNet とオンプレミス ネットワークから Azure サービスへのセキュリティで保護されたプライベート接続が可能になり、トラフィックがパブリック インターネットから分離されたままになります。 エンドツーエンドのプライベートネットワーキングは、セキュリティやコンプライアンスの要件を満たし、データ流出のリスクを低減するのに役立ちます。

受信 (フロントエンド)、送信 (サーバーレス)、またはクラシック コンピューティング (バックエンド) Private Link 接続を個別に、または組み合わせて有効にすることができます。 適切な選択は、セキュリティとコンプライアンスの要件によって異なります。 たとえば、すべてのパブリック ネットワーク接続を自動的に拒否しながら、Azure Databricks リソースにプライベート接続を適用できます。 この組み合わせアプローチにより、包括的なネットワーク分離が実現され、攻撃対象領域が減少し、機密性の高いワークロードのコンプライアンスがサポートされます。

Private Link を使用すると、次のことができます。

• Azure Databricks Web アプリケーションまたは API を使用する場合は、承認されていないネットワークまたはパブリック インターネットからのデータ アクセスをブロックします。
• 承認されたプライベート エンドポイントのみにネットワーク公開を制限することで、データ流出のリスクを軽減します。

適切な Private Link 実装を選択する

このガイドを使用して、ニーズに最も適した実装を判断します。

受信接続 (フロントエンド)

Inbound Private Link は、ユーザーから Azure Databricks ワークスペースおよびアカウント レベルのリソースへの接続を保護します。 トラフィックは、パブリック IP ではなく、トランジット VNet 内のプライベート エンドポイントを経由してルーティングされます。 インバウンド プライベート リンクは、次への安全なアクセスを提供します。

• Azure Databricks Web アプリケーション
• REST API
• Databricks Apps
• Databricks Connect API
• Azure Databricksパフォーマンス集中型サービス

「 インバウンドプライベート接続の設定」を参照してください。

送信接続 (サーバーレス)

送信 Private Link を使用すると、Azure Databricks サーバーレス コンピューティング リソースから Azure リソースへのプライベート接続が可能になります。 インバウンドおよび従来のコンピューティング プレーン プライベート リンクが Azure Databricks への接続をセキュリティで保護するのに対し、アウトバウンド プライベート リンクはサーバーレス コンピューティングから顧客リソースへの接続をセキュリティで保護します。

Serverless Private Linkはネットワーク接続構成(NCC)を使用します。これはアカウントレベルの地域構造で、大規模にプライベートエンドポイントの作成を管理するものです。 NCC は、同じリージョン内の複数のワークスペースにアタッチできます。

クラシック計算基盤のプライベート接続

クラシック コンピューティング プレーン Private Link は、Azure Databricks クラスターからコントロール プレーンへの接続をセキュリティで保護します。 クラスターは、REST API とセキュリティで保護されたクラスター接続リレーのコントロール プレーンに接続します。

クラシック コンピューティング プレーンのプライベート リンクのアドレス:

• コンプライアンス要件: すべての内部クラウド トラフィックをプライベート ネットワーク上に残す必要がある厳格な規制と企業のコンプライアンスの義務を満たすのに役立ちます。
• ネットワーク境界のセキュリティ強化: Azure サービスのプライベート エンドポイントと共にクラシック コンピューティング プレーン Private Link を実装すると、ネットワークの露出を制限できます。 これにより、データ処理クラスターがパブリック インターネット上の未承認のサービスや宛先へのパスを持たないことを確認することで、データ流出のリスクが軽減されます。

バックエンドプライベート接続の構成を参照してください。

プライベート接続用の仮想ネットワーク

プライベート接続では、2 つの異なる仮想ネットワーク (VNet) が使用されます。

• トランジット VNet: この VNet は、ユーザー接続の中央ハブとして機能し、ワークスペースへのクライアント アクセスとブラウザーベースの SSO 認証に必要な受信プライベート エンドポイントを含みます。
• ワークスペース VNet: これは、Azure Databricks ワークスペースとクラシック プライベート エンドポイントをホストするために特別に作成する VNet です。

サブネットの割り当てとサイズ変更

プライベート接続とデプロイをサポートするために、各 VNet のサブネットを計画します。

• トランジット VNet サブネット:

  • プライベート エンドポイント サブネット: すべての受信プライベート エンドポイントに IP アドレスを割り当てます。
  • ブラウザー認証ワークスペース のサブネット: ブラウザー認証ワークスペースをデプロイするには、ホストまたはパブリック サブネットとコンテナーまたはプライベート サブネットの 2 つの専用サブネットが推奨されます。

• ワークスペース VNet サブネット:

  • ワークスペース サブネット: Azure Databricks ワークスペースのデプロイ自体には、ホストまたはパブリック サブネットとコンテナーまたはプライベート サブネットの 2 つのサブネットが必要です。 ワークスペース サブネットに関連するサイズ設定情報については、「 アドレス空間のガイダンス」を参照してください。
  • クラシック プライベート エンドポイント サブネット: クラシック コンピューティング プレーンのプライベート接続のためにプライベート エンドポイントをホストするには、追加のサブネットが必要です。

サイズ設定は個々の実装ニーズによって異なりますが、ガイドとして以下を使用できます。

Azure Databricks プライベート エンドポイント

Azure Databricksはトラフィックのプライベート化に4つの異なるタイプのプライベートエンドポイントを使用しています。 それらを正しく実装するために、それぞれの異なるロールを理解します。

• ワークスペース エンドポイント (databricks_ui_api): これは、ワークスペースとの間のトラフィックをセキュリティで保護するためのプライマリ プライベート エンドポイントです。 受信とクラシックの両方のコンピューティング プレーン Private Link の REST API 呼び出しを処理します。
• Web 認証エンドポイント (browser_authentication): これは、プライベート接続経由の Web ブラウザー ログインに対してシングル Sign-On (SSO) を機能させるためにのみ必要な特殊な追加エンドポイントです。 これは、受信接続とエンド ツー エンド接続に必要です。
• 一般アクセスエンドポイント(general_access):このプライベートエンドポイントは、ワークスペースやアカウントレベルのリソース(例:アカウントコンソールやアカウントレベルのGenie One)へのトラフィックを保護します。 インバウンドおよびクラシックのコンピュートプレーンPrivate LinkのREST API呼び出しや、SSOによるブラウザ認証も処理可能です。 カスタムURLトラフィック(例えば <my-custom-account-name>.azuredatabricks.net)を提供でき、単一のエンドポイントから異なるリージョンのワークスペースも提供できます。 Azure Databricks、プライベートDNSゾーンの設定を容易にするために、非カスタムURL経由で要求されたワークスペーストラフィックにはdatabricks_ui_apiとbrowser_authenticationエンドポイントを使うことを推奨しています。 ワークスペースのInbound Private Linkの設定を参照してください。
• サービスダイレクトエンドポイント(service_direct):このエンドポイントはパフォーマンス集約型のサービスにアクセスするために必要です。 パフォーマンスが重要なサービスのための受信プライベート リンクの構成を参照してください。

プライベート エンドポイントの場合は、次の点に注意してください。

• 共有エンドポイント:一般アクセスのプライベートエンドポイントは、任意のリージョンの複数のワークスペースやアカウントレベルのリソース間で共有可能です。 クラシック コンピューティング プレーン接続の場合、1 つのプライベート エンドポイント セットで、その VNet とリージョンにデプロイされているすべてのワークスペースを処理できます。 ブラウザー認証エンドポイントは、同じリージョン内のワークスペース間で共有することもできます。
• リージョン固有: プライベート エンドポイントはリージョン固有のリソースです。 databricks_ui_api、browser_authentication、およびservice_directエンドポイントの場合、異なるリージョンのワークスペースには個別のプライベート エンドポイント構成が必要です。 一般アクセスエンドポイントの場合、異なるリージョン内のワークスペースが任意のリージョンで単一のエンドポイントを共有することができます。

主な考慮事項

プライベート接続を構成する前に、次の点に注意してください。

• プライベート エンドポイントで ネットワーク セキュリティ グループ ポリシーが有効になっている場合は、プライベート エンドポイントがデプロイされているサブネット上のネットワーク セキュリティ グループで、受信セキュリティ規則に対してポート 443、6666、3306、8443- 8451 を許可する必要があります。
• ネットワークと Azure portal とそのサービスの間に接続を作成するには、Azure portal の URL を許可リストに追加することが必要になる場合があります。 「ファイアウォールまたはプロキシ サーバーで Azure portal の URL を許可する」を参照してください。