Spark クラスターを作成する

Azure Databricks ワークスペース UI を使用して、Azure Databricks ワークスペースに 1 つ以上のクラスターを作成できます。

クラスターを作成するときに、次のような構成設定を指定できます。

• クラスターの名前。
• ユーザーがクラスターと対話する方法を制御する アクセス モード:
  • Standard: 複数のユーザーがクラスターを同時に共有できます。 ユーザー コード間の分離は自動的に適用されます。 コラボレーション データ エンジニアリングと共有分析に適しています。
  • 専用: クラスターは、単一のユーザーまたはグループにのみ割り当てられます。 RDD API、GPU アクセラレーション、または R 言語サポートを使用するワークロードに必要です。
• 計算の分散方法を決定する クラスター アーキテクチャ:
  • マルチノード: 1 つのドライバー ノードと 1 つ以上のワーカー ノード。 大規模なデータセットの分散処理と水平方向のスケーリングを有効にします。
  • 単一ノード: ドライバー ノードのみ。ワーカー ノードはありません。 ノード間で分散しない小規模なデータセット、軽量な探索、scikit-learn などの機械学習フレームワークに適しています。
• クラスターで使用される Databricks ランタイム のバージョン。これは、Spark のバージョンと、インストールされる Python、Scala などの個々のコンポーネントを示します。
• クラスター内のワーカー ノードに使用される仮想マシン (VM) の種類。
• クラスター内のワーカー ノードの最小数と最大数。
• クラスター内のドライバー ノードに使用される VM の種類。
• クラスターがクラスターの動的なサイズ変更 自動スケールをサポートしているかどうか。
• クラスターが自動的にシャットダウンされるまでのアイドル状態を維持できる期間。

Azure でクラスター リソースを管理する方法

Azure Databricks ワークスペースを作成すると、 Databricks アプライアンス がサブスクリプション内の Azure リソースとしてデプロイされます。 ワークスペースにクラスターを作成するときは、ドライバー ノードとワーカー ノードの両方に使用する仮想マシン (VM) の種類とサイズ、およびその他の構成オプションを指定しますが、Azure Databricks はクラスターの他のすべての側面を管理します。

Databricks アプライアンスは、サブスクリプション内の マネージド リソース グループ として Azure にデプロイされます。 このリソース グループには、クラスターのドライバー VM とワーカー VM と、仮想ネットワーク、セキュリティ グループ、ストレージ アカウントなどの他の必要なリソースが含まれます。 クラスターのメタデータ (スケジュールされたジョブなど) はすべて Azure データベースに格納され、geo レプリケーションによるフォールト トレランスが確保されます。

Azure Databricks は、Microsoft によって管理されるバックエンド サービス (Web UI など) と、データ ワークロードが実行されるコンピューティング プレーンで構成される コントロール プレーンという 2 つの主要 なプレーンに分割されます。 コンピューティングには、独自の Azure サブスクリプションと仮想ネットワーク (サブスクリプション内で分離を提供する) を使用するクラシック コンピューティングと、Databricks のマネージド環境内で実行されるが、ワークスペースと同じ Azure リージョン内で実行されるサーバーレス コンピューティングと、顧客間で分離するためのネットワークとセキュリティの制御の 2 つのバリエーションがあります。 すべてのワークスペースには、システム データ (ノートブック、ログ、ジョブ メタデータ)、分散ファイル システム (DBFS)、カタログ資産 (Unity カタログが有効な場合) を保持するストレージ アカウントがあり、セキュリティと適切な分離を確保するためのネットワーク、ファイアウォール、アクセスに関する追加の制御が含まれます。