Azure Databricks を使用して、Cassandra から Azure Cosmos DB for Apache Cassandra アカウントにデータを移行する

適用対象: Cassandra

Important

99.999% 可用性サービス レベル アグリーメント (SLA)、インスタント 自動スケール、および複数のリージョン間の自動フェールオーバーを使用した 大規模 なシナリオ向けのデータベース ソリューションをお探しですか? [c0]NoSQL 用に Azure Cosmos DB を検討してください。[c0]

既存の Apache Cassandra アプリケーションを移行しますか? Apache Cassandra 用 Azure マネージド インスタンスを検討する。

Azure Cosmos DB の Cassandra 用 API は、いくつかの理由から、Apache Cassandra 上で実行されているエンタープライズ ワークロードに適した選択肢になっています。

  • 管理と監視のオーバーヘッドなし: これにより、OS、JVM、および YAML ファイル間の設定の管理と監視のオーバーヘッドとその相互作用が排除されます。

  • 大幅なコスト削減:VM、帯域幅、および適用可能なライセンスのコストを含む、Azure Cosmos DBを使用してコストを節約できます。 データセンター、サーバー、SSD ストレージ、ネットワーク、電気のコストを管理する必要がありません。

  • 既存のコードとツールを使用できること: Azure Cosmos DB は、既存の Cassandra SDK およびツールとのワイヤ プロトコル レベルの互換性を提供します。 この互換性により、Azure Cosmos DB for Apache Cassandra を少し変更するだけで、既存のコードベースを使用できることが保証されます。

データベースのワークロードをプラットフォーム間で移行するには、多数の方法があります。 Azure Databricksは、大規模なオフライン移行を実行する方法を提供する Apache Spark 向けのサービスとしてのプラットフォーム (PaaS) オファリングです。 この記事では、Azure Databricks を使用して、ネイティブ Apache Cassandra キースペースおよびテーブルから Azure Cosmos DB for Apache Cassandra にデータを移行するために必要な手順について説明します。

Prerequisites

Azure Databricks ワークスペースをプロビジョニングする

手順に従って 、Azure Databricks ワークスペースをプロビジョニングできます。 使用可能な既定のコンピューティングを使用するか 、新しいコンピューティング リソースを作成 してノートブックを実行できます。 必ず、少なくとも Spark 3.0 をサポートする Databricks ランタイムを選択してください。

依存関係を追加する

ネイティブエンドポイントと Azure Cosmos DB Cassandra エンドポイントの両方に接続するには、Apache Spark Cassandra Connector ライブラリをコンピューティングに追加する必要があります。 コンピュータで、Libraries〔ライブラリ〕>を選択し、Install New>Maven を選んでから、Maven座標にcom.datastax.spark:spark-cassandra-connector-assembly_2.12:3.0.0を追加します。

Databricks での Maven パッケージの検索を示すスクリーンショット。

[インストール] を選択し、インストールが完了したらコンピューティングを再起動します。

注

Cassandra コネクタ ライブラリがインストールされた後、Databricks コンピューティングを再起動してください。

Warning

この記事で示すサンプルは、Spark バージョン3.0.1と対応するCassandra Spark Connector com.datastax.spark:sark-cassandra-connector-assembly_2.12:3.0.0でテストされています。 それより後のバージョンの Spark や Cassandra コネクタは、予期したとおりに機能しない場合があります。

移行用の Scala ノートブックを作成する

Databricks で Scala ノートブックを作成します。 ソースとターゲットの Cassandra 構成を、対応する資格情報、ソースとターゲットのキースペースおよびテーブルで置き換えます。 次に、下のコードを実行します。

import com.datastax.spark.connector._
import com.datastax.spark.connector.cql._
import org.apache.spark.SparkContext

// source cassandra configs
val nativeCassandra = Map( 
    "spark.cassandra.connection.host" -> "<Source Cassandra Host>",
    "spark.cassandra.connection.port" -> "9042",
    "spark.cassandra.auth.username" -> "<USERNAME>",
    "spark.cassandra.auth.password" -> "<PASSWORD>",
    "spark.cassandra.connection.ssl.enabled" -> "false",
    "keyspace" -> "<KEYSPACE>",
    "table" -> "<TABLE>"
)

//target cassandra configs
val cosmosCassandra = Map( 
    "spark.cassandra.connection.host" -> "<USERNAME>.cassandra.cosmos.azure.com",
    "spark.cassandra.connection.port" -> "10350",
    "spark.cassandra.auth.username" -> "<USERNAME>",
    "spark.cassandra.auth.password" -> "<PASSWORD>",
    "spark.cassandra.connection.ssl.enabled" -> "true",
    "keyspace" -> "<KEYSPACE>",
    "table" -> "<TABLE>",
    //throughput related settings below - tweak these depending on data volumes. 
    "spark.cassandra.output.batch.size.rows"-> "1",
    "spark.cassandra.output.concurrent.writes" -> "1000",
    //"spark.cassandra.connection.remoteConnectionsPerExecutor" -> "1", // Spark 3.x
    "spark.cassandra.connection.connections_per_executor_max"-> "1", // Spark 2.x
    "spark.cassandra.concurrent.reads" -> "512",
    "spark.cassandra.output.batch.grouping.buffer.size" -> "1000",
    "spark.cassandra.connection.keep_alive_ms" -> "600000000"
)

//Read from native Cassandra
val DFfromNativeCassandra = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(nativeCassandra)
  .load
  
//Write to CosmosCassandra
DFfromNativeCassandra
  .write
  .format("org.apache.spark.sql.cassandra")
  .options(cosmosCassandra)
  .mode(SaveMode.Append) // only required for Spark 3.x
  .save

注

レート制限は、Azure Cosmos DB への要求がプロビジョニングされたスループット (1 秒あたりの要求ユニット数) を超えた場合に発生します。 Spark クラスター内の Executor の数と、ターゲット テーブルに書き込まれる各レコードのサイズ (および RU コスト) に応じて、 spark.cassandra.output.batch.size.rows と spark.cassandra.output.concurrent.writes の設定を調整する必要がある場合があります。

Troubleshoot

レート制限 (429 エラー)

設定を最小値まで減らした場合でも、429 エラー コードまたは "要求レートが大きい" というエラー テキストが表示されることがあります。 次のシナリオでは、レート制限が発生する可能性があります。

  • テーブルに割り当てられるスループットは、6,000 要求ユニット未満です。 Spark では、最小設定でも約 6,000 要求ユニット以上のレートで書き込むことができます。 共有スループットがあるキースペースでテーブルをプロビジョニングした場合、実行時にこのテーブルで使用できる RU が 6,000 未満である可能性があります。

    移行を実行する際に、移行先のテーブルでは少なくとも 6,000 RU を使用できることを確認します。 必要に応じて、そのテーブルには専用の要求ユニットを割り当てます。

  • 大量のデータ量での過度なデータスキュー。 特定のテーブルに移行するデータが大量にあるが、大きいデータ スキューがある場合 (つまり、同じパーティション キー値に対して大量のレコードが書き込まれている場合) は、テーブルに複数の要求ユニットがプロビジョニングされていても、レート制限が発生する可能性があります。 要求ユニットが物理パーティション間で均等に分割され、大量のデータ スキューによって 1 つのパーティションに対して要求のボトルネックが発生するおそれがあります。

    このシナリオでは、Spark の最小スループット設定を下げて、移行の実行速度を強制的に低下させます。 このシナリオは、アクセスの頻度が低く、スキューが大きくなる可能性がある参照または制御テーブルを移行する場合によく見られます。 ただし、その他の種類のテーブルに大きなスキューが存在する場合は、データ モデルを確認して、安定状態の操作中にワークロードのホット パーティションの問題を回避することをお勧めします。

次のステップ