Published - Get Spark Compute

取得環境 Spark 計算。

備註

此 API 是預計於 2027 年 3 月 31 日淘汰的測試版的版本。 呼叫此 API 時 - 呼叫端必須將查詢參數 beta 設定為 false

權限

環境項目的讀取權限。

必要的委派範圍

Item.Read.All 或 Item.ReadWrite.All 或 Environment.Read.All 或 Environment.ReadWrite.All

Microsoft Entra 支援的身份

此 API 支援本節中列出的Microsoft 身分識別。

身份 Support
User Yes
服務主體 和 受控識別 Yes

介面

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}/sparkcompute?beta={beta}

URI 參數

名稱 位於 必要 類型 Description
environmentId
path True

string (uuid)

環境標識碼。

workspaceId
path True

string (uuid)

工作區識別碼。

beta
query True

boolean

此參數指定要使用的 API 版本。 設定為 false 以使用發行版本。

回覆

名稱 類型 Description
200 OK

EnvironmentSparkCompute

要求成功完成。

429 Too Many Requests

ErrorResponse

服務費率上限被超標。 伺服器會回傳一個 Retry-After 標頭,以秒數表示客戶端在發送額外請求前必須等待多久。

標題

Retry-After: integer

Other Status Codes

ErrorResponse

常見的錯誤碼:

  • UnknownError - 發生錯誤。

範例

Get environment Spark compute example

範例要求

GET https://api.fabric.microsoft.com/v1/workspaces/f089354e-8366-4e18-aea3-4cb4a3a50b48/environments/707cfd07-cbf1-41da-aad7-dd157ddb8c11/sparkcompute?beta=false

範例回覆

{
  "instancePool": {
    "name": "MyWorkspacePool",
    "type": "Workspace",
    "id": "78942136-106c-4f3e-80fc-7ff4eae11603",
    "maxClustersToHydrateLimit": 10
  },
  "driverCores": 4,
  "driverMemory": "56g",
  "executorCores": 4,
  "executorMemory": "56g",
  "dynamicExecutorAllocation": {
    "enabled": false,
    "minExecutors": 1,
    "maxExecutors": 1
  },
  "sparkProperties": [
    {
      "key": "spark.acls.enable",
      "value": "false"
    }
  ],
  "runtimeVersion": "1.2",
  "customLivePoolSupport": "Enabled",
  "customLivePoolSettings": {
    "maxClustersToHydrate": 4,
    "clusterIdleTimeout": "PT20M",
    "customLivePoolLifespan": "PT1H"
  }
}

定義

名稱 Description
CustomLivePoolSettings

在環境中的 Spark 計算中調整活池水合設定。

CustomLivePoolSupport

標記控制是否啟用即時泳池支援。 隨著時間推移,可能會加入額外的 CustomLivePoolSupport 數值。

CustomPoolMemory

Spark 驅動程式或 Spark 執行程式的自訂集區記憶體。 可能會隨著時間新增其他 CustomPoolMemory 類型。

CustomPoolType

自訂集區類型。 可能會隨著時間新增其他 CustomPoolType 類型。

DynamicExecutorAllocationProperties

動態執行程式配置資源。

EnvironmentSparkCompute
ErrorParameter

一個結構化參數,提供關於錯誤的額外機器可讀上下文。

ErrorRelatedResource

錯誤相關的資源詳細資料物件。

ErrorResponse

錯誤回應。

ErrorResponseDetails

錯誤回應詳細數據。

InstancePool

實例池。

SparkProperty

Spark 屬性索引鍵及其值。

CustomLivePoolSettings

在環境中的 Spark 計算中調整活池水合設定。

名稱 類型 Description
clusterIdleTimeout

string (duration)

閒置時間門檻,超過此時間後會釋放水合叢集,採用 ISO 8601 持續時間格式。 最低要求:PT20M。 最高限度:PT24H。

customLivePoolLifespan

string (duration)

即時池啟動的最大壽命,採用 ISO 8601 持續時間格式。 活池工作會持續此期間,然後終止。 最低要求:PT30M。 最高限度:PT24H。

maxClustersToHydrate

integer (int32)

minimum: 1

每個活化週期中預補水的最多叢集數量。 最小值:1。 最大允許值由容量大小決定,並在實例池設定中暴露為 InstancePool.maxClustersToHydrateLimit。

CustomLivePoolSupport

標記控制是否啟用即時泳池支援。 隨著時間推移,可能會加入額外的 CustomLivePoolSupport 數值。

值 Description
Enabled

活水池支援仍在進行中。

Disabled

活水池支援已停止運作。 配置保留。

CustomPoolMemory

Spark 驅動程式或 Spark 執行程式的自訂集區記憶體。 可能會隨著時間新增其他 CustomPoolMemory 類型。

值 Description
28g

28GB 記憶體。

56g

56G記憶體。

112g

112G記憶體。

224g

224G記憶體。

400g

400G記憶體。

CustomPoolType

自訂集區類型。 可能會隨著時間新增其他 CustomPoolType 類型。

值 Description
Workspace

工作區層級自定義集區

Capacity

容量層級自定義集區

DynamicExecutorAllocationProperties

動態執行程式配置資源。

名稱 類型 Description
enabled

boolean

動態執行程式配置的狀態。 False - 已停用,true - 已啟用。

maxExecutors

integer (int32)

minimum: 1

動態配置的執行程式數目上限,此內容的執行程式數目下限為 1。 最大值必須低於執行個體集區 maxNodeCount。

minExecutors

integer (int32)

minimum: 1

動態配置的執行程式數目下限,以及此內容的最小執行程式數目為 1。 最大值必須小於 maxExecutors。

EnvironmentSparkCompute

名稱 類型 Description
customLivePoolSettings

CustomLivePoolSettings

活水池的水化設定。 控制啟用活池支援時叢集的預先水合狀態。

customLivePoolSupport

CustomLivePoolSupport

控制是否啟用活池。 當 Enabled時,叢集會依照水合設定預先加水,使工作負載開始時不會有冷啟動延遲。

driverCores

integer (int32)

火花驅動核心。 必須是下列其中一個值:4、8、16、32、64。

driverMemory

CustomPoolMemory

Spark 驅動程式記憶體。

dynamicExecutorAllocation

DynamicExecutorAllocationProperties

動態執行程式配置。

executorCores

integer (int32)

Spark 執行器核心。 必須是下列其中一個值:4、8、16、32、64。

executorMemory

CustomPoolMemory

Spark 執行器記憶體。

instancePool

InstancePool

環境集區必須是有效的自訂集區。 「入門池」是指使用入門池。

runtimeVersion

string

執行階段版本,尋找支援的 網狀架構執行階段。 例如:1.3

sparkProperties

SparkProperty[]

Spark 屬性。

ErrorParameter

一個結構化參數,提供關於錯誤的額外機器可讀上下文。

名稱 類型 Description
message

string

一個人類可讀的參數意義描述。

name

string

參數識別碼。

value

string

這是參數值。

ErrorRelatedResource

錯誤相關的資源詳細資料物件。

名稱 類型 Description
resourceId

string

發生錯誤的資源識別碼。

resourceType

string

發生錯誤的資源類型。

ErrorResponse

錯誤回應。

名稱 類型 Description
errorCode

string

提供錯誤狀況相關信息的特定標識碼,允許服務與其使用者之間的標準化通訊。

isRetriable

boolean

若屬實,請求可重新嘗試。 如果有延遲,請使用 Retry-After 回應標頭來判斷延遲。

message

string

錯誤的人類可讀取表示法。

moreDetails

ErrorResponseDetails[]

其他錯誤詳細數據的清單。

parameters

ErrorParameter[]

結構化參數提供更多機器可讀的錯誤上下文。

relatedResource

ErrorRelatedResource

錯誤相關的資源詳細數據。

requestId

string (uuid)

與錯誤相關聯的要求標識碼。

ErrorResponseDetails

錯誤回應詳細數據。

名稱 類型 Description
errorCode

string

提供錯誤狀況相關信息的特定標識碼,允許服務與其使用者之間的標準化通訊。

message

string

錯誤的人類可讀取表示法。

parameters

ErrorParameter[]

結構化參數提供更多機器可讀的錯誤上下文。

relatedResource

ErrorRelatedResource

錯誤相關的資源詳細數據。

InstancePool

實例池。

名稱 類型 Description
id

string (uuid)

執行個體集區 ID。

maxClustersToHydrateLimit

integer (int32)

伺服器計算的活池 maxClustersToHydrate 設定上限,由該池相關的容量大小決定。

name

string

執行個體集區名稱。

type

CustomPoolType

執行個體集區類型。

SparkProperty

Spark 屬性索引鍵及其值。

名稱 類型 Description
key

string

Spark 屬性索引鍵。

value

string

Spark 屬性值。