trigger (DataStreamWriter)

Define o gatilho para a consulta de streaming. Se não for definido, a consulta corre o mais rápido possível, equivalente a processingTime='0 seconds'. Apenas um parâmetro de disparo pode ser definido de cada vez.

Para mais informações, consulte Configurar intervalos de gatilho de streaming estruturado.

Sintaxe

trigger(*, processingTime=None, once=None, continuous=None, availableNow=None, realTime=None)

Parâmetros

Parâmetro Tipo Descrição
processingTime STR, opcional Uma cadeia de intervalos de tempo de processamento (por exemplo, '5 seconds', '1 minute'). Executa periodicamente uma consulta microbatch baseada no tempo de processamento.
once bool, opcional Se True, processar apenas um lote de dados, então termina a consulta.
continuous STR, opcional Uma cadeia de intervalos de tempo (por exemplo, '5 seconds'). Executa uma consulta contínua com um dado intervalo de checkpoint.
availableNow bool, opcional Se True, processar todos os dados disponíveis em múltiplos lotes, termina a consulta.
realTime STR, opcional Uma cadeia de duração em lote (por exemplo, '5 seconds'). Executa uma consulta em modo em tempo real com lotes na duração especificada. Consulte Modo em tempo real em Streaming estruturado.

Devoluções

DataStreamWriter

Exemplos

df = spark.readStream.format("rate").load()

Execução do gatilho a cada 5 segundos:

df.writeStream.trigger(processingTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>

Acione a execução contínua a cada 5 segundos:

:::nota Compatibilidade sem servidor

trigger(continuous=) não é suportado na computação serverless do Databricks. Para pipelines contínuos em serverless, use o modo contínuo dos pipelines Lakeflow .

:::

df.writeStream.trigger(continuous='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>

Processe todos os dados disponíveis em múltiplos lotes:

df.writeStream.trigger(availableNow=True)
# <...streaming.readwriter.DataStreamWriter object ...>

Acione a execução em tempo real a cada 5 segundos:

df.writeStream.trigger(realTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>
  • Last updated on