MediaSync Classe

Definizione

[Android.Runtime.Register("android/media/MediaSync", ApiSince=23, DoNotGenerateAcw=true)]
public sealed class MediaSync : Java.Lang.Object

[<Android.Runtime.Register("android/media/MediaSync", ApiSince=23, DoNotGenerateAcw=true)>]
type MediaSync = class
    inherit Object

Ereditarietà

Object

JavaObject

Object

MediaSync

Attributi

RegisterAttribute

Commenti

La classe MediaSync può essere usata per riprodurre in modo sincrono flussi audio e video. Può essere usato anche per riprodurre lo streaming solo audio o solo video.

MediaSync viene in genere usato come segue:

MediaSync sync = new MediaSync();
            sync.setSurface(surface);
            Surface inputSurface = sync.createInputSurface();
            ...
            // MediaCodec videoDecoder = ...;
            videoDecoder.configure(format, inputSurface, ...);
            ...
            sync.setAudioTrack(audioTrack);
            sync.setCallback(new MediaSync.Callback() {
                {@literal @Override}
                public void onAudioBufferConsumed(MediaSync sync, ByteBuffer audioBuffer, int bufferId) {
                    ...
                }
            }, null);
            // This needs to be done since sync is paused on creation.
            sync.setPlaybackParams(new PlaybackParams().setSpeed(1.f));

            for (;;) {
              ...
              // send video frames to surface for rendering, e.g., call
              // videoDecoder.releaseOutputBuffer(videoOutputBufferIx, videoPresentationTimeNs);
              // More details are available as below.
              ...
              sync.queueAudio(audioByteBuffer, bufferId, audioPresentationTimeUs); // non-blocking.
              // The audioByteBuffer and bufferId will be returned via callback.
              // More details are available as below.
              ...
                ...
            }
            sync.setPlaybackParams(new PlaybackParams().setSpeed(0.f));
            sync.release();
            sync = null;

            // The following code snippet illustrates how video/audio raw frames are created by
            // MediaCodec's, how they are fed to MediaSync and how they are returned by MediaSync.
            // This is the callback from MediaCodec.
            onOutputBufferAvailable(MediaCodec codec, int bufferId, BufferInfo info) {
                // ...
                if (codec == videoDecoder) {
                    // surface timestamp must contain media presentation time in nanoseconds.
                    codec.releaseOutputBuffer(bufferId, 1000 * info.presentationTime);
                } else {
                    ByteBuffer audioByteBuffer = codec.getOutputBuffer(bufferId);
                    sync.queueAudio(audioByteBuffer, bufferId, info.presentationTime);
                }
                // ...
            }

            // This is the callback from MediaSync.
            onAudioBufferConsumed(MediaSync sync, ByteBuffer buffer, int bufferId) {
                // ...
                audioDecoder.releaseBuffer(bufferId, false);
                // ...
            }

Il client deve configurare il sink corrispondente impostando il Surface e/o AudioTrack in base al tipo di flusso che verrà riprodotto.

Per il video, il client deve chiamare #createInputSurface per ottenere una superficie in cui eseguirà il rendering dei fotogrammi video.

Per l'audio, il client deve configurare correttamente la traccia audio, ad esempio usando AudioTrack#MODE_STREAM. I buffer audio vengono inviati direttamente a MediaSync tramite #queueAudioe vengono restituiti al client in Callback#onAudioBufferConsumed modo asincrono. Il client non deve modificare un buffer audio fino a quando non viene restituito.

Il client può facoltativamente pre-riempire buffer audio/video impostando la frequenza di riproduzione su 0,0 e quindi inserire buffer audio/video ai componenti corrispondenti. Ciò può ridurre le possibili sottoesegui iniziali.

per android.media.MediaSync.

Le parti di questa pagina sono modifiche basate sul lavoro creato e condiviso dalla e usati in base ai termini descritti in Creative License 2.5 Attribution License.