Übung: Verräumlichen von Audiodaten aus einem Video

In dieser Lektion erfahren Sie, wie Sie Audio aus einer Videoquelle räumlich wiedergeben und dies im Unity-Editor und HoloLens 2 testen.

Importieren eines Videos und Hinzufügen eines Videoplayers zur Szene

1. Um das Video in das Unity-Projekt zu importieren, wählen Sie im Unity-Menü Assets>Import New Asset aus.

   

2. Wählen Sie im Fenster "Neue Ressource importieren" die Microsoft HoloLens - Spatial Sound-PTPvx7mDon4-Datei aus, die Sie heruntergeladen haben, und wählen Sie die Schaltfläche "Importieren" aus, um die Ressource in das Projekt zu importieren.

   

3. Das Anpassen der Qualitätseinstellungen für den Videoclip kann eine reibungslose Wiedergabe auf HoloLens 2 gewährleisten. Wählen Sie die Videodatei im Projektfenster aus. Aktivieren Sie im Fenster "Inspektor" die Registerkarte "Windows ", aktivieren Sie das Kontrollkästchen für "Überschreiben für Windows", und konfigurieren Sie die restlichen Einstellungen wie folgt:

   1. Aktivieren Sie das Kontrollkästchen für Transcode.
   2. Legen Sie Codec auf H264 fest.
   3. Legen Sie den Bitrate-Modus auf "Niedrig" fest.
   4. Legen Sie Räumliche Qualität auf Mittlere räumliche Qualität fest.

4. Wählen Sie "Übernehmen" aus, um die Qualitätseinstellung für den Videoclip zu ändern.

   

5. Klicken Sie mit der rechten Maustaste in das Hierarchiefenster, und wählen Sie dann Video>Video Player aus, um die Videoplayerkomponente hinzuzufügen.

   

Wiedergeben von Videos auf einer Vierecksfläche

Das Video Player-Objekt benötigt ein texturiertes GameObject, um das Video zu rendern.

1. Klicken Sie mit der rechten Maustaste in das Hierarchiefenster, und wählen Sie dann 3D-Objekt>Quad aus, um ein Quad zu erstellen und die Transform-Komponente wie folgt zu konfigurieren:

   • Position: X = 0, Y = 2,1, Z = 2
   • Drehung: X = 0, Y = 0, Z = 0
   • Skalierung: X = 1,28, Y = 0,72, Z = 1

   

2. Jetzt müssen Sie das Quad mit dem Video texturieren. Klicken Sie mit der rechten Maustaste in das Projektfenster, und wählen Sie>Rendertextur erstellen aus, um eine Rendertexturkomponente zu erstellen. Geben Sie einen geeigneten Namen für die Rendertextur ein; Beispiel: Räumliche Audiotextur.

   

3. Wählen Sie die Render Texture aus, und legen Sie im Inspektorfenster die Size so fest, dass sie der nativen Auflösung des Videos von 1280x720 entspricht. Um eine gute Renderingleistung für HoloLens 2 sicherzustellen, legen Sie die Depth Stencil Format-Eigenschaft auf D16_UNORM oder höher fest.

   

4. Verwenden Sie als Nächstes die erstellte Render Texture Spatial Audio Texture als Textur für das Quad:

   1. Ziehen Sie die Spatial Audio Texture aus dem Projektfenster auf das Quad in der Hierarchie, um die Rendertextur zum Quad hinzuzufügen.
   2. Um eine gute Leistung auf HoloLens 2 sicherzustellen, wählen Sie den Quad in der Hierarchie und im Inspektorfenster die Option Graphics Tools>Standard im Feld Shader aus.

   

5. Um den Videoplayer und die Rendertextur für die Wiedergabe des Videoclips festzulegen, wählen Sie den Videoplayer in der Hierarchie aus, und konfigurieren Sie die Einstellungen im Inspektorfenster wie folgt:

   1. Legen Sie die Videoclip-Eigenschaft auf die heruntergeladene Videodatei fest: Microsoft HoloLens - Spatial Sound-PTPvx7mDon4.
   2. Aktivieren Sie das Kontrollkästchen "Loop".
   3. Legen Sie die Zieltextur auf Ihre neue Rendertextur, Spatial Audio Texture, fest.

   

Gib den Ton aus dem Video räumlich wieder.

1. Wählen Sie im Fenster "Hierarchie" das Quad-Objekt aus. Verwenden Sie im Inspektorfenster die Schaltfläche " Komponente hinzufügen ", um eine Audioquelle hinzuzufügen, an die Sie die Audiodaten vom Video weiterleiten.

2. In der Audioquelle:

   1. Legen Sie die Ausgabe auf den Spatial Audio Mixer>Master fest.
   2. Aktivieren Sie das Kontrollkästchen Spatialize.
   3. Verschieben Sie den Schieberegler Spatial Blend auf 1 (3D).

   

3. Um den Videoplayer so festzulegen, dass er seine Audiodaten an die Audioquelle weiterleiten soll, wählen Sie den Videoplayer im Hierarchiefenster aus. Konfigurieren Sie im Inspektor-Fenster das Video Player-Objekt wie folgt:

   1. Stellen Sie den Audioausgabemodus auf Audioquelle ein
   2. Legen Sie die Eigenschaft „Audioquelle“ auf „Quad“ fest.