Arbeitsspeicher im Microsoft Foundry Agent Service (Vorschau)

Wichtig

Speicher (Vorschau) im Foundry Agent Service und die Memory Store-API (Vorschau) werden Ihnen im Rahmen Ihres Azure-Abonnements lizenziert und unterliegen den für „Previews“ geltenden Bestimmungen in den Microsoft-Produktbestimmungen, dem Nachtrag zum Datenschutz für Microsoft-Produkte und -Services und den Ergänzenden Nutzungsbedingungen für Microsoft Azure Previews.

Die neueste Vorschau bietet neue Funktionen und Verbesserungen, darunter:

  • Speicherelementvorgänge zum Erstellen, Lesen, Aktualisieren, Auflisten und Löschen einzelner Speichereinträge.
  • Standardmäßige Aufbewahrungseinstellungen auf Speicherebene, einschließlich der Standard-TTL (Time-to-Live) für neu erstellte Speicher.
  • Direktes Merken-oder-Vergessen-Verhalten synchronisierter Speicherbefehle.

Speicher in Microsoft Foundry Agent Service ist eine verwaltete, langfristige Speicherlösung. Sie ermöglicht die Agentkontinuität über Sitzungen, Geräte und Workflows hinweg. Durch das Erstellen und Verwalten von Speicherspeichern können Sie Agents erstellen, die Benutzereinstellungen beibehalten, den Unterhaltungsverlauf verwalten und personalisierte Erfahrungen bereitstellen.

Dieser Artikel enthält eine Übersicht über den Agentspeicher, einschließlich seiner Konzepte, Anwendungsfälle und Einschränkungen. Anweisungen zur Verwendung finden Sie unter Erstellen und Verwenden des Arbeitsspeichers im Foundry Agent Service.

Was ist Speicher?

Speicher ist beständiges Wissen, das von einem Agent über Sitzungen hinweg aufbewahrt wird. Im Allgemeinen fällt der Agentspeicher in zwei Kategorien:

  • Das Kurzzeitgedächtnis verfolgt die Gesprächsverläufe der aktuellen Sitzung und behält den unmittelbaren Kontext für laufende Interaktionen bei. Agent-Orchestrierungsframeworks verwalten diesen Speicher in der Regel als Teil des Sitzungskontexts.

  • Langzeitgedächtnis bewahrt destilliertes Wissen über mehrere Sitzungen hinweg. Das Modell kann im Laufe der Zeit auf vorherige Benutzerinteraktionen zurückrufen und aufbauen. Für den langfristigen Speicher ist ein dauerhaftes System erforderlich, das Das Wissen extrahiert, konsolidiert und verwaltet.

Der Speicher im Foundry Agent Service wurde für den langfristigen Speicher entwickelt. Sie extrahiert aussagekräftige Informationen aus Unterhaltungen, konsolidiert sie in dauerhaftes Wissen und macht sie in allen Sitzungen verfügbar.

Funktionsweise des Arbeitsspeichers

Hinter den Kulissen werden Erinnerungen als Elemente in einem verwalteten Speicher gespeichert. Das System kann ggf. Konsolidierungs- und Konfliktlösungslogik anwenden, z. B. zum Zusammenführen doppelter oder überlappender Benutzerprofilinformationen.

Hinweis

Das Konsolidierungsverhalten kann je nach Speichertyp variieren und sich während der Vorschau ändern. Das neueste Verhalten finden Sie unter Erstellen und Verwenden von Arbeitsspeicher im Foundry Agent Service.

Speicher arbeitet in den folgenden Phasen:

  1. Extraktion: Wenn ein Benutzer mit einem Agent interagiert, extrahiert das System aktiv wichtige Informationen aus der Unterhaltung, z. B. Benutzereinstellungen, Fakten und relevanten Kontext. So werden z. B. Präferenzen wie "allergische Milch" und Zusammenfassungen der letzten Aktivitäten identifiziert und gespeichert.

  2. Konsolidierung: Extrahierte Erinnerungen werden konsolidiert, um den Speicher effizient und relevant zu halten. Das System verwendet LLMs, um ähnliche oder doppelte Themen zusammenzuführen, sodass der Agent keine redundanten Informationen speichert. Widersprüchliche Fakten, wie eine neue Allergie, werden bereinigt, um ein genaues Gedächtnis aufrechtzuerhalten.

  3. Abrufen: Wenn der Agent Informationen zurückrufen muss, durchsucht er den Speicher nach den relevantesten Erinnerungen. Auf diese Weise kann der Agent schnell den richtigen Kontext anzeigen, wodurch Unterhaltungen natürlich und gut informiert wirken. Um optimale Ergebnisse zu erzielen, rufen Sie frühzeitig in der Unterhaltung stabile Benutzerprofilinformationen ab, damit der Agent Antworten personalisieren kann.

Hier ist ein Beispiel dafür, wie der Speicher die Interaktionen zwischen einem Rezept-Assistenten und einem Benutzer verbessern und personalisieren kann, der zuvor eine Lebensmittelallergie angegeben hat.

Diagramm, das die Speicherextraktion, den Speicher und den Abruf für einen Agent über Sitzungen hinweg zeigt.

Tipp

Benötigen Sie Hilfe bei der Entscheidung, wann Speicher verwendet werden soll? Beachten Sie die folgenden Richtlinien:

  • Verwenden Sie Speicher, um benutzerspezifischen Kontext oder Agentkontext zu erfassen, der im Laufe der Zeit durch Interaktionen gelernt und beibehalten wird.
  • Verwenden Sie eine Findry IQ-Wissensbasis , um Ihren Agenten auf kuratierten Organisationsinhalten zu stützen.
  • Verwenden Sie das Dateisuchtool , um während einer Interaktion vom Benutzer bereitgestellte Dokumente zu durchsuchen.

Speichertypen

Der Speicher im Foundry Agent Service extrahiert und speichert drei Arten von Langzeitspeicher:

Speichertyp Beschreibung Abrufleitfaden Konfiguration
Benutzerprofilspeicher Dauerhafte Benutzereinstellungen und persönlichen Kontext, z. B. Spracheinstellungen, Produktstandardwerte oder Barrierefreiheitsanforderungen. Rufen Sie dies zu Beginn jeder Konversation ab, um einen stabilen Kontext für die Personalisierung herzustellen. Standardmäßig aktiviert. Informationen zum Konfigurieren und Deaktivieren finden Sie unter Erstellen eines Speicherspeichers.
Speicher für Chat-Zusammenfassungen Verdichtete Zusammenfassungen früherer Gesprächsthemen und -verläufe. Rufen Sie pro Drehung mithilfe der aktuellen Unterhaltungsnachrichten ab, um den relevanten Kontinuitätskontext anzuzeigen. Standardmäßig aktiviert. Informationen zum Konfigurieren und Deaktivieren finden Sie unter Erstellen eines Speicherspeichers.
Prozeduraler Speicher Wiederverwendbare Vorgehensweisen und Betriebsmuster, die von früheren Interaktionen abgeleitet wurden. Rufen Sie ab, wenn der Benutzer nach einem wiederkehrenden Workflow oder einer Aufgabe fragt, die der Agent zuvor verarbeitet hat. Standardmäßig aktiviert. Informationen zum Konfigurieren und Deaktivieren finden Sie unter Erstellen eines Speicherspeichers.

Speicherverwaltung und -aufbewahrung

Der Speicher im Foundry Agent Service unterstützt differenzierte Verwaltungs- und Aufbewahrungskontrollen für Produktionsszenarien:

Mit diesen Steuerelementen können Sie die Personalisierungsqualität mit Datenschutz-, Compliance- und Datenlebenszyklusanforderungen in Einklang bringen.

Arbeiten mit Arbeitsspeicher

Es gibt zwei Möglichkeiten zum Verwenden des Arbeitsspeichers für Agentinteraktionen:

  • Speichersuchtool: Fügen Sie das Speichersuchtool an einen Prompt-Agent an, damit der Arbeitsspeicher bei laufenden Konversationen ausgelesen und in den Arbeitsspeicher geschrieben werden kann. Dieser Ansatz eignet sich ideal für die meisten Szenarien, da sie die Speicherverwaltung vereinfacht. Weitere Informationen finden Sie unter Verwenden von Erinnerungen über ein Agent-Tool.

  • Speicher-APIs: Interagieren Sie direkt mit dem Speicher mit den APIs auf niedriger Ebene. Dieser Ansatz bietet mehr Kontrolle und Flexibilität für erweiterte Anwendungsfälle, einschließlich direkter Kontrolle über einzelne Speichereinträge, Aufbewahrungsverhalten und explizite Speicherlebenszyklusvorgänge. Weitere Informationen finden Sie unter Verwenden von Erinnerungen über APIs.

Anwendungsfälle

Die folgenden Beispiele veranschaulichen, wie Speicher verschiedene Arten von Agenten verbessern kann.

  • Ein Kundendienstmitarbeiter, der sich an Ihren Namen, frühere Probleme und Lösungen, Ticketnummern und Ihre bevorzugte Kontaktmethode (Chat, E-Mail oder Rückruf) erinnert. Dieser Speicher hilft Ihnen, wiederholte Informationen zu vermeiden, sodass Unterhaltungen effizienter und befriedigender sind.

  • Ein persönlicher Shopping-Assistent, der sich an Ihre Größe in bestimmten Marken, bevorzugten Farben, früheren Rückgaben und letzten Einkäufen erinnert. Der Agent kann relevante Elemente vorschlagen, sobald Sie eine Sitzung starten und vermeiden, produkte zu empfehlen, die Sie bereits besitzen.

Sicherheitsrisiken

Wenn Sie mit dem Arbeitsspeicher im Foundry Agent Service arbeiten, extrahiert und konsolidiert das große Sprachmodell (LLM) Erinnerungen basierend auf Unterhaltungen. Schützen Sie den Speicher vor Bedrohungen wie Prompt-Injektion und Speicherkorruption. Diese Risiken treten auf, wenn falsche oder schädliche Daten im Speicher des Agents gespeichert werden, was die Reaktion und Aktionen des Agents potenziell beeinflusst.

Um Sicherheitsrisiken zu mindern, berücksichtigen Sie die folgenden Aktionen:

  • Verwenden Sie Azure AI Inhaltesicherheit und seine Erkennung von Aufforderungseinschleusungen: Validieren Sie alle Aufforderungen, die in das oder aus dem Speichersystem gelangen, um bösartige Inhalte zu verhindern.

  • Durchführen von Angriffs- und Adversarialtests: Testen Sie Regelmäßig Ihren Agenten auf Injektionsrisiken durch kontrollierte Adversarialübungen.

Einschränkungen und Kontingente

Die folgenden Einschränkungen und Kontingente gelten für den Arbeitsspeicher im Foundry Agent Service. Weitere Einschränkungen und Kontingente finden Sie unter Foundry Agent Service Limits, Kontingente und regionale Unterstützung.

Einschränkungen

  • Arbeitsspeicher setzt derzeit kompatible Azure OpenAI-Chat- und Einbettungsmodellimplementierungen voraus. Eine Liste der unterstützten Modelle finden Sie unter Von Azure verkaufte Foundry-Modelle.

  • Bei Low-Level-Speicher-APIs müssen Sie scope explizit in jeder Anforderung festlegen. Die automatische Auflösung des Geltungsbereichs von der Identität des Aufrufers wird nur unterstützt, wenn Sie das Speichersuchtool mit scope auf {{$userId}} eingestellt verwenden. Weitere Informationen finden Sie unter "Grundlegendes zum Bereich".

  • Die VNet-Integration (Virtual Network) wird für Speicher nicht unterstützt.

Hinweis

In der neuesten Vorschau werden einige Standardoptionen für den Memory Store (z. B. das Aktivieren des prozeduralen Speichers und das Festlegen einer Standard-TTL) beim Erstellen des Stores konfiguriert. Prüfen Sie, ob Ihre API-Version Aktualisierungen nach der Erstellung unterstützt.

Kontingente

  • Maximale Bereiche pro Speicher: 100
  • Pro Bereich maximal 10.000 Speicher.
  • Erinnerungen durchsuchen: 1.000 Anforderungen pro Minute
  • Erinnerungen aktualisieren: 1.000 Anforderungen pro Minute

Verfügbarkeit der Region

Speicher ist in den folgenden Regionen verfügbar:

  • Australien Ost
  • Brasilien Süd
  • Kanada Ost
  • Ost-USA 2
  • Frankreich Zentral
  • Italien Nord
  • Japan Ost
  • Korea Central
  • Nord-Mittel-USA
  • Norwegen Ost
  • Südafrika Nord
  • Südindien
  • Schweden Zentral
  • Schweiz Nord
  • Vereinigte Arabische Emirate (Nord)
  • Vereinigtes Königreich Süd
  • USA, Westen
  • USA, Westen 2
  • USA, Westen 3

Preise

Die Speicherfunktion befindet sich derzeit in der öffentlichen Vorschauphase. Preise und Abrechnung für Arbeitsspeicher und die Speicherspeicher-API können sich während der Vorschau ändern.

Sie werden für die Verwendung der zugrunde liegenden Chat- und Einbettungsmodelle in Rechnung gestellt, die Sie konfigurieren. Aktuelle Preisdetails finden Sie unter Foundry Agent Service-Preise.

Verwandte Inhalte

  • Last updated on