Filtrowanie zawartości dla modeli Microsoft Foundry (wersja klasyczna)

Dotyczy tylko:Portal Foundry (klasyczny). Ten artykuł nie jest dostępny w nowym portalu Foundry. Dowiedz się więcej o nowym portalu.

Microsoft Foundry zawiera system filtrowania zawartości, który współpracuje z podstawowymi modelami i modelami generowania obrazów i jest obsługiwany przez Bezpieczeństwo zawartości platformy Azure AI. Ten system uruchamia zarówno monit, jak i uzupełnianie przez zestaw modeli klasyfikacyjnych zaprojektowanych w celu wykrywania i zapobiegania generowaniu szkodliwej zawartości. System filtrowania zawartości wykrywa i podejmuje działania na określonych kategoriach potencjalnie szkodliwej zawartości w monitach wejściowych i uzupełnianiu danych wyjściowych. Zmiany w konfiguracjach interfejsu API i projekcie aplikacji mogą mieć wpływ na ukończenie, a tym samym zachowanie filtrowania.

W poniższych sekcjach przedstawiono informacje o kategoriach filtrowania zawartości, poziomach ważności filtrowania i ich konfigurowalności oraz scenariuszach interfejsu API, które należy wziąć pod uwagę podczas projektowania i implementacji aplikacji.

Oprócz systemu filtrowania zawartości program Azure OpenAI wykonuje monitorowanie w celu wykrywania zawartości i zachowań sugerujących korzystanie z usługi w sposób, który może naruszać odpowiednie warunki produktu. Aby uzyskać więcej informacji na temat rozumienia i ograniczania ryzyka związanego z aplikacją, zobacz Transparency Note for Azure OpenAI. Aby uzyskać więcej informacji o sposobie przetwarzania danych na potrzeby monitorowania filtrowania i nadużywania zawartości, zobacz Data, prywatność i zabezpieczenia Azure OpenAI.

Typy filtrów zawartości

System filtrowania zawartości zintegrowany z usługą Foundry Models w narzędziach Foundry Tools zawiera następujące elementy:

• Neuronowe modele klasyfikacji wieloklasowej, które wykrywają i filtrją szkodliwą zawartość. Modele te obejmują cztery kategorie (nienawiść, treści seksualne, przemoc i samookaleczenia) na czterech poziomach dotkliwości (bezpieczny, niski, średni i wysoki). Zawartość wykryta na poziomie ważności "bezpieczne" jest oznaczona adnotacjami, ale nie podlega filtrowaniu i nie jest konfigurowalna.
• Inne opcjonalne modele klasyfikacji, które wykrywają ryzyko jailbreaku i znaną zawartość tekstu i kodu. Te modele to klasyfikatory binarne, które flagują, czy zachowanie użytkownika lub modelu kwalifikuje się jako atak zabezpieczeń systemu lub pasuje do znanego tekstu lub kodu źródłowego. Korzystanie z tych modeli jest opcjonalne, ale korzystanie z chronionego modelu kodu materiałów może być wymagane w przypadku pokrycia zobowiązania do praw autorskich klienta.

¹ Jeśli jesteś właścicielem materiału tekstowego i chcesz przesłać zawartość tekstową w celu ochrony, prześlij żądanie.

² Niedostępne w scenariuszach bez przesyłania strumieniowego; dostępne tylko w scenariuszach przesyłania strumieniowego. Następujące regiony obsługują wykrywanie uziemienia: Centralna część USA, Wschodnia część USA, Francja Środkowa i Kanada Wschodnia

Filtry wejściowe

Filtry zawartości tekstowej

Zobacz Kategorie szkód i poziomy ważności, aby dowiedzieć się więcej na temat czterech kategorii filtrowania zawartości (nienawiści, seksualnych, przemocy i samookaleczenia) oraz ich poziomów surowości (bezpieczny, niski, średni i wysoki).

Filtry zawartości obrazu

Zobacz Kategorie szkód i poziomy ważności, aby dowiedzieć się więcej na temat czterech kategorii filtrowania zawartości (nienawiści, seksualnych, przemocy i samookaleczenia) oraz ich poziomów surowości (bezpieczny, niski, średni i wysoki).

Stosuj osłony

Osłony monitów to filtr bezpieczeństwa danych wejściowych do generowania modeli sztucznej inteligencji.

Filtry wyjściowe

Można również włączyć następujące specjalne filtry wyjściowe:

• Materiał chroniony dla tekstu: tekst chroniony materiałowy opisuje znaną zawartość tekstową (na przykład teksty piosenek, artykuły, przepisy i wybraną zawartość internetową), którą może wygenerować duży model językowy.
• Chroniony materiał dla kodu: Chroniony materiał kodu opisuje kod źródłowy, który odpowiada zestawowi kodu źródłowego z publicznych repozytoriów, a który duże modele językowe mogą generować bez odpowiedniego cytowania repozytoriów źródłowych.
• Uziemienie: filtr wykrywania uziemienia wykrywa, czy odpowiedzi tekstowe dużych modeli językowych (LLM) są uziemione w materiałach źródłowych dostarczonych przez użytkowników.
• Dane osobowe (PII) : filtr pii wykrywa, czy odpowiedzi tekstowe dużych modeli językowych zawierają dane osobowe. Dane osobowe odnoszą się do wszelkich informacji, które mogą służyć do identyfikowania konkretnej osoby, takiej jak imię i nazwisko, adres, numer telefonu, adres e-mail, numer ubezpieczenia społecznego, numer licencji kierowcy, numer paszportu lub podobne informacje.

Tworzenie filtru zawartości w usłudze Microsoft Foundry

W przypadku dowolnego wdrożenia modelu w narzędziu Foundry można bezpośrednio użyć domyślnego filtru zawartości, ale możesz chcieć mieć większą kontrolę. Można na przykład zmienić filtr na bardziej rygorystyczny lub łagodniejszy albo włączyć bardziej zaawansowane funkcje, takie jak ochrona monitorów i rozpoznawanie chronionych materiałów.

Wykonaj następujące kroki, aby utworzyć filtr zawartości:

1. Zaloguj się do Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).

   

2. Przejdź do projektu. Następnie wybierz stronę Guardrails + controls (Zabezpieczenia i kontrolki) z menu po lewej stronie i wybierz kartę Filtry zawartości.

   

3. Wybierz + Utwórz filtr zawartości.

4. Na stronie Informacje podstawowe wprowadź nazwę konfiguracji filtrowania zawartości. Wybierz połączenie, które ma być skojarzone z filtrem zawartości. Następnie wybierz pozycję Dalej.

   

   Teraz można skonfigurować filtry wejściowe (dla monitów użytkownika) i filtry wyjściowe (na potrzeby uzupełniania modelu).

5. Na stronie Filtry wejściowe można ustawić filtr monitu wejściowego. W przypadku pierwszych czterech kategorii zawartości istnieją trzy poziomy ważności, które można skonfigurować: Niski, średni i wysoki. Możesz użyć suwaków, aby ustawić próg ważności, jeśli określisz, że aplikacja lub scenariusz użycia wymaga innego filtrowania niż wartości domyślne. Niektóre filtry, takie jak Tarcze monitujące i wykrywanie materiałów chronionych, umożliwiają określenie, czy model powinien wprowadzać adnotacje i/lub blokować treści. Wybranie opcji Tylko adnotacja uruchamia odpowiedni model i zwraca adnotacje za pośrednictwem odpowiedzi API, ale nie będzie filtrować zawartości. Oprócz dodawania adnotacji możesz również zablokować zawartość.

   Jeśli przypadek użycia został zatwierdzony dla zmodyfikowanych filtrów zawartości, otrzymasz pełną kontrolę nad konfiguracjami filtrowania zawartości. Możesz wyłączyć filtrowanie częściowo lub całkowicie, albo włączyć adnotacje tylko dla kategorii szkodliwych treści (przemoc, nienawiść, treści seksualne i samookaleczenie).

   Zawartość jest oznaczona adnotacją według kategorii i blokowana zgodnie z ustawionym progiem. W przypadku kategorii przemocy, nienawiści, treści seksualnych i samookaleczeń dostosuj suwak, aby zablokować zawartość o wysokiej, średniej lub niskiej intensywności.

   

6. Na stronie Filtry wyjściowe można skonfigurować filtr wyjściowy, który jest stosowany do całej zawartości wyjściowej generowanej przez model. Skonfiguruj poszczególne filtry tak jak poprzednio. Strona udostępnia opcję Tryb przesyłania strumieniowego, umożliwiając filtrowanie zawartości niemal w czasie rzeczywistym, gdy model je generuje i zmniejsza opóźnienie. Po zakończeniu wybierz pozycję Dalej.

   Zawartość jest oznaczona adnotacją dla każdej kategorii i blokowana zgodnie z progiem. W przypadku treści brutalnych, treści z nienawiści, treści seksualnych i kategorii treści samookaleczenia dostosuj próg, aby zablokować szkodliwą zawartość z równym lub wyższym poziomem ważności.

   

7. Opcjonalnie na stronie Połączenie można skojarzyć filtr zawartości z wdrożeniem. Jeśli wybrane wdrożenie ma już dołączony filtr, musisz potwierdzić, że chcesz go zamienić. Filtr zawartości można również skojarzyć z wdrożeniem później. Wybierz pozycję Utwórz.

   Konfiguracje filtrowania zawartości są tworzone na poziomie centrum w portalu Foundry. Dowiedz się więcej na temat możliwości konfigurowania w dokumentacji Azure OpenAI dotyczącej modeli Foundry.

8. Na stronie Przegląd przejrzyj ustawienia, a następnie wybierz pozycję Utwórz filtr.

Używanie listy bloków jako filtru

Listę bloków można zastosować jako filtr wejściowy lub wyjściowy albo oba te elementy. Włącz opcję Lista bloków na stronie Filtr danych wejściowych i/lub Filtr danych wyjściowych . Wybierz jedną lub więcej list blokujących z listy rozwijanej lub użyj wbudowanej listy blokującej wulgaryzmy. Można połączyć wiele list zablokowanych w ten sam filtr.

Stosowanie filtru zawartości

Proces tworzenia filtru umożliwia zastosowanie filtru do żądanych wdrożeń. Możesz również w dowolnym momencie zmieniać lub usuwać filtry zawartości z wdrożeń.

Wykonaj następujące kroki, aby zastosować filtr zawartości do wdrożenia:

1. Przejdź do Foundry i wybierz projekt.

2. Wybierz pozycję Modele i punkty końcowe w okienku po lewej stronie i wybierz jedno z wdrożeń, a następnie wybierz pozycję Edytuj.

   

3. W oknie Wdrażanie aktualizacji wybierz filtr zawartości, który chcesz zastosować do wdrożenia. Następnie wybierz pozycję Zapisz i zamknij.

   

   W razie potrzeby można również edytować i usuwać konfigurację filtru zawartości. Przed usunięciem konfiguracji filtrowania zawartości należy cofnąć przypisanie i zastąpić je z dowolnego wdrożenia na karcie Wdrożenia .

Teraz możesz przejść do placu zabaw, aby sprawdzić, czy filtr zawartości działa zgodnie z oczekiwaniami.

Konfigurowalność

Modele wdrożone w usłudze Microsoft Foundry (wcześniej znane usługi Azure AI) obejmują domyślne ustawienia bezpieczeństwa stosowane do wszystkich modeli, z wyłączeniem Azure OpenAI Whisper. Te konfiguracje zapewniają domyślnie środowisko odpowiedzialne.

Niektóre modele umożliwiają klientom konfigurowanie filtrów zawartości i tworzenie niestandardowych zasad bezpieczeństwa dostosowanych do wymagań przypadków użycia. Funkcja konfigurowania pozwala klientom na osobne dostosowanie ustawień dla monitów i uzupełnień, aby filtrować zawartość w każdej kategorii treści zgodnie z różnymi poziomami ważności opisanymi w poniższej tabeli. Zawartość wykryta na poziomie ważności "bezpieczne" jest oznaczona adnotacjami, ale nie podlega filtrowaniu i nie jest konfigurowalna.

¹ W przypadku modeli Azure OpenAI tylko klienci, którzy zostali zatwierdzeni do zmodyfikowanego filtrowania zawartości, mają pełną kontrolę filtrowania zawartości i mogą wyłączyć filtry zawartości. Aplikuj o zmodyfikowane filtry zawartości za pomocą tego formularza: Przegląd ograniczonego dostępu Azure OpenAI: Zmodyfikowane filtry zawartości. W przypadku klientów Azure Government, złóż wniosek o zmodyfikowane filtrowanie zawartości, korzystając z tego formularza: Azure Government — żądanie zmodyfikowanego filtrowania zawartości dla Azure OpenAI w modelach Foundry.

Utwórz konfiguracje filtrowania zawartości w ramach zasobu w portalu Foundry i skojarz je z wdrożeniami. Dowiedz się, jak skonfigurować filtr zawartości.

Scenariusze filtrowania zawartości

Kiedy system bezpieczeństwa zawartości wykryje szkodliwą zawartość, otrzymasz błąd podczas wywołaniu interfejsu API, jeśli monit zostanie uznany za nieodpowiedni, lub finish_reason w odpowiedzi zostanie content_filter sygnalizując, że część przetwarzania została przefiltrowana. Podczas kompilowania aplikacji lub systemu należy uwzględnić te scenariusze, w których zawartość zwracana przez interfejs API uzupełniania jest filtrowana, co może spowodować niekompletną zawartość.

Zachowanie można podsumować w następujących kwestiach:

• Monity, które zostały sklasyfikowane według filtrowanej kategorii i poziomu ważności, zwracają błąd HTTP 400.
• Wywołania uzupełniania bez przesyłania strumieniowego nie zwracają żadnej zawartości, gdy zawartość jest filtrowana. Wartość finish_reason jest ustawiona na content_filter. W rzadkich przypadkach z dłuższymi odpowiedziami można zwrócić częściowy wynik. W takich przypadkach element finish_reason jest aktualizowany.
• W przypadku wywołań ukończenia przesyłania strumieniowego segmenty są zwracane do użytkownika w miarę ich ukończenia. Usługa kontynuuje przesyłanie strumieniowe do momentu osiągnięcia tokenu zatrzymania, długości lub wykrycia zawartości sklasyfikowanej na filtrowanej kategorii i poziomie ważności.

Scenariusz 1: Połączenie bez przesyłania strumieniowego i filtrowania zawartości

Gdy wszystkie generacje przekazują filtry zgodnie z konfiguracją, odpowiedź nie zawiera szczegółów moderowania zawartości. Wartość finish_reason dla każdej generacji to stop lub length.

Kod odpowiedzi HTTP: 200

Przykładowy ładunek żądania:

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

Przykładowa odpowiedź:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenariusz 2. Wiele odpowiedzi z co najmniej jednym filtrem

Gdy wywołanie interfejsu API pyta o wiele odpowiedzi (N>1), a co najmniej jedna z odpowiedzi jest filtrowana, odfiltrowane generacje mają finish_reason wartość content_filter.

Kod odpowiedzi HTTP: 200

Przykładowy ładunek żądania:

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

Przykładowa odpowiedź:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenariusz 3: Nieodpowiednie polecenie wejściowe

Wywołanie interfejsu API kończy się niepowodzeniem, gdy monit wyzwoli filtr zawartości zgodnie z konfiguracją. Zmodyfikuj monit i spróbuj ponownie.

Kod odpowiedzi HTTP: 400

Przykładowy ładunek żądania:

{
    "prompt": "Content that triggered the filtering model"
}

Przykładowa odpowiedź:

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Scenariusz 4: Połączenie streamingu bez zawartości podlegającej filtrowaniu

W takim przypadku wywołanie jest przesyłane strumieniowo z powrotem z pełną generacją i finish_reason jest albo lengthstop dla każdej wygenerowanej odpowiedzi.

Kod odpowiedzi HTTP: 200

Przykładowy ładunek żądania:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Przykładowa odpowiedź:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenariusz 5: Połączenie strumieniowe z filtrowaną zawartością

W przypadku danego indeksu generacji ostatni fragment generacji zawiera wartość inną niż null finish_reason . Wartość wynosi content_filter, gdy generacja jest filtrowana.

Kod odpowiedzi HTTP: 200

Przykładowy ładunek żądania:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Przykładowa odpowiedź:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenariusz 6. System filtrowania zawartości jest niedostępny

Jeśli system filtrowania zawartości nie działa lub w inny sposób nie może ukończyć operacji w czasie, żądanie nadal kończy się bez filtrowania zawartości. Możesz określić, że filtrowanie nie zostało zastosowane, wyszukując komunikat o błędzie w content_filter_results obiekcie.

Kod odpowiedzi HTTP: 200

Przykładowy ładunek żądania:

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

Przykładowa odpowiedź:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Najlepsze rozwiązania

W ramach projektu aplikacji należy wziąć pod uwagę następujące najlepsze rozwiązania, aby zapewnić pozytywne środowisko pracy z aplikacją, jednocześnie minimalizując potencjalne szkody:

• Odpowiednio obsłuż filtrowaną zawartość: zdecyduj, w jaki sposób chcesz obsługiwać scenariusze, w których użytkownicy wysyłają żądania zawierające treści zaklasyfikowane w kategoriach filtrowania i na poziomach ważności, lub w inny sposób niewłaściwie używają Twojej aplikacji.
• Sprawdź finish_reason: Zawsze sprawdzaj finish_reason, czy uzupełnianie jest filtrowane.
• Sprawdź wykonywanie filtru zawartości: Sprawdź, czy w obiekcie nie ma błędu content_filter_results, co wskazuje, że filtry zawartości nie były uruchamiane.
• Wyświetl cytaty dla materiału chronionego: jeśli używasz modelu kodu chronionego materiału w trybie adnotacji, wyświetl adres URL cytatu podczas wyświetlania kodu w aplikacji.

Powiązana zawartość

• Dowiedz się więcej o Bezpieczeństwo zawartości platformy Azure AI.
• Dowiedz się więcej o zrozumieniu i ograniczaniu ryzyka związanego z aplikacją: Przegląd praktyk dotyczących odpowiedzialnej sztucznej inteligencji dla modeli Azure OpenAI.
• Dowiedz się więcej na temat przetwarzania danych za pomocą filtrowania zawartości i monitorowania nadużyć: Data, prywatność i zabezpieczenia Azure OpenAI.