Omówienie analizy tekstu w narzędziu Foundry

Microsoft Foundry to platforma do tworzenia aplikacji i agentów sztucznej inteligencji na Azure. Portal Foundry oferuje dwa podejścia do analizy tekstu: modele sztucznej inteligencji ogólnego przeznaczenia, które obsługują szeroką gamę zadań za pomocą monitów języka naturalnego, oraz specjalnie utworzone narzędzia językowe, które zwracają ustrukturyzowane, deterministyczne wyniki dla określonych zadań.

Aby rozpocząć analizę tekstu w nowym portalu Foundry, musisz utworzyć zasób foundry i projekt Foundry.

Zasób Foundry to zasób Azure, który zapewnia dostęp do usług sztucznej inteligencji i wdrożonych modeli. Projekt Foundry to obszar roboczy w ramach tego zasobu, w którym organizujesz pracę, wdrażasz modele i uzyskujesz dostęp do narzędzi, takich jak plac zabaw dla czatów i usługi sztucznej inteligencji.

Używanie modeli sztucznej inteligencji ogólnego przeznaczenia na potrzeby analizy tekstu

Z poziomu projektu w portalu Foundry można wdrożyć model sztucznej inteligencji ogólnego przeznaczenia. Model sztucznej inteligencji ogólnego przeznaczenia to model językowy trenowany na ogromnych ilościach danych tekstowych, co daje szerokie zrozumienie języka i możliwość obsługi wielu różnych zadań. Model uniwersalny może wykonywać polecenia w języku naturalnym, aby analizować sentyment, wyodrębniać jednostki, podsumowywać tekst, tłumaczyć zawartość, odpowiadać na pytania i nie tylko — wszystko to bez potrzeby konfiguracji czy szkolenia z twojej strony.

Możesz użyć uniwersalnego modelu AI do obsługi zadań analizy tekstu, takich jak:

• Wyodrębnianie kluczowych fraz wymienia główne pojęcia z tekstu niestrukturalnego.
• Łączenie jednostek identyfikuje znane jednostki wraz z linkiem do Wikipedii.
• Analiza sentymentu i eksploracja opinii określa, czy tekst jest pozytywny czy negatywny.
• Podsumowanie podsumowuje tekst, identyfikując najważniejsze informacje.

Możliwości analizy tekstu modeli sztucznej inteligencji można eksplorować na placu zabaw czatu portalu Foundry. Po wdrożeniu modelu plac zabaw udostępnia interfejs czatu, w którym jest wpisywany monit, a model odpowiada. Ponieważ model rozumie kontekst, możesz również wykonywać dodatkowe pytania lub uściślić analizę w tej samej konwersacji. Dzięki temu plac zabaw przydaje się do eksplorowania możliwości przed utworzeniem pełnej aplikacji.

Przyjrzyjmy się bliżej niektórym odpowiedziom, które może dać model sztucznej inteligencji ogólnego przeznaczenia w przypadku zadania analizy tekstu.

Wyodrębnianie kluczowych fraz

Możesz użyć modelu językowego, aby wyodrębnić słowa kluczowe i frazy używane w niektórych tekstach, co może być przydatne w procesach, takich jak indeksowanie i wyszukiwanie odpowiednich dokumentów. Wyodrębnianie kluczowych fraz identyfikuje główne punkty z tekstu.

Na przykład, możesz otrzymać recenzję, taką jak:

Miałem fantastyczny posiłek w restauracji w Seattle w sobotę. Risotto z grzybami było doskonale przygotowane i naprawdę smaczne. Nasz kelner, Pete, był przyjazny i skuteczny oraz dał nam świetne zalecenie na deser (sernik truskawkowy). Polecam to miejsce na swobodną kolację.

Wyodrębnianie kluczowych fraz może zapewnić pewien kontekst do tej recenzji, wyodrębniając następujące frazy:

• swobodna kolacja
• Deser
• fantastyczny posiłek
• restauracja
• doskonałe zalecenie
• grzyb risotto
• Pete
• miejsce
• Sobota
• Seattle
• sernik truskawkowy
• Kelner

Rozpoznawanie jednostek

Możesz również użyć rozpoznawania nazwanych jednostek , aby znaleźć osoby, miejsca, daty i inne określone jednostki wymienione w tekście.

Można wprowadzić do modelu językowego tekst bez struktury i uzyskać listę jednostek rozpoznanych w tym tekście. Jednostka jest elementem określonego typu lub kategorii; i w niektórych przypadkach, podtyp.

Rozważmy ten krótki tekst:

"On 2 maja 2017 r., John Smith odwiedził Nowy Jork, aby wziąć udział w konferencji organizowanej przez Microsoft. Wydarzenie rozpoczęło się o godzinie 8:00 i trwało 3 godziny. Ponad 25% z 40 uczestników podróżował ponad 10 mil, aby wziąć udział."

Wykryte jednostki obejmują:

Analiza sentymentów i wydobywanie opinii

Możesz również użyć analizy tonacji , aby sklasyfikować dokument jako pozytywny, negatywny lub neutralny. Jest to przydatne w przypadku wykrywania tonacji w mediach społecznościowych, recenzjach klientów, forach dyskusyjnych i nie tylko.

Rozważmy następujący przegląd restauracji:

"Miałem wspaniałą kolację w przytulnym bistro w Portland w piątek wieczorem. Grillowany łosoś był gotowany doskonale i pełen smaku, a sezonowe warzywa były doskonałym uzupełnieniem. Nasz serwer, Maria, był uważny i personable, a ona zasugerowała tart cytrynowy na deser — co było doskonałe. Absolutnie polecam to miejsce dla zrelaksowanej i przyjemnej nocy."

Analiza recenzji restauracji może zwrócić:

• Analiza tonacji zdania po zdaniach:

  "Miałem wspaniałą kolację w przytulnym bistro w Portland w piątek wieczorem." Sentyment: Pozytywne wyjaśnienie: Słowa "wspaniała kolacja" i "przytulne bistro" przekazują bardzo pozytywne doświadczenie.

  "Grillowany łosoś był przygotowany doskonale i pełen smaku, a sezonowe warzywa były świetnym uzupełnieniem." Sentyment: Pozytywne wyjaśnienie: "Przygotowane doskonale", "pełne smaku", i "świetne uzupełnienie" wskazują na silną satysfakcję z jedzenia.

  "Nasz serwer, Maria, był uważny i personable, a ona zasugerowała tarta cytrynowa na deser - co było doskonałe." Tonacja: Pozytywne wyjaśnienie: Pozytywne opisy cech serwera i deser ("uważne", "personable", "doskonałe") odzwierciedlają bardzo szczęśliwego klienta.

  "Absolutnie polecam to miejsce dla zrelaksowanej i przyjemnej nocy." Tonacja: Pozytywne wyjaśnienie: Jasne zalecenie z wyrazami "absolutnie", "zrelaksowane" i "przyjemne" pokazują silne pozytywne nastroje.

• Ogólna tonacja dokumentu: zdecydowanie pozytywna. Recenzja jest wypełniona bezpłatnym językiem dotyczącym żywności, atmosfery, obsługi i ogólnego doświadczenia. Nie ma neutralnych ani negatywnych stwierdzeń.

Kiedy używać modelu sztucznej inteligencji ogólnego przeznaczenia do analizy tekstu

Poza wyodrębnianiem kluczowych fraz, rozpoznawaniem jednostek i analizą tonacji modele sztucznej inteligencji ogólnego przeznaczenia mogą również podsumowywać długie dokumenty w zwięzłe akapity, tłumaczyć tekst między językami, klasyfikować zawartość do zdefiniowanych kategorii, odpowiadać na pytania dotyczące fragmentu i nie tylko. Ponieważ wszystkie te możliwości są oparte na monitach języka naturalnego, można je swobodnie połączyć — na przykład prosząc model o tłumaczenie długiej recenzji, a następnie podsumowywanie jej w jednej konwersacji.

Używanie usługi Azure Language w narzędziach Foundry

Chociaż duży model językowy przeznaczony do ogólnych zadań związanych z generowaniem sztucznej inteligencji często doskonale radzi sobie z analizą tekstu, czasami bardziej wyspecjalizowane rozwiązanie uzyskuje bardziej przewidywalne wyniki.

Azure Language in Foundry tools to usługa przetwarzania języka naturalnego z specjalnie utworzonymi analizatorami dla określonych zadań analizy tekstu. Te analizatory używają technik statystycznych do zwracania ustrukturyzowanych, deterministycznych danych wyjściowych — dzięki czemu są one dobrze dostosowane do zautomatyzowanych potoków, w których mają znaczenie spójne wyniki.

W nowym portalu Foundry możesz odkrywać niektóre z możliwości Azure Language w interaktywnym środowisku czatu. Aby przetestować możliwości usług sztucznej inteligencji, przejdź do strony Kompilacja , a następnie do pozycji Modele, a następnie na karcie Usługi sztucznej inteligencji . Na karcie można znaleźć wybrane usługi sztucznej inteligencji dostępne do testowania.

Rozważ następujące możliwości języka Azure:

• Wykrywanie języka ocenia tekst i wykrywa język i dialekt.
• Wykrywanie danych osobowych identyfikujących (PII) identyfikuje dane osobowe, w tym informacje o zdrowiu osobistym (PHI).

Wykrywanie języka

W wielojęzycznym przepływie pracy pierwszym krokiem jest często zidentyfikowanie języka, w jakim dokument jest napisany, dzięki czemu tekst może być kierowany do najbardziej odpowiedniego modelu lub procesu. Wykrywanie języka ocenia tekst i identyfikuje język podstawowy wraz z oceną ufności. Azure Language obsługuje szeroką gamę języków i dialektów regionalnych.

Na przykład, biorąc pod uwagę następujący tekst:

¡Hola! Nazywam się Josefina i mieszkam w Madrycie, Hiszpania.

Wykrywanie języka zwraca następujący wynik:

W portalu Foundry możesz przetestować funkcję wykrywania języka języka Azure w obszarze zabaw czatu.

Wykrywanie informacji umożliwiających identyfikację użytkownika

Organizacje często muszą identyfikować i redagować poufne dane osobowe z tekstu przed ich przechowywaniem lub udostępnianiem w celu zachowania zgodności z przepisami dotyczącymi prywatności. Wykrywanie danych osobowych (PII) identyfikuje dane osobowe w tekście, takie jak imiona, numery telefonów, adresy e-mail i adresy uliczne, oraz może je opcjonalnie zredagować.

Na przykład, biorąc pod uwagę następujący tekst:

"Maria Garcia zadzwoniła z 020 7946 0958 i poprosiła o wysłanie dokumentów do 42 Market Road, Londynu, Wielkiej Brytanii, SW1A 1AA."

Wykrywanie PII identyfikuje następujące jednostki:

W portalu Foundry możesz przetestować funkcję wykrywania danych PII języka Azure w obszarze Language Playground.

Następnie dowiesz się, jak utworzyć aplikację kliencką z funkcjami analizy tekstu przy użyciu interfejsu API odpowiedzi openAI i zestawu SDK języka Azure.