Che cos'è lo strumento di automazione del browser?

Lo strumento di automazione browser è un servizio disponibile a livello generale che consente agli agenti di Microsoft Foundry di esplorare siti Web, leggere informazioni e interagire con le applicazioni Web tramite un browser remoto gestito. Guarda con Live View, intervieni con Take control e rivedi l'attività tramite l'osservabilità di Foundry. Usare lo strumento di automazione browser quando l'applicazione non ha un'API o un connettore.

Esempio di flusso di lavoro del browser

L'esempio seguente illustra un'attività di ricerca sul sito pubblico:

Primitive dello strumento per le azioni del browser

Lo strumento di automazione browser espone un set di strumenti MCP (Model Context Protocol) ottimizzato per le azioni del browser.

Per i nomi degli strumenti, i parametri e i limiti, vedere la guida di riferimento dello strumento browser.

Come funziona

Lo strumento di automazione browser espone le operazioni del browser a un agente Foundry, mentre Spazi di lavoro Playwright fornisce il browser remoto gestito. Non è necessario un browser locale o un runtime Playwright. È possibile configurare l'accesso, le approvazioni e la supervisione per l'applicazione.

1. Ricevere un'attività. L'agente interpreta la richiesta in linguaggio naturale dell'utente e determina se è necessaria l'interazione del browser.
2. Creare una sessione. Lo strumento di automazione browser avvia un browser nell'area di lavoro Playwright connessa. Le operazioni successive riutilizzano l'ID sessione del browser per mantenere lo stesso contesto del browser.
3. Osservare, agire e verificare. L'agente controlla il contenuto e i controlli della pagina, quindi esplora, seleziona gli elementi o immette informazioni. Controlla lo stato della pagina risultante e si ripete, adattando le azioni all'obiettivo dell'utente e alle modifiche della pagina.
4. Completa e chiudi. L'agente segnala il risultato e la sessione viene chiusa per rilasciare le risorse del browser.

Usare i dati di Live View e di sessione del browser per osservare le attività e risolvere gli errori.

Usare una toolbox Foundry per riutilizzare lo strumento Browser automation tra gli agenti tramite un endpoint MCP gestito.

Scegliere il punto di partenza

Per la prima esecuzione:

1. Connect: Configurare un'area di lavoro Playwright e una connessione di automazione del browser.
2. Aggiungi: Aggiungere lo strumento di automazione browser all'agente.
3. Esegui: Inviare un'attività, guardare in Visualizzazione live e verificare il risultato.

Seguire la guida introduttiva per l'installazione e un esempio eseguibile.

Scenari e limitazioni supportati

Lo strumento di automazione browser supporta flussi di lavoro basati su browser in cui un agente deve esplorare i siti Web, interagire con le applicazioni Web, completare i moduli ed eseguire attività con più passaggi.

Scenari supportati

• Esplorare i siti Web pubblici e recuperare le informazioni: Esplorare i siti Web pubblici che non richiedono CAPTCHA, spostarsi tra più pagine, recuperare informazioni e restituire risultati con i collegamenti di origine.
• Commenti e suggerimenti CAPTCHA: Se si verificano problemi specifici con CAPTCHA, compilare questo modulo. Stiamo lavorando per consentire agli agenti di essere verificati.
• Accesso con intervento dell'utente: Se un sito richiede un indirizzo email e una password, l'utente può assumere il controllo della schermata in Visualizzazione live, accedere e restituire il controllo in modo che la sessione dell'agente possa continuare.
• Usare i siti Web autenticati: Accedere ai siti Web che richiedono l'autenticazione usando le credenziali archiviate in Azure Key Vault o consentendo all'utente di assumere il controllo della sessione del browser.
• Completare i moduli con il coinvolgimento dell'utente: Completare i moduli con più passaggi mantenendo la sessione del browser e lo stato del modulo. L'agente può chiedere chiarimenti, continuare a compilare il modulo e richiedere l'approvazione dell'utente prima dell'invio finale. Gli utenti possono anche assumere il controllo per l'interazione manuale, ad esempio l'accesso, il completamento dell'autenticazione a più fattori o l'immissione di un OTP.
• Caricare file: Caricare file o moduli come parte dei flussi di lavoro e delle transazioni del browser.
• Automatizzare le applicazioni Web private (versione preliminare): Automatizzare le applicazioni basate su browser che non vengono esposte tramite API, ad esempio le applicazioni ERP ospitate dietro una rete virtuale privata, quando vengono configurati l'accesso alla rete e l'autenticazione necessari. Altre informazioni sull'accesso ai siti Web ospitati privatamente.
• Registrare le sessioni per l'osservabilità: I generatori di agenti possono scegliere di registrare le sessioni. Il replay di Foundry fornisce visualizzazioni di traccia della sessione e delle chiamate agli strumenti. Le registrazioni di sessione effettive sono disponibili in Spazi di lavoro Playwright e archiviate nella risorsa di archiviazione di proprietà del cliente. Altre informazioni sulle Spazi di lavoro Playwright.

Limitazioni e considerazioni

Quando si progettano flussi di lavoro con lo strumento di automazione browser, prendere in considerazione queste limitazioni:

• Rilevamento dei bot e CAPTCHA: Alcuni siti web limitano o bloccano l'accesso automatizzato tramite browser. Se un sito Web presenta un CAPTCHA o blocca il traffico automatizzato, BAT potrebbe non essere in grado di completare il flusso di lavoro. I browser stealth non sono supportati. Per segnalare problemi CAPTCHA o richiedere la registrazione della piattaforma, compilare il modulo di feedback CAPTCHA.
• Gestione delle credenziali: Quando le credenziali di Azure Key Vault vengono fornite a un prompt agent per l'autenticazione del browser, il modello ha attualmente accesso al valore del segreto. Negli agenti codificati o ospitati, il segreto può essere nascosto al modello. Prendere in considerazione questo quando si scelgono le credenziali. Si prevede di migliorare l'usabilità di Azure Key Vault per gli agenti prompt.
• Riutilizzo delle sessioni autenticate: BAT attualmente non supporta l'avvio di un flusso di lavoro da un profilo del browser salvato o da cookie copiati dal browser dell'utente. I flussi di lavoro non possono riutilizzare una sessione autenticata esistente per aggirare la procedura di accesso.
• Siti Web con restrizioni geografiche e accesso proxy: BAT non supporta la configurazione IP statica o proxy per accedere ai siti Web che limitano l'accesso in base alla posizione geografica o all'INDIRIZZO IP di origine.
• Flussi di lavoro complessi o con esecuzione prolungata: Le attività che coinvolgono molte interazioni del browser o pagine a caricamento lento possono richiedere più tempo e potrebbero andare in timeout.
• Pagine Web dinamiche: Il contenuto e i controlli della pagina possono cambiare durante il funzionamento dell'agente. Se un'interazione non riesce, controllare lo stato della pagina corrente prima di ripetere l'azione.

Sicurezza e affidabilità

Prima della produzione:

• Limita strumenti, identità e destinazioni alle esigenze dell'attività.
• Verificare lo stato dell'applicazione prima di riprovare: un'azione potrebbe essere completata nonostante un timeout.
• Proteggere gli URL di Live View, gli screenshot, le tracce e i dati delle chiamate agli strumenti.
• Esaminare il supporto a livello di area e modello, i limiti delle sessioni e degli strumenti del browser e i prezzi Spazi di lavoro Playwright. Esaminare lo stato specifico della funzionalità alla voce scenari e limitazioni supportati.

Nota sulla trasparenza

Lo strumento di automazione del browser comporta rischi per la sicurezza. Sia gli errori di valutazione da parte dell'IA sia la presenza di istruzioni dannose o fuorvianti sulle pagine Web incontrate dagli agenti possono causare l'esecuzione di comandi che tu o altri non intendete eseguire, il che potrebbe compromettere la sicurezza dei browser e dei computer tuoi o di altri, nonché di qualsiasi account a cui il browser o l'intelligenza artificiale hanno accesso, compresi account e sistemi personali, finanziari o aziendali. È consigliabile testare e monitorare le azioni degli agenti per ridurre i rischi. Ulteriori informazioni

Contenuto correlato

Blog e risorse

• Introduzione al nuovo strumento di automazione del browser con Toolboxes in Foundry
• Presentazione del server MCP remoto Spazi di lavoro Playwright per l'automazione agentica del browser
• Integrare l'automazione gestita del browser nelle applicazioni agente
• Perché i browser cloud stanno diventando un'infrastruttura aziendale per gli agenti di intelligenza artificiale e l'automazione
• Gestire e recuperare le credenziali in modo sicuro all'interno dello strumento di automazione del browser (BAT) usando Azure Key Vault

Documentazione correlata

• Migliori pratiche per l'uso degli strumenti nel servizio agente Foundry di Microsoft
• Strumento per l'uso del computer per gli agenti
• Aggiungere una connessione in Microsoft Foundry
• Guida introduttiva: Creare il primo agente