Domande frequenti sullo strumento Utilizzo computer

Queste domande frequenti (FAQ) forniscono informazioni dettagliate sulle funzionalità, sull'utilizzo, sulle limitazioni e sulle misure di protezione di cui è opportuno essere a conoscenza quando aggiungi lo strumento per l'uso del computer ai tuoi agenti di Copilot Studio.

Cos'è lo strumento per l'uso del computer?

uso del computer è uno strumento che puoi aggiungere ai tuoi agenti di Copilot Studio, progettato per automatizzare attività su siti web e applicazioni. Fornisci descrizioni delle attività in linguaggio naturale e lo strumento automatizza di conseguenza i clic del mouse e i comandi della tastiera. Ad esempio, potresti chiedere allo strumento di aprire un PDF e usare il suo contenuto per compilare un modulo web. Lo strumento interpreta visivamente lo schermo ed esegue i clic e le pressioni dei tasti necessari, emulando le interazioni umane.

Cosa può fare lo strumento Uso del computer?

Lo strumento uso del computer elabora i dati dei pixel dello schermo per comprendere i contenuti a schermo ed esegue attività usando clic virtuali del mouse e input da tastiera. Lo strumento può gestire flussi di lavoro articolati, affrontare scenari imprevisti e adattarsi dinamicamente ai cambiamenti dello schermo. Può svolgere varie attività digitali, come navigare su siti web e compilare moduli, senza la necessità di API specializzate.

Lo strumento per l'uso del computer segue un ciclo iterativo basato su tre passaggi:

• Percezione: acquisisce screenshot per comprendere visivamente lo stato attuale dello schermo del computer.

• Ragionamento: valuta lo stato attuale, le azioni precedenti e gli screenshot attraverso un approccio a catena di pensiero, che gli consente di adattare le proprie azioni in modo efficace.

• Azione: esegue azioni come fare clic, digitare o scorrere fino a quando l'attività non viene completata o richiede un ulteriore input da parte dell'utente.

Quali sono gli usi previsti per l'uso del computer?

Lo strumento per l'uso del computer è progettato per automatizzare le interazioni degli utenti tra siti web e applicazioni tramite mouse e tastiera virtuali. È particolarmente utile in scenari in cui le API non sono disponibili.

Come è stato valutato lo strumento per l'uso del computer? Quali metriche vengono utilizzate per misurare le prestazioni?

Lo strumento per l'uso del computer è stato rigorosamente valutato utilizzando scenari reali durante le fasi di progettazione, sviluppo e distribuzione. I metodi di valutazione includevano ricerca, studi di impatto e test in diversi scenari per misurare accuratezza, fiducia degli utenti e utilità. Sia le metriche qualitative che quelle quantitative vengono regolarmente monitorate per garantire prestazioni elevate e un'esperienza utente positiva. La disponibilità dello strumento è garantita anche dall'aderenza ai contratti di servizio consolidati.

Quali sono i limiti dello strumento per l'uso del computer? In che modo gli utenti possono ridurre al minimo le limitazioni dello strumento Uso del computer durante l'utilizzo del sistema?

L’uso del computer è una tecnologia nuova con rischi di sicurezza noti e limitazioni funzionali. Ti offriamo la possibilità di sperimentarlo. Questa funzionalità nelle prime fasi consente l'automazione di alcune attività su computer, anche se le prestazioni variano ampiamente a seconda del caso d'uso. Per usarlo in modo efficace e responsabile, comprendi i suoi limiti attuali.

Limitazioni note

• Il tasso di successo varia in base all'attività: lo strumento funziona meglio sulle attività web (circa l'80% di successo), ma cala significativamente sulle app desktop (circa il 35% di successo).
• Prestazioni non uniformi: la stessa attività può generare risultati diversi a seconda di modifiche visive o di tempistiche.
• Difficoltà con alcuni controlli dell'interfaccia utente: l'uso del computer può avere difficoltà a interagire con elementi di interfaccia non standard o dinamici, come menu a discesa, selettori di data o widget personalizzati.
• Loop e stati di blocco: in alcuni casi, l'agente entra in un loop o si blocca quando lo schermo non corrisponde alle aspettative o cambia in modo imprevedibile.
• Sfide con attività complesse: pur essendo efficace per azioni semplici, lo strumento potrebbe avere difficoltà con interfacce grafiche dettagliate o attività che coinvolgono manipolazioni di testo complesse.
• Non per casi d'uso sensibili o ad alto rischio: lo strumento non è destinato a:
  • Raccomandare o assegnare punteggi in ambiti sensibili, come assunzioni, sanità o finanza
  • Effettuare transazioni finanziarie
  • Azioni dannose, come posta indesiderata o disinformazione
  • Condividere dati al di fuori della propria organizzazione senza adeguata autorizzazione

Come ridurre al minimo i limiti

Per migliorare l'affidabilità, è consigliabile fornire istruzioni chiare e dettagliate durante la configurazione delle attività, per ridurre gli errori e aumentare la percentuale di successo.

Che cos'è la funzionalità di supervisione umana?

Le esecuzioni di uso del computer possono incontrare ambiguità o informazioni mancanti. Ad esempio, un valore obbligatorio non è presente o sono plausibili interpretazioni multiple. In questi casi, la funzionalità di supervisione umana consente all'agente di uso del computer di sospendere l'esecuzione e inviare una richiesta di chiarimento a un revisore umano autorizzato e configurato. I revisori possono rispondere tramite posta elettronica o all'interno di Copilot Studio usando la mappa delle attività di esecuzione dell'agente. Quando l'agente che usa il computer riceve una risposta, riprende l'esecuzione dal passaggio sospeso sulla mappa.

Affidabilità e limiti

Le valutazioni basate sul prodotto indicano che la funzionalità di supervisione umana generalmente funziona come previsto, ma può fallire o comportarsi in modi che gli utenti potrebbero non prevedere. Poiché le richieste di chiarimenti sono attivate dal comportamento probabilistico del modello, potrebbero non essere attivate in ogni situazione in cui una persona desidererebbe una pausa. Potrebbero anche attivarsi quando una pausa non è necessaria. Non è consigliabile affidarsi alle richieste di chiarimenti come misura di sicurezza o come garanzia che il sistema richiederà sempre un intervento umano prima di procedere.

Non un meccanismo di imposizione delle regole personalizzate

Le richieste di supervisione umana non garantiscono l'applicazione delle regole, dei criteri o dei vincoli definiti. È consigliabile applicare controlli più appropriati per ciascun possibile scenario (es.: istruzioni chiare, ambienti protetti, account con privilegi minimi, liste consentite e altri controlli operativi), invece di fare affidamento sulle richieste di chiarimento per fornire informazioni o prevenire azioni indesiderate.

Quali fattori operativi e impostazioni consentono un uso efficace e responsabile dello strumento Uso del computer?

Lo strumento per l'uso del computer offre prestazioni ottimali quando vengono fornite istruzioni chiare e dettagliate. Gli utenti dovrebbero fornire indicazioni precise sulle interazioni con siti web o applicazioni per migliorare l'affidabilità e l'accuratezza durante l'esecuzione delle attività. Per maggiore visibilità e controllo, abilita la supervisione umana assegnando uno o più revisori autorizzati nella pagina di configurazione dello strumento. Quando il modello rileva istruzioni potenzialmente dannose, questi revisori ricevono notifiche per convalidare e decidere se continuare o interrompere l'esecuzione.

Come posso fornire feedback sullo strumento di uso del computer?

Hai feedback sullo strumento di uso del computer? E-mail computeruse-feedback@microsoft.com.