Metodtips och felsökningsguide för Foundry Local CLI (förhandsversion)

Viktigt!

  • Foundry Local CLI är tillgängligt som förhandsversion. Offentliga förhandsversioner ger tidiga access till funktioner som är i aktiv distribution.
  • Funktioner, metoder och processer kan ändra eller ha begränsade funktioner, före allmän tillgänglighet (GA).

Den här artikeln innehåller metodtips och felsökningstips för Foundry Local CLI.

Förutsättningar

  • Installera Foundry Local CLI.
  • Ha internet access för att ladda ned modeller (rekommenderas).
  • Om du använder workarounden för maskinomfattande installation i den här artikeln, kör PowerShell som administratör.

Verifiera den CLI

Kör följande kommando för att bekräfta att Foundry Local CLI är installerat och tillgängligt i din PATH:

foundry --help

Det här kommandot visar tillgängliga kommandon och alternativ.

Referens: Lokal CLI-referens för Foundry

Metodtips för säkerhet

  • Kör Foundry Local endast i miljöer som uppfyller organisationens säkerhetsprinciper.
  • Kontrollera att enheten uppfyller organisationens säkerhetskrav när du hanterar känsliga data.
  • Kryptera diskar på enheter som cachelagrar modeller som innehåller känsliga finjusteringsdata.

Licensöverväganden

Granska licensvillkoren från modellutgivaren innan du använder en modell med Foundry Local. Se till att din avsedda användning uppfyller dessa villkor och organisationens principer.

Metodtips för prestanda

Om du får långsam slutsatsdragning bör du överväga följande strategier:

  • Stoppa alla pågående inferenssessioner i Foundry Toolkit för VS Code innan du kör Foundry Local.
  • Använd GPU-acceleration när det är tillgängligt.
  • Identifiera flaskhalsar genom att övervaka minnesanvändningen under slutsatsdragningen.
  • Prova fler kvantiserade modellvarianter (till exempel INT8 i stället för FP16).
  • Justera batchstorlekar för icke-inaktiva arbetsbelastningar.

Omfång för produktionsdistribution

Foundry Local är avsedd för inferens på enheten, inte för distribuerade, containerbaserade eller produktionsdistributioner med flera datorer.

Felsökning

Vanliga problem och lösningar

Problematik Möjlig orsak Lösning
Långsam slutsatsdragning Modellen är endast för CPU och har ett stort antal parametrar. Använd GPU-optimerade modellvarianter när det är tillgängligt.
Modellnedladdningsfel Problem med nätverksanslutning. Kontrollera internetanslutningen och kör foundry cache list för att verifiera cachestatus.
Tjänstanslutningsfel (Request to local service failed. Uri:http://127.0.0.1:0/foundry/list) Problem med portbindning eller så är tjänsten inte tillgänglig. Kör foundry server restart för att starta om daemon och lösa problem med portbindning.
Det går inte att starta tjänsten. Portkonflikter eller behörighetsproblem. Kör foundry server restart. Om problemet kvarstår kör du foundry server logsoch kör foundry report sedan för att rapportera problemet med diagnostik.
Intel NPU har inte identifierats eller fungerar inte Saknar eller inaktuell Intel NPU-drivrutin. Installera NPU-drivrutinen Intel för Windows för att aktivera NPU-acceleration.
Qualcomm NPU-fel (Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager.") Föråldrad Qualcomm NPU-drivrutin eller konflikter med NPU-resurs. Installera drivrutinen för Qualcomm NPU. Om problemet kvarstår startar du om för att rensa NPU-resurskonflikter, särskilt efter att du har använt Windows Copilot+-funktioner.
winget install Microsoft.FoundryLocal --scope machine misslyckas med "Den aktuella systemkonfigurationen stöder inte installationen av det här paketet". Winget blockerar installationer av MSIX-datoromfång. Använd lösningen i Installationsproblem.

Installationsproblem

Om winget install Microsoft.FoundryLocal --scope machine misslyckas med "Den aktuella systemkonfigurationen stöder inte installationen av det här paketet.", använder du Add-AppxProvisionedPackage i stället.

  1. Ladda ned .msix och dess beroendepaket.
  2. Kör PowerShell som administratör.
  3. Kör följande kommando för att installera Foundry Local för alla användare:
Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix `
  -DependencyPackagePath .\VcLibs.appx -SkipLicense
  • Last updated on