Kan lokal AI med Mac Studio ersätta dyra GPU-miljöer? Lunds universitet har testat!
Lunds universitet har testat Mac Studio med Apple Silicon i en miljö med synnerligen höga krav på datakapacitet, minne och säkerhet. Resultatet? Ett genombrott för lokal AI i praktiken.
”Jag kan konstatera att man med Mac Studio kan både träna och köra modeller på en och samma maskin, även med extrema datamängder”, säger forskaren Andrii Hrechuk på Institutionen för industri- och maskinvetenskaper.
Det erfarenheterna från Lunds universitet i praktiken visar är att det går att bygga och köra avancerade AI-lösningar lokalt, nära den egna verksamheten och den egna datan.
Dessutom är det smidigt, säkert och ekonomiskt försvarbart. Det är goda nyheter för många större verksamheter som vill kunna bygga, testa och driftsätta AI-lösningar med större kontroll över kostnader, säkerhet och beroenden.
I universitets fall handlar AI-lösningarna om att upptäcka fel i industriell produktion med hjälp av bilder, sensorer och stora datamängder.
Andrii jobbar med AI för att kunna skapa felfria produkter
Andrii Hrechuks miljö på universitetet består av flera tusen kvadratmeter verkstad, fylld med robotar och kameror. Tillsammans med sina kollegor utvecklar han lösningar i nära samarbete med svensk industri för att upptäcka, förstå och förebygga defekter i tillverkningsprocesser.
– När du går till affären och köper en stol, känner du att kanten är mjuk och slät. Vårt jobb är att se till att det blir så, till lägsta möjliga kostnad, förklarar han och fortsätter:
– Du kan inte ha en person stående i tillverkningen dygnet runt och leta efter alla typer av avvikelser som kan ske. Processen är oftast väldigt snabb - om du vill borra ett hål tar det en sekund. För det mänskliga ögat är det bokstavligen omöjligt att förstå vad som händer inuti processen. Samtidigt kan en liten vass kant på stolens sätesyta som uppstått i produktionen leda till att ingen vill ha produkten. Det är där AI kommer in i bilden – för beslutsfattande i verkliga tillverkningsprocesser. Ser det ut som det ska i varje led i tillverkningsprocessen? Vad vi vill göra är att eliminera den mänskliga faktorn. Vi vill att alla produkter ska vara bra.
Upp till 200 000 högupplösta bilder: Fungerar det?
Som en del i att utveckla ännu bättre sätt att hitta avvikelser i tillverkande processer analyseras stora mängder bilder, och AI-modeller utvecklas. När Andrii läste om Apples nya Silicon-processor undrade han om Mac Studio skulle kunna hantera de krävande belastningar de hanterar.
– Vi jobbar med bilduppsättningar på alltifrån 10 000 till 200 000 högupplösta, tunga bilder. Det kräver 150-200 gigabytes RAM-minneskapacitet att förbehandla, träna ett nätverk och efterbehandla dessa bilder. Det är ganska extremt.
Högpresterande GPU:er är snabbare än Mac Studio, men dyrare
Av Apple fick han låna ett exemplar med 512 gigabyte RAM.
Grundfrågan var inte hur snabbt det skulle gå, utan: Klarar maskinen ens av uppgiften?
– Vi skapade ett krävande artificiellt stresstest med just den här typen av extrema mängder data, säger han.
Han beskriver det som ”stort” att Mac Studio lyckades, och förklarar varför:
– Det innebär att man inte längre behöver ansluta till dedikerade GPU:er för att träna modeller. GPU-datorer är betydligt snabbare, ibland tio gånger snabbare, men kostnaden skenar snabbt iväg om man vill göra det lokalt och inte använda molnet.
Flera kort krävs för att hantera de minnesmängder vi jobbar med, och då ökar kostnaden snabbt.
Nu kan jag träna modeller var jag vill, när jag vill
Med Mac Studio får Andrii en portabilitet som aldrig varit möjlig tidigare.
–För mig är den värdefullare än att det går snabbt. Jag vill kunna träna modeller var jag vill, när jag vill. Avgörande för mig är det enhetliga minnet. Med Apple Silicon går det att både träna och köra modeller på en och samma maskin.
Säkerheten är också viktig i Andriis arbete.
– Jag sover bättre när den data jag behöver använda ligger på min SSD, krypterad. Det blir också mycket enklare när jag är ute hos industiföretagen. En del data kan inte delas med någon. Med Mac Studio kan vi köra plug-and-play offline, och vi slipper alla diskussioner om vart produktionsdata tar vägen. Och jag behöver inte heller ha med mig en kärra med GPU-kluster och en halvmeter tjock kabel till ett 2-kilowatts-uttag.
Känsla av både kontroll och frihet
Andrii uppskattar också själva känslan av både kontroll och frihet:
– Att enkelt kunna driftsätta, att inte vara beroende av internetanslutning, av servrar, och av andra saker. Jag har mer kontroll över vad jag gör. Det händer på skärmen och det enda jag behöver är ström.
Naturligtvis finns det situationer då GPU:ers snabbhet behövs, men ofta inte. Efter testet och det tillfälliga lånet av Mac Studio har Andrii och hans kollegor köpt in ett antal egna Mac Studio för att kunna bedriva forskningen mer effektivt inom budget.
Lokal AI med Apple Silicon är tillräckligt praktisk för att fungera i en verklig miljö med höga krav på säkerhet, minne, portabilitet och kostnadskontroll.
Regioner: Analysera journaldata, sammanfatta vårdhistorik, identifiera avvikelser eller ge beslutsstöd i kliniska arbetsflöden (utan att känsliga patientuppgifter behöver skickas till en extern molntjänst). Analys av röntgenbilder eller andra medicinska underlag där dataskydd, latens och spårbarhet är avgörande.
Kommuner: Avlasta dokumenttunga processer som bygglov, upphandling, socialtjänst, tillsyn och andra former av ärendehandläggning. Sammanfatta stora mängder text, strukturera inkomna handlingar, flagga avvikelser, hitta relevanta dokument. Ge handläggare ett snabbare första underlag utan att personuppgifter eller interna resonemang lämnar den egna miljön. Analysera och bearbeta elevnära data, inklusive elevhälsa eller andra uppgifter som verksamheten inte vill exponera utanför sina egna system.
Statliga myndigheter: Analysera upphandlingsunderlag, remissvar, tillsynsdata, interna styrdokument och andra stora dokumentmängder. AI kan användas för att jämföra villkor, hitta avvikelser, identifiera mönster och stötta kvalificerade bedömningar utan att affärskänsliga eller rättsligt känsliga uppgifter behöver skickas vidare till externa plattformar.
