
2025-05-19
AI-servrar Datavetenskap
Uppdragsbeskrivning
Vi letar nu partner att svara med på Karlstads universitets avrop angående servrar till universitetets nya AI-utbildning
Karlstads universitet ska starta ett AI-program och behöver därför köpa nya servrar för att användas i utbildningen.
Servrarna skall användas till följande:
1. Primärt användas för studentlaborationer inom "Deep Learning" och för att köra (mindre) Large Language Models (LLM) inom ramen för det nya AI programmet.
2. Sekundärt användningsområde (dvs när de inte används inom AI programmet) så skall de användas inom forskningen på Datavetenskap.
3. Under sommaren och eller när de i övrigt inte används av de primära eller sekundära målen så skulle de även kunna nyttjas av övriga fakulteter inom Universitet eller till lokala partners/företag (om detta är möjligt?)
Servrarna och GPU korts specifikionerna är valda för att säkerställa effektiv prestanda för "deep learning" (DL) modeller och AI uppgifter.
DL-modellerna består ofta av miljontals till miljarder parametrar, vilket kräver omfattande matrisoperationer och parallell bearbetning.
Dataseten som används för att träna DL-modellerna, både strukturerad och ostrukturerad dataset, kan variera från hundratals gigabyte till flera terabyte i storlek, vilket kräver Nvidia GPU:er som har de snabba dataöverföringsmöjligheter som krävs. För generativa AI-uppgifter, kräver de flesta (mindre) LLM:er > 20 GB videominne och detta kort är den senaste modellen som ligger strax över gränsen på 20 GB och är även anpassad för att sitta i en server. Servrarna ska vara rackmonterade.
Krav:
- GPU = Minst Nvidia A4000 Pro 24GB Blackwell med 24 GB minne eller annat Nvidia-kort med minst motsvarande prestande och minne.
- CPU = Minst 20 Cores per GPU (exempelvis AMD EpyC 9000 series eller motsvarande)
- Minne = 64GB per GPU
- Disk = 1 TB SSD (snabb) per GPU
- Nätverk = 10 alt 40 GBit/s per server
För ett exempelsystem med 8 GPUer i en server så kommer hela systemet bli
CPU = 2 x 96 core AMD EpyC
Minne= 512 GB
GPU = 8 st RTX 4000 Pro
Disk = 8 TB SSD (1 eller flera diskar)
Nätverk: 2x10 GBit alt 1x40 Gbit/s
Leverantören är fri att konfiguera systemet som man vill så länge de följer kraven ovan per GPU och den prestanda som det systemet levererar.
Vi ser helst att att vi har så många GPUer som möjligt i en server för att minimera energi/mgmt kostnad.
Universitetet vill ha minst 20 GPUer totalt.
ID: C2025/402
Ramavtal: Kammarkollegiet - Datacenter 2021 - Servrar och lagring (23.3-2771-21)
Skallkrav
- Skicka offert?