Hva er GGUF?
Et filformat som gjør modellene mindre, så de kan kjøre på vanlige datamaskiner.
Modellstørrelse
Hva betyr Q4, Q8 osv?
Lavere tall = mindre fil og raskere. Høyere tall = bedre kvalitet, men tregere.
Hva bør jeg velge?
Start med Q4. Prøv Q8 hvis du har god maskin og vil ha bedre svar.
Maskinvare
- RAM: Viktigst for hvilke modeller du kan bruke
- Grafikkort: Gjør alt mye raskere
- SSD: Raskere lasting av modeller
Går det tregt?
- Velg Q4 i stedet for Q8
- Prøv en mindre modell
- Skru på GPU hvis du har
- Start en ny chat (kortere samtale)
Bruke API
Start «Local Server» i LM Studio for å koble til fra andre programmer.
Adressen er localhost:1234.
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "modell-navn",
"messages": [{"role": "user", "content": "Hei!"}]
}'Sikkerhet
- Hold serveren lokal hvis mulig
- Ikke del sensitive data i logger
Modeller
Hvilke modeller er best?
Populære valg er Llama, Gemma, Mistral og Qwen. Alle fungerer bra.
Hvilken modell til kode?
Velg modeller med «coder» i navnet, f.eks. Qwen Coder.
Hvilken modell til chat?
Velg modeller merket «instruct» eller «chat».
Fant du ikke svar?
Se kom i gang eller guidene.