> *går det nu op for mig, og faktisk bare er en 14b model…*
-
går det nu op for mig, og faktisk bare er en 14b model…
Yatzi. Gå efter deres nyere MoE (Mixture of Experts) model - altså f.eks. “Qwen3.6-35B-A3B-GGUF”, som er på 35B paramentere, hvoraf kun 3B aktiveres.
Jeg kunne ikke få Gemma eller Qwen til at forstå “List the contents of the current working directory”.
Hmm… ja, du skal sikre dig, at de har den nødvendige adgang til dit drev. Kan ikke huske, hvad det hedder, men det er et tool, som man kan give visse modeller i visser miljøer, som jeg forstår det.
Jeg har det fint med at lortet bliver offloaded og er langsomt.
Tjah, hvis jeg var dig, ville jeg nok stadig prøve at få en GGUF model til at fungere, som ikke er meget større, end at dit grafikkort kan trække hovedparten af arbejdet.
Hvad software stack bruger du?
Jeg har 16GB VRAM og 32GB gammel-langsom-RAM (DDRv4 tror jeg endda). Rodder for lidt med lokal LLM. Bruger mest VS Code med Claude Code. Men når jeg endelig prøver at få en lokal model til at arte sig, så er det med super-lette løsninger, som f.eks. Jan.ai, hvor det bare er til ren instruktionstekst. En overgang brugte vi lokal billedgenerering til på arbejde vha. ComfyUI, men nu bruger vi bare replicate som platform til proprietære online-modeller - ingen stats- eller virksomhedshemmeligheder dér.
