Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode
-
This post did not contain any content.
-
This post did not contain any content.
Er der nogen der har erfaring med at køre LLMer lokalt? Det virker som den eneste udvej.
-
Er der nogen der har erfaring med at køre LLMer lokalt? Det virker som den eneste udvej.
@SorteKanin Jeg bruger generelt ikke LLM'er, men jeg ved at home assistant har haft en del releases hvor de har udbygget deres understøttelse af dem, så det er et godt sted at starte. Et problem jeg har læst om er, at en lokal LLM på en langsom server er lang tid om at svare, så det kræver nok en del stål for at det skal køre fornuftigt.
-
Er der nogen der har erfaring med at køre LLMer lokalt? Det virker som den eneste udvej.
Jeg har prøvet det med en lille model fra Mistral. Har dog ikke brugt den så meget. Den er en del langsommere, i hvert fald på min Lenovo, men den kan i hvert fald godt bruges til retning af grammatik og tegnsætning på engelsk
-
Jeg har prøvet det med en lille model fra Mistral. Har dog ikke brugt den så meget. Den er en del langsommere, i hvert fald på min Lenovo, men den kan i hvert fald godt bruges til retning af grammatik og tegnsætning på engelsk
Kan du huske hvilken model? Hvad krævede det at få den til at køre? Hvad hardware kørte du den på?
-
Er der nogen der har erfaring med at køre LLMer lokalt? Det virker som den eneste udvej.
Ja, jeg kan anbefale Jan for at komme let i gang.
Efter installationen vælger du en model fra en liste, som dit grafikkort kan håndtere. Forvent ikke samme kvalitet som proprietære modeller.
-
@SorteKanin Jeg bruger generelt ikke LLM'er, men jeg ved at home assistant har haft en del releases hvor de har udbygget deres understøttelse af dem, så det er et godt sted at starte. Et problem jeg har læst om er, at en lokal LLM på en langsom server er lang tid om at svare, så det kræver nok en del stål for at det skal køre fornuftigt.
det kræver nok en del stål for at det skal køre fornuftigt.
Afhængigt af modellen, og hvad den skal kunne, ja. De kan kvanticeres (altså gøres mindre) til en vis grad, men som udgangspunkt kræver det et high-end grafikkort for at kunne trække “mellemgode” modeller til generel chat/instrukser.
Eksempelvis OpenAI’s open source lille model på 20B parametre kan køres på grafikkort med minimum 16 GB VRAM, hvis jeg forstår det ret.
Pewdiepie, af alle, har sjovt nok lavet en video om emnet for få dage siden: https://feddit.dk/post/17021894
-
Kan du huske hvilken model? Hvad krævede det at få den til at køre? Hvad hardware kørte du den på?
Deres seneste apache 2.0-licenserede model hedder Mistral Small: https://mistral.ai/news/mistral-small-3-1
Den kan hentes manuelt via Huggingface eller på listen i Jan under titlen “Mistral-Small-3.2-24B-Instruct-2506”. Bemærk, at den fulde model kræver ~44 GB VRAM, så du bliver nødt til at køre en kvantiseret (nedskaleret) variant, for at du kan trække den.
Det er en nogenlunde model til mindre ting.
-
Deres seneste apache 2.0-licenserede model hedder Mistral Small: https://mistral.ai/news/mistral-small-3-1
Den kan hentes manuelt via Huggingface eller på listen i Jan under titlen “Mistral-Small-3.2-24B-Instruct-2506”. Bemærk, at den fulde model kræver ~44 GB VRAM, så du bliver nødt til at køre en kvantiseret (nedskaleret) variant, for at du kan trække den.
Det er en nogenlunde model til mindre ting.
Jeg prøvede Llama-3.2-3B-Instruct-GGUF. Den kører lige så hurtigt som ChatGPT online gør og det er bare på den her bærbar som ikke engang har et dedikeret grafikkort (men som ellers er kraftig nok, bevares). Den virkede da også klog nok til at være brugbar, selvom de større modeller sikkert er bedre. Nu prøver jeg at downloade den model du nævner det, så må jeg se om den også kan fungere
-
Jeg prøvede Llama-3.2-3B-Instruct-GGUF. Den kører lige så hurtigt som ChatGPT online gør og det er bare på den her bærbar som ikke engang har et dedikeret grafikkort (men som ellers er kraftig nok, bevares). Den virkede da også klog nok til at være brugbar, selvom de større modeller sikkert er bedre. Nu prøver jeg at downloade den model du nævner det, så må jeg se om den også kan fungere
J…ja. En 3 Billion parameter model er lille. Den kan vel betragtes som en edge-model (altså beregnet til GPU-fattige enheder som mobiltelefoner). Og når der står “GGUF”, er den ofte formindsket, og kan offload’e til din CPU. En model af den kaliber vil sikkert kunne svare på hvorfor, himlen er blå - og den vil være udmærket til datamanipulation (f.eks. at opsummere en tekst), bevares.
Til mere krævende spørgsmål/instrukser skal du regne med volapyk og hornmusik som svar.
Mansplaining:
- Lille model (⪅9B) = hurtig, men dum
- Stor model (⪆40B) = tung, men “klogere”
- Giga model (>1T) = kod min app
-
System shared this topic on
