<![CDATA[Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode]]>This post did not contain any content.]]>https://forum.fedi.dk/topic/0e9aad89-1645-48e3-a94c-1b49a0279e72/google-og-openai-gør-klar-til-reklamer-i-chatgpt-og-ai-modeRSS for NodeTue, 28 Jul 2026 23:56:17 GMTTue, 04 Nov 2025 06:27:30 GMT60<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Mon, 10 Nov 2025 08:43:45 GMT]]>J…ja. En 3 Billion parameter model er lille. Den kan vel betragtes som en edge-model (altså beregnet til GPU-fattige enheder som mobiltelefoner). Og når der står “GGUF”, er den ofte formindsket, og kan offload’e til din CPU. En model af den kaliber vil sikkert kunne svare på hvorfor, himlen er blå - og den vil være udmærket til datamanipulation (f.eks. at opsummere en tekst), bevares.

Til mere krævende spørgsmål/instrukser skal du regne med volapyk og hornmusik som svar.

Mansplaining:

  • Lille model (⪅9B) = hurtig, men dum
  • Stor model (⪆40B) = tung, men “klogere”
  • Giga model (>1T) = kod min app
]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17390190https://forum.fedi.dk/post/https://feddit.dk/comment/17390190Mon, 10 Nov 2025 08:43:45 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Tue, 04 Nov 2025 11:42:16 GMT]]>Jeg prøvede Llama-3.2-3B-Instruct-GGUF. Den kører lige så hurtigt som ChatGPT online gør og det er bare på den her bærbar som ikke engang har et dedikeret grafikkort (men som ellers er kraftig nok, bevares). Den virkede da også klog nok til at være brugbar, selvom de større modeller sikkert er bedre. Nu prøver jeg at downloade den model du nævner det, så må jeg se om den også kan fungere 😅

]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17390037https://forum.fedi.dk/post/https://feddit.dk/comment/17390037Tue, 04 Nov 2025 11:42:16 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Mon, 10 Nov 2025 08:43:42 GMT]]>Deres seneste apache 2.0-licenserede model hedder Mistral Small: https://mistral.ai/news/mistral-small-3-1

Den kan hentes manuelt via Huggingface eller på listen i Jan under titlen “Mistral-Small-3.2-24B-Instruct-2506”. Bemærk, at den fulde model kræver ~44 GB VRAM, så du bliver nødt til at køre en kvantiseret (nedskaleret) variant, for at du kan trække den.

Det er en nogenlunde model til mindre ting.

]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17389798https://forum.fedi.dk/post/https://feddit.dk/comment/17389798Mon, 10 Nov 2025 08:43:42 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Mon, 10 Nov 2025 08:43:43 GMT]]>

det kræver nok en del stål for at det skal køre fornuftigt.

Afhængigt af modellen, og hvad den skal kunne, ja. De kan kvanticeres (altså gøres mindre) til en vis grad, men som udgangspunkt kræver det et high-end grafikkort for at kunne trække “mellemgode” modeller til generel chat/instrukser.

Eksempelvis OpenAI’s open source lille model på 20B parametre kan køres på grafikkort med minimum 16 GB VRAM, hvis jeg forstår det ret.

Pewdiepie, af alle, har sjovt nok lavet en video om emnet for få dage siden: https://feddit.dk/post/17021894

]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17389695https://forum.fedi.dk/post/https://feddit.dk/comment/17389695Mon, 10 Nov 2025 08:43:43 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Tue, 04 Nov 2025 10:45:56 GMT]]>Ja, jeg kan anbefale Jan for at komme let i gang.

Efter installationen vælger du en model fra en liste, som dit grafikkort kan håndtere. Forvent ikke samme kvalitet som proprietære modeller.

]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17389667https://forum.fedi.dk/post/https://feddit.dk/comment/17389667Tue, 04 Nov 2025 10:45:56 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Tue, 04 Nov 2025 09:21:59 GMT]]>Kan du huske hvilken model? Hvad krævede det at få den til at køre? Hvad hardware kørte du den på?

]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17389133https://forum.fedi.dk/post/https://feddit.dk/comment/17389133Tue, 04 Nov 2025 09:21:59 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Tue, 04 Nov 2025 09:16:10 GMT]]>Jeg har prøvet det med en lille model fra Mistral. Har dog ikke brugt den så meget. Den er en del langsommere, i hvert fald på min Lenovo, men den kan i hvert fald godt bruges til retning af grammatik og tegnsætning på engelsk

]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17389107https://forum.fedi.dk/post/https://feddit.dk/comment/17389107Tue, 04 Nov 2025 09:16:10 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Tue, 04 Nov 2025 08:39:20 GMT]]>@SorteKanin Jeg bruger generelt ikke LLM'er, men jeg ved at home assistant har haft en del releases hvor de har udbygget deres understøttelse af dem, så det er et godt sted at starte. Et problem jeg har læst om er, at en lokal LLM på en langsom server er lang tid om at svare, så det kræver nok en del stål for at det skal køre fornuftigt.

]]>https://forum.fedi.dk/post/https://mstdn.dk/users/Gjoel/statuses/115490525066372937https://forum.fedi.dk/post/https://mstdn.dk/users/Gjoel/statuses/115490525066372937Tue, 04 Nov 2025 08:39:20 GMT<![CDATA[Reply to Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode on Tue, 04 Nov 2025 07:34:55 GMT]]>Er der nogen der har erfaring med at køre LLMer lokalt? Det virker som den eneste udvej.

]]>https://forum.fedi.dk/post/https://feddit.dk/comment/17388348https://forum.fedi.dk/post/https://feddit.dk/comment/17388348Tue, 04 Nov 2025 07:34:55 GMT