Så fik jeg et lille bitte stykke SkyNet op og kører lokalt på en laptop med hjælp fra @djarner på dagens @cryptohagen.

[tbhdk@social.data.coop]

@notsoloud Ah, sådan. Den må jeg kigge på ved lejlighed.

https://fabric.so/guide/AI-and-assistant/choosing-a-model

[oz1tmm@techhub.social]

@tbhdk

Hvor lang tid tog det svar?
Hvor lang tid ville det have taget at bruge en søgemaskine (der ikke er google) at finde det samme svar på en wiki?
Hvor meget ram havde søgningen brugt?
Hvor meget strøm har dit 12GB grafikkort brugt på at digte noget der tilfældigvis var rigtigt?

[tbhdk@social.data.coop]

@oz1tmm Formålet er ikke at lave en sammenligning. Opgaverne er kun test opgaver, som jeg lige kunne finde på. Altså, opgaver som jeg kunne tjekke op imod fx Wikipedia. Mit primære mål var at finde en oversætter AI, som jeg kan bruge lokalt i stedet for at fodre Google Translate. Det har jeg fundet i translategemma, som er en åben model som bygger på Googles Gemma3. Uanset om vi kan lide Google eller ej, så har Google designet nogle okay produkter.

[tbhdk@social.data.coop]

Opsummering omkring min lokalt hostet, åbne oversætter-AI (som i øjeblikket står på mit køkkenbord oven på min jump host, to brugte laptop).

https://opsec45.dk/ai-lokal-aaben-oversaetter/

[tbhdk@social.data.coop]

Sidste skud på stammen af AI's er llama4 på 67 GB, som helt sikkert presser min maskine til det yderste (12 GB RAM i GPU + 64 GB RAM på bundkort = 76 GB). llama4 kører som den skal og giver bedre svar end de andre, mindre modeller. Jeg har så som en del af llama4 også installeret Hermes Agent og knyttet en Matrix konto til den. Denne Matrix konto har adgang til et chatrum, hvor den kun kan chatte med min Matrix bruger.

llama4 https://ollama.com/library/llama4

Hermes Agent https://hermes-agent.org/

[tbhdk@social.data.coop]

Llama4 med Hermes Agent startes op i Ollama med denne kommando:

ollama launch hermes --model llama4

Der er med andre ord et kontrolpanel og en Matrix gruppechat i denne AI model. Og jeg har helt sikkert brug for en introduktion til hvordan jeg bruger Hermes Agent før jeg fortsætter. Det bliver formentlig på næste Cryptohagen.

[smarken@mastodon.social]

@tbhdk prøv evt at skifte host, det har jeg nogen gange oplevet hjælper på download "resultatet"

[kimschulz@social.data.coop]

@tbhdk hermes er fremragende. Jeg har lavet en portable version hvis du har behov for at have den med på farten.

[alf149@social.data.coop]

@kimschulz
Kan den også kører uden gpu?
Og fortæl gerne, selvom jeg ikke tror @tbhdk vil gå den vej.

[kimschulz@social.data.coop]

@alf149 @tbhdk hermes er jo bare et agent harness så den er tooling og modellen kan du kører hvor du vil.
https://github.com/kimusan/Hermes-Portable
Jeg har den på en USB og hvis jeg har brug for AI hjælp med noget på en af mine maskiner så sætter jeg den i og spinner en hermes op. Den har al min baghistorie med på usb og connecter til enten en af mine egne modeller eller en en kommerciel remote model. Men den kender mig for alt det er med på usb så det gør det lettere - ikke noget med role play el. Introduktion

[alf149@social.data.coop]

@kimschulz @tbhdk
Så ved jeg hvad denne eftermiddag skal gå med. 🤩

[tbhdk@social.data.coop]

Llama4 - Facebooks samling af AI-modeller - spiser sommetider svampe, stærke svampe Fx i dette eksempel.

Llama4: "Meta's latest collection of multimodal models."

https://ollama.com/library/llama4

[tbhdk@social.data.coop]

Hvis du vil prøve Hermes Agent, en samling af AI modeller, på en USB nøgle, så besøg @kimschulz GitHub om hvordan dette gøres

https://social.data.coop/@kimschulz/117210852966588655

[tbhdk@social.data.coop]

@smarken Hastighedstest med speedtest.net viser at der er mere end 100 Mbps op/ned med VPN slået til. Alligevel ryger Ollama ned på en download på 100-500 KB/s og taber tråden igen og igen undervejs. Der må være en eller anden konflikt, men hvilken ved jeg ikke lige. VPN er dog ikke kritisk at have slået til under download af model. Det er under brug af modellen at det er en god beskyttelse.

[tbhdk@social.data.coop]

Så fik jeg lavet et bash script til oversættelse med valgmuligheder mellem DK-EN og EN-DK. Hvordan et bash script med menu og valgmuligheder skulle laves fik jeg Hermes3 til at vise mig. Den lavede et eksempel, som jeg så kunne tilrette til mit formål.

Hermes3 og TranslateGemma kører fint i CPU mode i en VM i Boxes, så der behøves ikke en kraftig maskine med GPU for at komme i gang.

Installation: https://ollama.com/download
Hermes3: https://ollama.com/library/hermes3
TranslateGemma: https://ollama.com/library/translategemma

[tbhdk@social.data.coop]

Ollama kan installeres fra App Center i Linux og dernæst bruges fra Terminal,

Tv: Ollama i App Center.

Th: Liste over installerede AI modeller (ingen ved ny installation af Ollama) og installation af fx AI modellen hermes3. Ctrl C afbryder en igangværende proces af en prompt og Ctrl D (ved >>>) afslutter Ollama og den aktuelt kørende AI model.

[tbhdk@social.data.coop]

Tv: Liste over installerede AI modeller (hermes3) og start af allerede installeret AI model (hermes3, samme kommando som til installation af AI model).

Th: Opgave "Write bash script with a menu" og hermes3 svar.

Ctrl Afbryd proces af prompt.
Ctrl Afslut (ved >>>) Ollama.

[tbhdk@social.data.coop]

Her installerer jeg AI modellen translategemma og oversætter frem og tilbage mellem dansk (da-DK) og engelsk (en-GB).

https://ollama.com/library/translategemma

[tbhdk@social.data.coop]

Her slutter så min tråd om Ollama og AI modeller for nuværende. Min foreløbig konklusion er at AI modeller som værktøj til at søge information er skod ️ og på svampe meget af tiden. Derimod er AI modeller brugbare til oversættelse mellem forskellige sprog, fx translategemma, og tip om hvordan kode og script stumper kan skrives, fx hermes3.