DeepSeek

[FredericV]

Ben onder de indruk geraakt van wat DeepSeek R1 kan:

https://www.youtube.com/watch?v=bOsvI3HYHgI

"Maak eens tetris in python"

Zeker gezien er getoond wordt, hoe het model redeneert, het feit dat het open source is, en dan je dit mits resources wel zelf kan (laten) hosten.
Zo toont de videomaker dat dit niet bij deep seek zelf draait, dus het feit dat er prompts en data lekt, is dan een non issue.

https://github.com/deepseek-ai/DeepSeek-LLM

De kat is dus uit de doos en ik denk dat het onmogelijk gaat worden om dit nog tegen te houden.

[brubbel]

"De geest is uit de fles" + "The cat is out of the bag" + "de doos van pandora" = = "De kat is uit de doos"

[Patje]

https://techpulse.be/nieuws/476199/deep ... -internet/

Ook test aankoop legt een klacht neer tegen deepseek , betreft de AVG / GDPR

https://www.test-aankoop.be/familie-pri ... n-deepseek

[Dizzy]

"De geest is uit de fles" + "The cat is out of the bag" + "de doos van pandora" = = "De kat is uit de doos"

Dat introduceert ons niet

Deepseek is vooral het doorprikken van de hype rond AI. Ze hebben heel snel een model kunnen bouwen dat capabel is voor veel minder geld en met veel minder hardware. De aandelen van Nvidia zijn gedaald daardoor maar deze van veel energiebedrijven ook.

De klachten van openAI zijn kansloos want ze hebben zelf alles gepikt dus nu erover klagen is wat belachelijk en als Deepseek Chatgpt gebruikt heeft dan hadden ze dat maar eerder moeten doorzien of ze hadden aan chatgpt kunnen vragen hoe ze hun beveiliging op orde krijgen

[Joe de Mannen]

Een doorbraak ? Wellicht ergens wel.
Maar als je een vorige versie vroeg wie het was, was het antwoord chatgpt. Het is dus een 'zuiniger' model gebaseerd op chatgpt als ik het goed begrijp. Maar dat is natuurlijk niet zo moeilijk als een groot stuk van het werk en energie er al door een ander is ingestoken.
Is het tegen te houden ? Waarschijnlijk niet.
Is dit 'gevaarlijk' ? Ja want de drempel is verlaagd voor iedereen, ongeacht hun achterliggende bedoelingen.
Is er regulering nodig ? Heel hard.
J.

[Dizzy]

Gelukkig hebben we net een oranje clown die de regulering eens gaat regelen

Gevaarlijk? het is gevaarlijk als mensen het teveel vertrouwen, google was even gevaarlijk want ook daar vind je veel foute info mee maar ook daar moet je zelf kritisch blijven. Een GPS is ook gevaarlijk als je het blind volgt.

[Joe de Mannen]

Ik denk bij 'gevaarlijk' bvb aan een chatbot die mensen geld aftroggelt ipv een duister callcenter boven een sweatshop in India die nu minder drempels kent.

J.

[Dizzy]

Dat bestaat al langer dan AI, zelfs Brad Pitt houdt zich daarmee bezig

[NuKeM]

Heb hem hier ook lokaal draaien (tot 14b model is doenbaar). Los van het feit dat Deepseek (waarschijnlijk met rede) omstreden is, ben ik ook best wel onder de indruk van wat je al lokaal kan draaien!

[butskristof]

Ik ben ook aan het rondkijken om wat te experimenteren met lokale LLMs, wat voor hardware gebruik jij om dat 14b model te runnen?
M'n Mac met M3 Pro en 36 GB RAM is leuk om mee te starten en proberen, maar long-term zet ik het toch liefst op een aparte host in het netwerk. Wellicht moet ik dan al kijken naar iets als een Nvidia 3090 met 24 GB VRAM als minimum?

De distilled deepseek models zijn natuurlijk wel gewoon qwen en llama die wat bijgestuurd zijn, maar de Chinees gehoste versie vertrouwen voelt toch nogal icky op dit moment. Het is wel heel knap wat ze gedaan hebben met hun budget, en het geeft hopelijk de concurrenten toch al een beetje een duwtje richting het afwenden van "closed AI" als einddoel.

Deze Computerphile video vond ik heel interessant:

[NuKeM]

Ik draai alles op mijn Mac met M1Max met 32 GPU-cores en 32GB ram. Zelf het 32b model loopt nog relatief vlot. Ik gebruik Ollama, Openweb UI en Python.
Zijn er eigenlijk al local LLMs die goed overweg kunnen met Nederlands?
Er is echt een wereld aan het open gaan voor mij nu na wat spelen en lezen (vooral mbt LLMs, maar deep learning etc. ga ik ook eens verder moeten onderzoeken). Zeer interessant allemaal, zaken zoals prompt engineering, RAG, tuning, nog zoveel om mee te experimenteren en eventueel zelfs bij mijn werkgever in te zetten met mogelijke meerwaarde. Het gaat ook echt snel allemaal!

[butskristof]

Yes, vergelijkbaar verhaal hier . Ik heb AI dev tools heel lang links laten liggen maar me er deze week toch eens in verdiept en ben echt onder de indruk van wat er allemaal mogelijk is. Het gaat me nog wat oefening vergen om die allemaal effectief (en kostbewust) te leren gebruiken, maar ik ben echt onder de indruk van o.a. Continue, Cline en Roo Code.
Ik heb er nog geen hosted DeepSeek durven aanhangen, vooral Claude 3.5 Sonnet. Op termijn wil ik dat dus wel graag vervangen door iets lokaal gezien de kost wel aantikt, zeker als je de prompts en context nog niet goed weet te definiëren.

Nederlands zou ik niet meteen weten gezien mijn focus vooral op code ligt, maar ik dacht dat je hiervoor vooral bij de grotere modellen moest gaan kijken. Geen idee of taal-specifieke kleinere modellen zijn.

[keerekeerweere]

Misschien eens zien wat de kleinere modellen gebaseerd op Llama 3.3 (of 4) kunnen behalen met de reasoning mogelijkheden zoals beschreven door DeepSeek R1 Zero (en de Berkeley paper die de reasoning vrij degeleek maakt, met een budget van 30,- USD door training/finetuning) en dan iets wat je (quantized) lokaal of op een kleinere GPU host kan draaien. 1.5B modellen zullen net iets te zwak zijn, de 7-8B modellen halen al goede resultaten.
Een alternatief is om bij de Qwen of zelfs Deepseek series van modellen proberen er de censuur en andere brol van te verwijderen.

Los daarvan heb ik een dual RTX3090 met 2x24GB. Die draait behoorlijk goed de quantized 70-80B modellen. Bij gelegenheid zal ik er eens iets uitgebreider over berichten.
Daarnaast een 'oude' Tesla P40 met 1x 24GB die er ook goed in slaagt wat 7B - 8B - 11B - 30B modellen te draaien met aanvaardbare snelheden. Een P40 kost 1/3 van een RTX3090 maar haalt iets meer dan 50% van de performantie.
Misschien een tip om het 'private' en heel goedkoop te doen is eventueel te kijken welke CPU based configs nog haalbaar zijn, zoals een Epyc 9xxx serie met AVX512 extensies. Die vind je bij wat hosters met 16-24GB configuraties aan zeer democratische prijzen, al dan niet met dedicated cores.

recentelijk wisten deze me ook te charmeren om verder mee aan de slag te gaan:
- PHI-4
- Mistral Small 3

Last but not least lokaal: draaien moet zijn nut hebben, voor de prijs moet je het niet doen.

[brubbel]

"Deep research" has arrived! Ik ben benieuwd, de volgende dagen eens uittesten wat het kan.

[FredericV]

Ik zou deep seek dus lokaal willen draaien (of ergens hosted), maar dus niet op zo'n manier dat de login en prompts gelekt worden, zoals hier:

https://yro.slashdot.org/story/25/02/05 ... nned-in-us

Te verwachten dat dit gebanned gaat worden, want is ook niet compliant met de AVG, maar ook in de USA maken ze zich zorgen:

https://slashdot.org/story/25/02/06/154 ... eries-says

Ik zie ook berichten dat reasoning modellen voor peanutes worden getrained:

https://slashdot.org/story/25/02/06/144 ... r-under-50


en dan deepseek die zichzelf verbetert:




Ik speel met het idee een high-end PC te kopen om deepseek lokaal te draaien voor coding.

[liber!]

Ik speel met het idee een high-end PC te kopen om deepseek lokaal te draaien voor coding.

Als dat puur is voor coding zou je dan niet beter een Github Copilot of een andere dienst afsluiten, gaat pak goedkoper en sneller zijn.