Lokaler KI Rechner nur mit Apple / Minisforum /etc. möglich wegen Preisen?

[ZAG]

Joh,
steht ja alles in der Überschrift:

Ist ein lokaler KI Rechner aktuell nur mit nem Apple Mini oder nem Minisforum S1 max möglich (wobei dort wegen den Speicherpreisen die Preise auch monatlich steigen) oder gibt es auch weiterhin Custom Lösungen, die noch bezahlbar sind?

Framework Desktop habe ich mir auch schon mal angeschaut.
Würde gerne auch halbwegs aufrüstbar bleiben wollen und natürlich max. Performance zum vergleichbaren Preis erzielen.

Gruß

 

[Klenkogi]

Bei den Mini PCs kommst du einfach nicht auf genug VRAM um kompetente Modelle laufen zu lassen. Selbst wenn diese als "AI Ready" angepriesen werden. Apple Platinen sind wahrscheinlich sehr effizient, habe keine direkte Erfahrung mit denen aber das wird sicherlich ein teurer spaß ohne Erweiterbarkeit oder flexibilität.

Daher würde ich den klassischen Desktop PC als alternativlos sehen.

Meine lokalen KIs lasse ich auf meinem Gaming PC laufen, da ist die Hardware ja schon vorhanden.

Wenn es eine dedizierte Mühle werden soll, dann würde ich auf einen Custom Build setzen. Mit einem System bestehend aus einer RTX 4060 Ti 16GB und 32 GB Ram kann man locker 7B bis 13B Modelle laufen lassen. Das wäre auch so die Untergrenze.

Für 30B Modelle, welche wirklich kompetent sein können, musst du mit 64GB RAM anfangen und eine RTX 4070 / 4070 Super einplanen.

 

[ZAG]

Naja, die genannten "PCs" haben alle unified momory.
Das ist ja genau das, was die Apple Geräte so beliebt zur Zeit macht.
Aber es gibt halt nicht nur Apple, der Miniforum hat noch mehr RAM und ist kaum teurer aber etwas mehr Stromverbrauch.

Aber die Systeme sind halt auch null aufrüstbar.

 

[Klenkogi]

Unified Memory löst das Kapazitätsproblem, aber nicht das Performance- und Upgradeproblem, daher glaube ich, dass du schnell an Grezen stoßen wirst. Oder anders gesagt:

Ich denke du bist kein Zielkunde für solche Mini-PCs wenn du

• aufrüstbar bleiben willst
• Preis/Leistung maximieren willst
• nicht alle 2 Jahre neu kaufen möchtest

Sollte dir das Genannte aber nicht wichtig sein würde ich einfach mal sagen, dass du es probierst. Gerne würde ich mich eines besseren belehren lassen.

 

[ZAG]

Ja, die Performance des gemeinsamen Speichers ist geringer als die des VRAMs der Grafikkarten (DDR5 vs DDR7 oder 8)?
Ich wollte hier ja vor allem auch mal hören, ob es Alternativen gibt. Selbst bei einem Setup mit ner fetten Grafikkarte (Preis/Stromfresser) kommt man nicht über 24GB!?

 

[FenixBlack]

Ich habe mich selber noch nicht mit dem Thema beschäftigt. Ich weiß nur, dass Keno von c't 3003 ein paar Worte zu dem Thema Lokale KI ist jetzt WIRKLICH brauchbar (und auf dieser Hardware läuft sie) verloren hat.

Sag mir wenn das hilfreich war.

Ach und ich seh gerade, 2Monate jünger als das obere Video ist der Beitrag KI: Apple besser als Nvidia!

 

[ZAG]

Ja, die Videos kenne ich. Auch einen Vergleich der Performance zwischen Apple, seinem PC mit fetter GraKa und noch 2 Geräten meine ich. Wenn es in den Speicher passt, dann schlägt der PC halt alles um Längen. Mit entsprechendem Stromverbrauch.
Nur ab 32b Modelle kann der nicht mehr ausführen.
Ich habe diverse Tests mit Ollama gemacht. Habe dort die Modelle ausgewählt, die ich dann auch lokal nutzen würde. Egal was die im YouTube einem vorgaukeln, unter 32b sind die Ausgaben jenseits des chattens nur bedingt brauchbar.
Da will man sich nicht drauf verlassen wollen.