Lokalny model językowy kusi prywatnością i brakiem rachunku za tokeny. Jednocześnie potrafi zaskoczyć hałasem wentylatorów, limitami pamięci i jakością, która „w demo była świetna”, a na polskich dokumentach już nie.
Kiedy lokalnie, a kiedy chmura
- Lokalnie — dane wrażliwe, eksperymenty, offline, kontrola kosztów przy dużym wolumenie prostych zadań.
- Chmura — najwyższa jakość, szybki start, brak utrzymania GPU, zmienne obciążenie.
- Hybryda — klasyfikacja i redakcja lokalnie, trudne wnioskowanie w API.
| Sprzęt | Realistyczny zakres | Uwagi |
|---|---|---|
| 16 GB RAM, bez GPU | Małe modele skwantyzowane, powolne | OK do nauki, słabe do produkcji |
| 32 GB RAM + GPU 8–12 GB | Codzienna praca z modelami średnimi | Najczęściej „sweet spot” home/office |
| Workstation 24 GB+ VRAM | Większe konteksty, fine-tuning light | Koszt energii i chłodzenia |
Setup bez mitologii
Typowy stack 2026: runtime (np. llama.cpp / ollama-like), model w kwantyzacji dopasowanej do VRAM, prosty UI lub API lokalne, opcjonalnie wektorowa baza do RAG. Zanim dołożysz agentów i dziesięć wtyczek — zmierz jakość na swoich plikach.
Checklista dnia pierwszego
- Wybierz 1 model i 1 kwantyzację.
- Przygotuj 15 promptów testowych po polsku.
- Zmierz tokeny/s oraz jakość subiektywną (1–5).
- Dopiero potem myśl o integracji z Notion/Slack/IDE.
Lokalny LLM to nie status. To decyzja infrastrukturalna z rachunkiem za prąd i czas admina.
Jeśli nie masz osoby od utrzymania — zacznij od chmury z silną umową powierzenia, a lokalny node traktuj jako poof-of-concept na wybrane procesy.