Czy potrzebuję super komputera?
Nie. To mit, że do uruchomienia lokalnego AI potrzebujesz sprzętu za dziesiątki tysięcy złotych.
Ja używam potężnej karty Nvidia RTX Pro 6000 z 96GB VRAM – ale to sprzęt pokazowy do tworzenia materiałów wideo. Ty możesz uruchomić lokalne AI na:
- Karcie graficznej za kilka tysięcy złotych (np. RTX 3080 z 12GB)
- Zwykłym komputerze bez dedykowanej karty (wolniej, ale działa)
- Zasobach w chmurze (płacisz za minuty, nie za sprzęt)
Cała siła polega na tym, żebyś rozumiał, jak to działa i dobrał model do swoich zasobów.
konsultacje
Wzmocnij cyberbezpieczeństwo
swojej firmy już dziś!
Zapisz się na 30-minutową darmową konsultację, aby wstępnie omówić potrzeby związane z cyberbezpieczeństwem w Twojej firmie.
Wspólnie znajdziemy rozwiązanie dopasowane do specyfiki Twojej działalności!
Jak działają lokalne modele AI?
Cały model musi zmieścić się w pamięci VRAM Twojej karty graficznej. To jest kluczowa zasada.
|
Twój VRAM |
Jakie modele możesz uruchomić |
|
8 GB |
Małe modele 3-7B parametrów |
|
12 GB |
Średnie modele 7-13B parametrów |
|
24 GB |
Duże modele 13-30B parametrów |
|
48+ GB |
Bardzo duże modele 30-70B parametrów |
Jak sprawdzić swoje zasoby? Jeśli masz kartę Nvidia, wpisz w terminalu:
nvidia-smi
Zobaczysz ile VRAM masz dostępne i ile jest aktualnie zajęte.
Hugging Face – skąd brać modele
Hugging Face to społeczność, która udostępnia modele językowe. To Twoje główne źródło.
Po zalogowaniu kliknij „Models” i użyj filtrów:
- Text Generation – interesują nas modele językowe
- Rozmiar parametrów – dobierz do swojego VRAM
- Ollama – wybierz modele kompatybilne z Ollama
Ale najważniejszy filtr to ten w URL. Dopisz na końcu adresu:
&other=uncensored
To pokaże Ci modele bez cenzury. Szukaj też znacznika „abliterated” – oznacza model z usuniętymi ograniczeniami.
Jak dobrać model do swojej karty?
Hugging Face ma genialną funkcję Hardware Compatibility.
- Wejdź w ustawienia swojego profilu
- Dodaj swoją kartę graficzną (np. RTX 3080, 12GB)
- Przy każdym modelu zobaczysz, czy się uruchomi
System pokazuje trzy stany:
- Zielony – model działa płynnie
- Żółty – może działać, ale wolno
- Czerwony – nie uruchomi się
Przy większych modelach zobaczysz różne wersje skwantyzowane (2-bit, 3-bit, 4-bit). Im mniejsza kwantyzacja, tym mniejszy model, ale też niższa jakość. Dla karty 12GB często 4-bitowa wersja dużego modelu będzie lepsza niż pełna wersja małego.
Ollama – silnik do uruchamiania modeli
Ollama to narzędzie, które pozwala uruchamiać modele lokalnie. Instalujesz raz i potem tylko pobierasz kolejne modele.
Instalacja modelu z Hugging Face:
- Znajdź model na Hugging Face
- Kliknij „Use this model” → wybierz „Ollama”
- Skopiuj polecenie (np. ollama pull hf.co/user/model-name)
- Wklej w terminal i uruchom
Model się pobierze i będzie gotowy do użycia.
konsultacje z cyberguru
Gotowy na wzmocnienie cyberbezpieczeństwa swojej firmy?
Zarezerwuj darmową 30-minutową konsultację, aby omówić potrzeby Twojej firmy w zakresie ochrony danych i cyberbezpieczeństwa. Wspólnie zidentyfikujemy zagrożenia i znajdziemy najlepsze rozwiązania dopasowane do Twojego biznesu.
Porozmawiajmy! Kliknij w poniższy przycisk i umów się na bezpłatną konsultację.
Open WebUI – wygodny interfejs
Żebyś nie musiał pisać w terminalu, jest Open WebUI – interfejs graficzny podobny do ChatGPT, ale dla lokalnych modeli.
Dwa sposoby instalacji modeli przez Open WebUI:
Sposób 1 – przez interfejs:
- Ustawienia → Ustawienia administratora → Modele
- Kliknij „Zarządzaj modelami”
- Wklej nazwę modelu z Hugging Face
- Kliknij pobierz
Sposób 2 – przez terminal:
ollama pull nazwa-modelu
Model pojawi się automatycznie w Open WebUI.
Strona Ollama – alternatywne źródło modeli
Oprócz Hugging Face możesz pobierać modele bezpośrednio ze stronyollama.com.
Wejdź w Models i dopisz w wyszukiwarce „abliterated”. Znajdziesz modele bez ograniczeń, często przygotowane przez tych samych autorów co na Hugging Face.
Co możesz zrobić z modelem bez cenzury?
Model bez ograniczeń odpowie na każde pytanie. Możesz go użyć do:
- Testów penetracyjnych – generowanie payloadów, analiza exploitów
- Red teamingu – przygotowanie kampanii phishingowych do testów
- Exploit research – badanie podatności
- Pracy ofensywnej – symulacje ataków w kontrolowanym środowisku
- Białego wywiadu – analiza i automatyzacja OSINT
Przykład: możesz poprosić o napisanie przykładowego kodu ransomware, wiadomości phishingowej czy programu typu trojan. Model to zrobi bez pytania „czy na pewno?”.
Ważne: Używaj tego zgodnie z prawem. My, specjaliści od bezpieczeństwa, potrzebujemy takich narzędzi do pracy. Ale pamiętaj, że źli aktorzy też mają do nich dostęp. Ty bądź tym dobrym.
Kontekst (CTX) – pamięć modelu
W Open WebUI zobaczysz suwak CTX (context). Domyślnie ustawiony na 2048.
Co to oznacza? To jest „pamięć” modelu – ile poprzedniej rozmowy bierze pod uwagę przy odpowiedzi. 2048 tokenów to bardzo mało.
Jeśli Twój model obsługuje większy kontekst (np. 128 tysięcy), możesz zwiększyć CTX. Dzięki temu model „pamięta” dłuższe konwersacje.
Jak sprawdzić maksymalny kontekst? Wejdź w opis modelu na Hugging Face i szukaj „context length” lub „context window„.
Tools – modele z narzędziami
Niektóre modele mają włączoną obsługę tools (narzędzi). Co to daje?
Model z tools może:
- Wykonywać kod
- Łączyć się z zewnętrznymi API
- Używać przeglądarki
- Operować na plikach
To pozwala budować agentów AI – programy, które nie tylko odpowiadają na pytania, ale też wykonują zadania.
Sprawdź w opisie modelu, czy ma włączone „function calling” lub „tools„.
Jakie modele wybrać na start?
Dla kart 12GB VRAM polecam zacząć od:
|
Model |
Rozmiar |
Uwagi |
|
Qwen 2.5 (abliterated) |
7B |
Dobry ogólnie, bez cenzury |
|
Mistral (uncensored) |
7B |
Szybki, dobra jakość |
|
Llama 3 (abliterated) |
8B |
Meta, bardzo dobry |
Dla kart 24GB+ możesz sięgnąć po większe wersje tych samych modeli (13B, 30B) lub po GPT4All w wersji 70B+.
Lokalne AI bez cenzury – Podsumowanie
Lokalne AI bez cenzury to nie science fiction. Możesz je uruchomić dzisiaj, na swoim sprzęcie, za darmo.
Co potrzebujesz:
- Kartę graficzną z minimum 8GB VRAM (lub cierpliwość do CPU)
- Ollama jako silnik
- Open WebUI jako interfejs
- Model z Hugging Face (szukaj „uncensored” lub „abliterated”)
Cały proces zajmuje może godzinę. Potem masz AI, które:
- Działa lokalnie (prywatność)
- Nie ma cenzury (pełna funkcjonalność)
- Nie wysyła danych do korporacji (kontrola)
- Odpowiada na każde pytanie (bez kagańca)
Jeśli zajmujesz się cyberbezpieczeństwem, białym wywiadem albo po prostu chcesz mieć pełną kontrolę nad swoim AI – to jest rozwiązanie dla Ciebie.
współpraca
Szukasz stałej, kompleksowej obsługi bezpieczeństwa IT Twojej firmy?
Współpracuj ze mną w modelu CISO as a Service
Zostanę zewnętrznym szefem cyberbezpieczeństwa Twojej firmy
CISO as a Service od Cyberguru to:
- działania dot. cyberbezpieczeństwa dostosowane do specyfiki Twojej branży i skali działalności
- strategiczne podejście do bezpieczeństwa IT obejmujące zarządzanie ryzykiem i wdrażanie polityk
- wsparcie operacyjne: od monitorowania bezpieczeństwa IT, przez reagowanie na incydenty, aż po audyty i testy penetracyjne
- stałe podnoszenie świadomości dot. cyberbezpieczeństwa u Twoich pracowników poprzez cykliczne szkolenia
- korzystanie z wiedzy specjalisty, który jest na bieżąco z najnowszymi trendami w branży cyberbezpieczeństwa
- zapewnienie zgodności z lokalnymi i międzynarodowymi przepisami dot. ochrony danych i bezpieczeństwa informacji
- regularne raportowanie o obecnej sytuacji bezpieczeństwa IT w Twojej firmie i zalecanych krokach
- redukcja kosztów związanych z zatrudnieniem pełnoetatowego CISO, szczególnie dla mniejszych firm
