Lokalne AI w końcu MA SENS! (Qwen 3.8, 3.6, Gemma 4)
Test i porównanie wydajności lokalnych modeli AI uruchamianych na laptopie z płatnymi modelami chmurowymi w zadaniach biznesowych, programistycznych i kreatywnych. Material pomaga ocenić, czy lokalny sprzęt wystarczy do pracy z najnowszymi otwartymi modelami językowymi.
- Wymagania pamięciowe - do uruchomienia modeli skwantyzowanych 4-bit na Macu wymagany jest RAM (plik do 10 GB na 16 GB RAM), a na Windowsie VRAM karty graficznej (plik do 5 GB na 8 GB VRAM).
- Architektura MoE - model Qwen 3.6 35B-A3B MoE (19 GB) dzięki aktywacji tylko ~3 mld z 35 mld parametrów na token działał do 16x szybciej od gęstego Qwen 3.8 27B (15 GB).
- Odczytywanie paragonów - Qwen 3.6 MoE bez dostępu do sieci wykonał pełne i poprawne odczytanie 10 pozycji w 52 sekundy, podczas gdy gęsty Qwen 27B potrzebował na to aż 13 minut i 48 sekund.
- Analiza faktur i błędy rachunkowe - przy 10-stronicowej fakturze na 446 pozycji mały model Gemma 12B wyłapał ukryty błąd po 30 min 47 s, podczas gdy modele Qwen popełniły błędy i nie zauważyły rozbieżności.
- Test długiego kontekstu i umów - przy 50-stronicowej umowie (168 tys. znaków) lokalne modele Qwen przekroczyły limit kontekstu i zawiesiły się po 40 minutach, a chmurowy Opus 5 podał wynik w 2 minuty 26 sekund.
- Tworzenie kodu i stron WWW - Qwen 3.6 MoE stworzył działającą kalkulacyjną stronę HTML w 1 min 54 s oraz skrypt w Pythonie w 3 min 28 s, ustępując w grafice i animacjach chmurowemu Opus 5.
- Koszt prądu vs abonament - maksymalne obciążenie MacBooka przez 24h na dobę generuje koszt prądu ~30 zł miesięcznie, co czyni pobór energii znikomym w porównaniu do subskrypcji chmurowych (100 zł/mies.).