Czy lokalny agent AI wymaga połączenia z internetem?

Nie. Model działa na urządzeniu, a interfejs zgodny z OpenAI jest dostępny pod adresem 127.0.0.1:8080, czyli na samym komputerze. Dokumenty nie muszą opuszczać laptopa.

Ile pamięci potrzebuje model Qwen3.8-27B w wersji Q4_K_M?

Model o około 27 mld parametrów w kwantyzacji Q4_K_M został uruchomiony w konfiguracji laptopa z 128 GB zunifikowanej pamięci LPDDR5X. Kwantyzacja zmniejsza wymagania pamięciowe kosztem pewnej utraty precyzji.

Czym różni się model gęsty od MoE?

Model gęsty aktywuje wszystkie parametry przy każdym zapytaniu, a model typu MoE (mieszanka ekspertów) uruchamia tylko wybrane fragmenty sieci. Dzięki temu model MoE może mieć większą liczbę parametrów przy zbliżonym koszcie obliczeń na token.

Jak agent AI decyduje, którego narzędzia użyć?

Model językowy wybiera narzędzie, a skrypt w Pythonie je wykonuje. Skrypt może też odmówić wykonania polecenia, co pozwala kontrolować dostęp do plików.

Czy do testów użyto prawdziwych danych firmy?

Nie. Zestaw składał się z 29 dokumentów Markdown dotyczących fikcyjnej spółki, a przetestowano 12 scenariuszy analityczno-wyszukiwawczych.

Lokalny agent AI do dokumentów firmowych na laptopie ASUS

Sprawdź, jak lokalny agent AI analizuje dokumenty firmowe na laptopie ASUS ProArt P16 z platformą NVIDIA RTX Spark N1X.

Lokalny agent AI do analizy dokumentów firmowych działa na laptopie ASUS ProArt P16 z platformą NVIDIA RTX Spark N1X, bez przesyłania plików do zewnętrznej chmury. Pokazuje to test przeprowadzony na jednym węźle, który łączy procesor, kartę graficzną i obliczenia AI w jednym układzie.

Czym jest platforma RTX Spark N1X i dlaczego ma znaczenie dla lokalnej AI?

Platforma RTX Spark N1X to architektura ARM, w której na jednym chipie współpracują procesor, układ graficzny i jednostki do obliczeń AI. Dla lokalnych modeli kluczowa jest pamięć. Konfiguracja opisana w teście ma 128 GB zunifikowanej pamięci LPDDR5X, z której korzystają zarówno CPU, jak i GPU, bez klasycznego podziału na pamięć systemową i pamięć karty.

Część obliczeniową odpowiada GPU Blackwell z 6144 rdzeniami CUDA. Dysk SSD o pojemności 2 TB pozwala przechowywać wiele wag modeli i dużą bazę dokumentów.

Parametr	Wartość w teście
Architektura	ARM (CPU + GPU + AI)
Pamięć	128 GB zunifikowanej LPDDR5X
GPU	Blackwell, 6144 rdzeni CUDA
Dysk	SSD 2 TB
System	Windows 11 Pro ARM64
Profil wydajności	Wydajność (ProArt Creator Hub)

Jakie modele AI sprawdzono na laptopie?

Testowano dwa modele: Qwen3.8-27B oraz GPT-OSS-120B. Pierwszy to model gęsty o około 27 mld parametrów, czyli każde zapytanie angażuje całą sieć. Drugi to architektura MoE, w której aktywna jest tylko część ekspertów. Dla użytkownika oznacza to inny kompromis między szybkością odpowiedzi a zajętością pamięci.

Oba modele załadowano w formacie GGUF z kwantyzacją Q4_K_M. Format ten pozwala uruchomić duże wagi na lokalnym sprzęcie, ponieważ każdy parametr zapisany jest z mniejszą liczbą bitów.

Model	Typ architektury	Parametry	Format i kwantyzacja
Qwen3.8-27B	Gęsty	ok. 27 mld	GGUF, Q4_K_M
GPT-OSS-120B	MoE	120 mld (nazwa modelu)	GGUF, Q4_K_M

Jak skonfigurować lokalne API zgodne z OpenAI?

Silnikiem uruchomieniowym była kombinacja NVIDIA PAIR z obsługą llama.cpp. Po starcie serwera aplikacje korzystają z lokalnego interfejsu zgodnego z OpenAI pod adresem 127.0.0.1:8080. Dzięki temu istniejące skrypty i biblioteki kliencie można przekierować na własny komputer, zmieniając jedynie adres bazowy.

Praktyczne kroki wyglądają następująco:

Zainstaluj środowisko inferencji obsługujące format GGUF.
Pobierz wagi wybranego modelu w kwantyzacji Q4_K_M.
Uruchom serwer nasłuchujący na 127.0.0.1, aby ruch nie wychodził poza urządzenie.
Podłącz klienta, wskazując lokalny adres zamiast usługi w chmurze.

Jak działa agent, który przeszukuje dokumenty?

Agent składa się z modelu i skryptu w Pythonie. Model analizuje polecenie i wybiera narzędzie, a skrypt je uruchamia. Co istotne, skrypt może odmówić wykonania operacji, na przykład gdy żądanie wykracza poza dozwolony zakres. To prosta, lecz skuteczna warstwa kontroli między modelem a plikami.

Zestaw narzędzi obejmował:

listę dokumentów w katalogu,
odczyt pojedynczego pliku,
przeszukiwanie archiwum,
zapis raportu.

Logika agenta pochodzi z własnego projektu autora, który powstał jeszcze w czasie studiów. Oznacza to, że można ją zaadaptować bez zależności od gotowej platformy.

Jak wyglądał test i czego się z niego nauczyć?

Eksperyment podzielono na dwa zestawy. Pierwszy mierzył szybkość: każde zadanie powtórzono trzykrotnie, aby uśrednić wynik. Drugi sprawdzał skuteczność agenta na 29 dokumentach Markdown w 12 scenariuszach. Dane dotyczyły fikcyjnej spółki, więc test nie naruszał tajemnicy handlowej.

Jeśli chcesz powtórzyć takie badanie we własnej firmie, zacznij od przygotowania reprezentatywnego zestawu dokumentów i listy typowych pytań. Mierz czas odpowiedzi kilkukrotnie, ponieważ pojedynczy przebieg bywa mylący. Osobno oceniaj trafność odpowiedzi oraz to, czy agent poprawnie odmawia nieuprawnionych operacji.

Co to oznacza dla firm i zespołów pracujących z dokumentami?

Najważniejsza zaleta lokalnego agenta to kontrola nad danymi. Gdy model działa na urządzeniu, dokumenty firmowe nie trafiają do zewnętrznego dostawcy, co upraszcza ocenę ryzyka. Nie zwalnia to jednak z obowiązków wynikających z RODO, ponieważ przetwarzanie danych osobowych nadal wymaga odpowiednich zasad i dokumentacji. Lokalne przetwarzanie ogranicza natomiast liczbę miejsc, w których dane mogą wyciec.

Mocny sprzęt z dużą pamięcią pozwala na pracę z większymi modelami bez połączenia z siecią. Przed wdrożeniem warto jednak sprawdzić, czy wybrana konfiguracja odpowiada skali dokumentów i liczbie użytkowników. Test na fikcyjnych danych jest dobrym punktem wyjścia, ale prawdziwy zestaw firmowy należy zweryfikować osobno.