Trzy ślepe punkty nadzoru AI, które niszczą projekty w firmach

Większość firm nie kontroluje sztucznej inteligencji przed tym, jak coś zrobi — kontrolują ją po fakcie, co jest równoznaczne z obserwowaniem nagrania z monitoringu po opróżnieniu kasy zamiast jej ochrony.

Dyskusje o bezpieczeństwie AI w przedsiębiorstwach skupiają się na niewłaściwych kwestiach. Zespoły spędzają tygodnie na wyborze modelu, a następnie podłączają go do poczty, płatności, baz danych klientów i kodu bez zadania sobie prostszego pytania: kiedy ten model coś zrobi, kto to obserwuje i czy ktoś może temu zapobiec?

Problemy narastają szybko. Gartner szacuje, że co najmniej 15% rutynowych decyzji biznesowych będzie podejmowanych autonomicznie przez AI w 2028 roku, w porównaniu z praktycznie żadnymi w 2024 roku. Jednocześnie ostrzega, że ponad 40% projektów AI zostanie anulowanych do końca 2027 roku — ale nie dlatego, że modele są złe. Umierają, ponieważ nikt nie zbudował sposobu, aby je zarządzać.

Trzy ślepe punkty nadzoru AI, które większość firm ignoruje

Istnieją trzy główne luki w kontroli sztucznej inteligencji w firmach. Większość organizacji nie obserwuje żadnej z nich właściwie, a wiele nie obserwuje żadnej.

1. Autonomiczne agenci z dostępem do narzędzi

Wszyscy martwią się o autonomicznych agentów — i słusznie. Ale martwią się o niewłaściwą część. Niepokojącą rzeczą w agencie nie jest to, że rozumie. To, że działa. Nie proponuje zwrotu; płaci go. Nie pisze e-maila; wysyła go.

Podanie modelowi zestawu narzędzi to podanie mu możliwości dotknięcia prawdziwych systemów i zmiany rzeczy. Pomyłka może skutkować nie tylko niezręcznym zdaniem — to pieniądze wyrzucane w błoto lub cicha utrata tabeli z bazy danych.

Wstrzyknięcie promtu (prompt injection) znajduje się na samej górze listy ryzyka OWASP dla aplikacji LLM. Podanie modelowi niewłaściwego tekstu może spowodować, że zrobi coś, czego nikt nie prosił. Kiedy model może tylko mówić, to niedogodność. Kiedy model może wywołać narzędzia — to atakujący, który trzyma Twoje klucze API.

Standardowa odpowiedź to rejestrowanie wszystkiego i obserwowanie śladów. Ale ślad to opis czegoś, co już się wydarzyło. To nagranie z monitoringu po opróżnieniu kasy — przydatne do dochodzenia, bezużyteczne do powstrzymania kradzieży.

2. Zwykłe API callse ukryte w kodzie

Drugi punkt ślepy nigdy nie pojawia się na slajdzie, bo jest nudny: to zwykłe wywołanie API. Nie agent, nie framework — tylko kawałek kodu gdzieś w usłudze, który składa prompt i wywołuje go na modelu.

Większość AI w produkcji wygląda dokładnie tak. Jest to najmniej zarządzana część całego stosu, właśnie dlatego, że jest tak zwyczajna. To żądanie HTTP zakopane trzy warstwy głęboko w jakiejś usłudze, napisanej przez inżyniera, który nigdy nie słyszał o Twojej polityce AI i nie wiedziałby, gdzie ją znaleźć.

Jedno takie wywołanie może wysłać dane klienta do modelu trzeciej strony lub wywołać akcję w dół strumienia. Nic nie sprawdza, czy powinno. Nic niezależnego nie zapisuje, że tak się stało.

3. Pracownicy wklejający dane do ChatGPT z prywatnych kont

Trzeci punkt ślepy to ludzie — i dlatego jest to najgorszy. Twoi pracownicy odkryli, że wklejenie zadania do ChatGPT lub Claude powoduje, że jest to robione szybciej, więc robią to cały dzień — zwykle z osobistych kont, których nie możesz zobaczyć.

To nie jest hipotetyczne. Badanie Cyberhaven na rzeczywistym użyciu w miejscu pracy wykazało, że znaczna część pracowników wkleiła poufne dane firmy do ChatGPT. Wiele z tych incydentów pochodzi z kont, na które firma nie ma okna.

Przykład z życia: Samsung

W 2023 roku Samsung zakazał generatywnego AI wewnętrznie po tym, jak inżynierowie wkleili własny kod źródłowy do ChatGPT — trzy oddzielne razy w ciągu mniej niż miesiąca. Ci ludzie nie byli złymi aktorami. Byli dobrymi inżynierami, którzy starali się debugować szybciej.

To jest cała pułapka: wyciek wygląda identycznie jak produktywność. Twoje stare narzędzia do utraty danych nie złapią tego, ponieważ to kopiuj-wklej do karty przeglądarki, a nie plik wychodzący z budynku.

Jak naprawić nadzór AI: cztery praktyczne kroki

Siedź przed akcją, a nie za nią

To jest cała gra. Obserwowalność i zarządzanie to nie to samo słowo:

• Obserwowalność = pulpit, który informuje Cię, że agent przeniósł 40 000 funtów wczoraj. To raport strat.
• Kontrola = coś, co może zatrzymać ten transfer, aby człowiek mógł go przejrzeć, zanim wyjdzie.

Jeśli Twoje ustawienie może tylko powiedzieć Ci, co się stało, nie masz nadzoru. Masz tylko wgląd wsteczny.

Użyj jednego punktu kontrolnego, nie jednego na narzędzie

Agenci, wywołania API i pracownicy wklejający do chatbota wydają się trzema oddzielnymi problemami, więc firmy kupują trzy oddzielne narzędzia i kończą z trzema zestawami luk między nimi. Złe rzeczy żyją w tych lukach.

Wszystko, co robi AI — niezależnie od tego, skąd pochodzi — powinno przejść przez tę samą bramkę, zanim się wydarzy.

Zachowaj dziennik, który AI nie może przepisać

Jeśli system, który robi coś, jest również jedynym systemem, który rejestruje, że to zrobił, nie masz rekordu. Masz dziennik, który pozwala mu edytować.

Rozporządzenie AI UE (artykuł 12) wymaga prowadzenia dziennika w taki sposób, aby to, co zrobił system o wysokim ryzyku, mogło być odtworzone przez kogoś innego niż system. W praktyce oznacza to dziennik prowadzony poza rzeczą, która jest rejestrowana — jeden, który nie może być cicho zmieniony po fakcie.

Umieść człowieka na wielkich, nieodwracalnych połączeniach

Nie wszystko — ludzie utoną w zatwierdzeniach. Ale połączenia, których nie można cofnąć (przenosząc pieniądze, eksportując dane, kasując rekordy), powinny zatrzymać się i czekać.

Rozporządzenie AI UE (artykuł 14) już nakazuje nadzór człowieka dla systemów o wysokim ryzyku. Chwyt, który warto pamiętać: nadzór ma znaczenie tylko wtedy, gdy osoba ma czas i kontekst, aby naprawdę powiedzieć nie. Zatwierdzenie, które nikt nie czyta, to tylko teatr.

Co to oznacza dla Twojej firmy

Zaden z tych trzech punktów ślepych nie jest przypadkiem. To zwykły sposób, w jaki większość firm używa AI teraz — cicho, bez sieci. Zespoły, które przetrwają przez następne kilka lat bez brzydkiego incydentu, nie będą tymi z najładniejszymi wykresami. Będą tymi, które zdecydują się wcześnie, że wszystko, co robi ich AI — agent, wywołanie API, wklejony akapit — przechodzi przez jedną bramkę, zanim się wydarzy, a nie potem.

Jeśli chcesz szybki test swojego ustawienia, odpowiedz szczerze na dwa pytania:

1. Z tych trzech powierzchni, ile możesz naprawdę zobaczyć?
2. A z tych, które możesz zobaczyć, ile możesz powstrzymać?

Dla wielu firm szczera odpowiedź na drugie pytanie to zero. To jest liczba, którą trzeba najpierw naprawić — zanim AI zacznie pracować w Twojej firmie na poważnie.