Suwerenność danych w sztucznej inteligencji: utrzymanie inteligencji przedsiębiorstwa lokalnie

Dlaczego rezydencja danych ma znaczenie dla branż regulowanych

Usługi finansowe, opieka zdrowotna, obrona i organizacje rządowe muszą sprostać rygorystycznym wymogom regulacyjnym dotyczącym miejsca przechowywania danych i sposobu ich przetwarzania. RODO nakłada obowiązek przechowywania danych dla obywateli UE. HIPAA nakłada ścisłą kontrolę chronionych informacji zdrowotnych. ITAR ogranicza możliwość opuszczania danych technicznych związanych z obronnością z jurysdykcją USA. Dla tych organizacji standardowy model wdrażania usług AI SaaS, w którym dane przepływają przez infrastrukturę chmurową stron trzecich i potencjalnie transgranicznie, jest po prostu nie do przyjęcia. Każda ocena sztucznej inteligencji przedsiębiorstwa w regulowanych branżach zaczyna się od tego samego pytania: dokąd trafiają nasze dane? Jeśli odpowiedź wiąże się z wysłaniem wrażliwych danych do zewnętrznego API, ocena kończy się przed jej rozpoczęciem. To nie jest irracjonalna awersja do ryzyka. Jest to rzeczywistość prawna i regulacyjna, do której musi dostosować się każda strategia sztucznej inteligencji przedsiębiorstwa.

Suwerenne wzorce wdrażania: lokalnie, VPC i typu air-gapped

ActiveMotion obsługuje trzy suwerenne wzorce wdrażania, aby spełnić różne wymagania prawne. Wzorzec izolowany przez VPC wdraża cały stos agentów, w tym silnik wnioskowania, warstwę orkiestracji narzędzi, magazyn pamięci i infrastrukturę monitorowania, w ramach własnej chmury VPC klienta. Dane nigdy nie opuszczają granicy VPC. Wnioskowanie LLM można kierować do prywatnych punktów końcowych lub do samodzielnie hostowanych modeli o otwartej wadze w ramach tej samej sieci VPC. Wzorzec lokalny jest wdrażany w infrastrukturze należącej do klienta za zaporą firmową. Jest to powszechne w usługach finansowych i opiece zdrowotnej, gdzie wdrażanie chmury w przypadku wrażliwych obciążeń jest nadal ograniczone przez zasady. Wzorzec „air-gapped” jest najbardziej restrykcyjny: stos agentów działa na infrastrukturze bez żadnego połączenia z Internetem. Wymaga to modeli hostowanych samodzielnie i eliminuje jakąkolwiek zależność od usług zewnętrznych. Jest to standardowy wymóg w przypadku rozmieszczenia sił w służbach obronnych i wywiadowczych. Wszystkie trzy wzorce zapewniają te same możliwości agenta. Topologia wdrożenia zmienia się, ale zachowanie agenta, monitorowanie i zarządzanie pozostają spójne.

Zasady architektury dotyczące wdrażania tam, gdzie jest to potrzebne

Budowanie platformy agentów, która działa we wszystkich trzech wzorcach wdrażania, wymaga świadomych decyzji dotyczących architektury od pierwszego dnia. Po pierwsze, każda zewnętrzna zależność musi być możliwa do abstrakcji: dostęp do dostawców LLM, magazynów wektorowych, backendów monitorujących i menedżerów tajnych sekretów można uzyskać za pośrednictwem interfejsów, które można zamienić na odpowiedniki lokalne. Po drugie, artefakt wdrożenia musi być samowystarczalny: zestaw obrazów kontenerów i plików konfiguracyjnych, które można wdrożyć za pomocą standardowych narzędzi do orkiestracji bez konieczności dostępu do Internetu w celu pobierania pakietów lub ściągania modeli. Po trzecie, należy oddzielić telemetrię i aktualizacje: agent może działać przez czas nieokreślony bez dzwonienia do domu, a aktualizacje są dostarczane w postaci wersjonowanych artefaktów, które można przeglądać i stosować w ramach istniejących procesów zarządzania zmianami. Ta filozofia architektury oznacza, że ​​przedsiębiorstwa nigdy nie muszą wybierać między możliwościami sztucznej inteligencji a zgodnością. Otrzymują oba rozwiązania i wdrażają je dokładnie tam, gdzie wymagają ich wymagania dotyczące bezpieczeństwa i przepisów.