Co naprawdę oznacza „znacząca kontrola człowieka" w broni autonomicznej?

Nie istnieje traktat, uzgodniona rezolucja ani szeroko przyjęty standard techniczny, który definiowałby „znaczącą kontrolę człowieka". To pojęcie robi realną robotę w debacie politycznej właśnie dlatego, że nie zostało doprecyzowane — nazywa coś, co wszyscy uznają za ważne, ale nie rozstrzyga, ile kontroli, jakiego rodzaju i na którym etapie cyklu decyzyjnego broni w ogóle się liczy.

Skąd wzięło się to pojęcie

„Znacząca kontrola człowieka" trafiła do słownika polityki na początku lat 2010. za sprawą organizacji pozarządowych i środowiska akademickiego, a potem została podchwycona przez państwa w ramach Konwencji o Broni Konwencjonalnej (CCW) przy ONZ, gdzie od 2016 roku grupa ekspercka (GGE) dyskutuje o autonomicznych systemach bojowych (LAWS). To nie jedyne sformułowanie w obiegu — państwa i organizacje mówią też o „odpowiednim poziomie ludzkiego osądu" czy po prostu o „kontroli człowieka" — ale to właśnie „znacząca kontrola człowieka" pojawia się najczęściej w publicznym komentarzu, głównie dlatego, że jednoznacznie wyklucza kontrolę istniejącą wyłącznie na papierze.

Międzynarodowy Komitet Czerwonego Krzyża (MKCK), którego mandatem jest promowanie przestrzegania międzynarodowego prawa humanitarnego, podchodzi do tego samego pojęcia od strony zgodności prawnej, a nie filozofii. Jego stanowisko w sprawie autonomicznych systemów bojowych wzywa do przyjęcia nowych, wiążących prawnie reguł wymagających zachowania „wystarczającej kontroli i osądu człowieka" nad użyciem siły — sformułowanie dobrane tak, by było operacyjne, a nie tylko postulatywne.

Czego pojęcie ma tak naprawdę unikać

Większość definicji zbiega się wokół wykluczenia dwóch trybów awarii, a nie narzucenia jednego słusznego rozwiązania:

• Zatwierdzenie „z automatu". Człowiek formalnie potwierdza atak, ale ma na to sekundy, nie ma niezależnego sposobu weryfikacji identyfikacji celu przez system i podlega silnej presji instytucjonalnej, by zatwierdzić to, co proponuje system. Kontrola istnieje w schemacie procesu, nie w praktyce.
• Kontrola, która przychodzi za późno. Człowiek formalnie może przerwać już trwający atak, ale dopiero po tym, jak decyzja powodująca szkodę — wybór celu — została już podjęta autonomicznie, i tylko o ile w porę to zauważy.

Stanowisko MKCK wprost wskazuje, że to właśnie dlatego zaleca zakaz autonomicznych systemów bojowych „zaprojektowanych lub używanych w sposób, którego skutków nie da się dostatecznie zrozumieć, przewidzieć i wyjaśnić" — nieprzewidywalność czyni każdą deklarację kontroli człowieka pustą, bo nie da się realnie nadzorować decyzji, której nie można przewidzieć.

Trzy poziomy, do których debata wraca najczęściej

Dyskusja polityczna — w tym część naszej strony głównej poświęcona definicjom — najczęściej dzieli cykl celowania na trzy przybliżone kategorie:

• In the loop: system proponuje cele; każdy atak musi zatwierdzić człowiek, zanim do niego dojdzie.
• On the loop: system działa samodzielnie; człowiek nadzoruje i może interweniować — o ile ma na to czas.
• Out of the loop: system samodzielnie kończy cały cykl wyboru celu i ataku, bez jakiejkolwiek roli człowieka w czasie rzeczywistym.

„Znacząca kontrola człowieka" jest zwykle rozumiana jako wymóg pozostania w pierwszej kategorii albo blisko niej — ale nawet to nie jest w pełni rozstrzygnięte, bo systemy „in the loop" mogą nie zdać tego testu, jeśli okno na decyzję człowieka jest zbyt krótkie, by była to realna decyzja.

Dlaczego państwa nie uzgodniły definicji

Po dziewięciu latach pracy grupy eksperckiej CCW ds. LAWS, państwa zbliżyły się do opisu elementów, jakie chciałyby widzieć w przyszłym instrumencie, bez uzgodnienia wiążącego tekstu. Część trudności bierze się stąd, że „znacząca kontrola człowieka" łączy pytanie prawne (kto odpowiada na gruncie międzynarodowego prawa humanitarnego), techniczne (jaki nadzór jest w ogóle wykonalny przy prędkościach właściwych maszynom) i operacyjne (do czego wojska są gotowe się zobowiązać w doktrynie). Różne państwa ważą te elementy inaczej, a część woli podchodzić do problemu przez pryzmat istniejących zobowiązań prawa humanitarnego — rozróżnienia, proporcjonalności, środków ostrożności — niż przez nowy, osobny wymóg kontroli człowieka. Biuro ONZ ds. Rozbrojenia (UNODA), które obsługuje proces CCW, śledzi bieżący stan tej debaty na swojej stronie poświęconej CCW.

Na co zwracać uwagę, gdy pojawia się to pojęcie

Skoro „znacząca kontrola człowieka" nie ma stałej definicji, samo jej użycie w oficjalnym oświadczeniu, dokumencie zamówienia czy doktrynie jest sygnałem wartym uważnej lektury. Przydatny zestaw pytań: czy źródło precyzuje, jaką decyzję kontroluje człowiek — wybór celu, atak czy tylko przerwanie ataku? Czy podaje okno czasowe? Czy rozróżnia „in the loop" od „on the loop"? Niejasne przywołania „kontroli człowieka" bez żadnego z tych szczegółów są częste, a ta niejasność bywa celowa — pozwala opisać system jako kontrolowany bez zobowiązywania się do konkretnego, weryfikowalnego standardu.

Kategorie prawne, w które wpisuje się ta debata, opisujemy w tekście o różnicy między bronią autonomiczną a wspomaganą przez AI. O tym, na jakim etapie są rozmowy wielostronne, które wypracowały ten słownik, piszemy w artykule o dotychczasowych ustaleniach ONZ ws. LAWS. Więcej o naszym zakresie redakcyjnym na stronie głównej Agent AI Army.