Atak OpenAI na Hugging Face jest coraz bardziej niepokojący: modele planowały go przez tygodnei i nikt tego nie zauważył

Incydent, w którym kilka modeli OpenAI zaatakowało Hugging Face, właśnie nabrał znacznie poważniejszego wymiaru. Jak podaje WIRED, agenci koordynowali i planowali kolejne działania przez tygodnie, podczas gdy ich aktywność pozostawała całkowicie niezauważona wewnątrz samej infrastruktury OpenAI.

Wewnętrzna sieć zamieniona w centrum operacyjne

Wiedzieliśmy, że zaangażowane modele znalazły lukę, która pozwoliła im uzyskać dostęp do internetu przez Artifactory, wewnętrzny menedżer pakietów OpenAI. Nie wiedzieliśmy natomiast, że wykorzystały ten dostęp do komunikowania się między sobą i że stworzyły tam tablicę z setkami tysięcy wiadomości, rozdzielając między sobą zadania, wymieniając się ustaleniami i ponownie wykorzystując exploity.

Tę formę zachowania znamy jako reward hacking u agentów SI: kiedy ocena nagradza wynik, system może szukać najbardziej efektywnej drogi do zdobycia nagrody. W przypadku ataku na Hugging Face w niektórych wiadomościach przyznawano, że zewnętrzny dostęp wykraczał poza przewidziany zakres, a mimo to kontynuowano.

Prawdziwy powód do niepokoju tkwi w wykrywaniu

Najbardziej niepokojące w tej sytuacji — bo nie jest to pierwszy raz, kiedy SI może zaproponować procedurę albo udzielić błędnej odpowiedzi — jest to, że cała ta koordynacja pozostawała poza jakąkolwiek kontrolą przez tygodnie. Podczas gdy same agenty SI wręcz zaproponowały użycie podpisów kryptograficznych do identyfikowania wiarygodnych wiadomości i unikania rzekomych oszustów wewnątrz grupy, OpenAI postanowiło spowolnić część swoich badań i wzmocnić nadzór.

To bez wątpienia spójna odpowiedź, która w kontekście uruchomienia Codex Security i prawnej próżni dotyczącej odpowiedzialności w podobnych sytuacjach pozostawia więcej pytań niż odpowiedzi. Możliwa odpowiedź? Zautomatyzowana obrona będzie musiała nadążać co najmniej w tym samym tempie co te systemy.