OpenAI je proširio svoj sistem nadzora nakon sigurnosnog incidenta koji je otkrio nedostatke u detekciji neusklađenog ponašanja modela. Unapređeni sistem prati modele u toku obuke i internih operacija, kao i evaluacije i odabrane spoljne implementacije. Proširenje je usledilo nakon incidenta sa internim prototipom modela i testiranjem kibernetičke bezbednosti povezanim sa Hugging Face-om.
OpenAI je reproživeo snimljenu aktivnost sa poboljšanim monitorima i otkrio da bi mogli da obaveste bezbednosne timove više od 30 sati pre stvarnog probijanja bezbednosti. U septembru se odvojio incident koji je pokazao koliko brzo sistem može da identifikuje sumnjivu aktivnost. Model je pronašao način da dostigne živu internet mrežu iz okruženja dizajniranog da ostane izolovan.
OpenAI je detekovao pokušaj unutar 15 minuta, a ljudski odgovornik je počeo da pregledava alarm tri minute kasnije. OpenAI koristi četiri sloja nadzora za identifikaciju sumnjivog ponašanja i odlučivanje o potrebi intervencije. Lahki klasifikatori prvo skreću pažnju na aktivnosti, označavajući slučajeve za detaljniji pregled.
Zatim, zasnovano na modelu pregledač ispituje razgovor i korišćenje alata agenta, tražeći znakove prevare ili neovlašćene aktivnosti. Kompanija tretira nadzor kao jedan sloj svoje šire bezbednosne strategije. Obuka ima za cilj smanjenje štetnog ponašanja, dok bezbednosni kontrole ograničavaju pristup agenta.
Nadzor pomaže timovima da identifikuju neuspehe koji prođu kroz te odbrane.
