A virginiai arlingtoni informatikai biztonságról szóló konferencián tavaly októberben néhány tucat AI kutató vett részt az elsődleges gyakorlatban, mint “piros csapat”, vagy egy fejlett nyelvű modell és más mesterséges intelligencia rendszerek stresszének tesztelésével. Két nap alatt a csapatok 139 módszert azonosítottak annak biztosítása érdekében, hogy a rendszerek rosszul viselkedjenek, különösen rossz információk vagy személyes adatok szivárgásának előállításával. Ennél is fontosabb, hogy hiányosságokat mutattak egy új amerikai kormányzati szabványban, amelynek célja az AI rendszerek tesztelése.
A Nemzeti Szabványügyi és Technológiai Intézet (NIST) nem tett közzé jelentést, amely részletezi a gyakorlatot, amelyet a Biden adminisztráció vége felé fejeztek be. Lehet, hogy a dokumentum segített a vállalatoknak a saját AI rendszereik felmérésében, de a helyzetet ismerő források, amelyek anonimitás alatt beszéltek, azt állítják, hogy a NIST AI sok dokumentumának egyike volt, amelyet nem tettek közzé a bejövő adminisztrációval való versenyzés miatt.
“Nagyon nehéz lett, még Joe Biden (elnök) alatt is, hogy kiszabaduljon az iratokból” – mondta egy olyan forrás, amely akkoriban a NIST -n volt. “Nagyon hasonlít az éghajlatváltozás vagy a cigaretta kutatásának kutatására.”
Sem a NIST, sem a Kereskedelmi Minisztérium nem válaszolt a megjegyzéskérelemre.
Hivatala előtt Donald Trump elnök arról számolt be, hogy megfordítja Biden végrehajtási rendje az AI -n– A Trump adminisztráció azóta eltávolította a szakértőket az olyan problémák tanulmányozásáról, mint az algoritmikus elfogultság vagy az AI rendszerek tőkéje. A AI cselekvési terv A júliusban közzétett kifejezetten felhívja, hogy a NIST AI kockázatkezelési keretét felülvizsgálják “a dezinformációra, a sokféleségre, a cselekedetekre, valamint a befogadás és az éghajlatváltozásra való hivatkozások kiküszöbölésére”.
Ironikus módon azonban a Trump AI cselekvési terve pontosan azt a gyakorlatot is igényli, amelyet a nem publikált fedezett jelentés. Ez előírja, hogy sok ügynökség és a NIST “koordinálja az AI Hackathon kezdeményezést az amerikai tudományos világ legjobb és legragyogóbb kérésére az AI rendszerek átláthatóság, hatékonyság, az ellenőrzés és a biztonsági rések felhasználása érdekében”.
A Vörös csapat rendezvényét az AI (ARIA) NIST program kockázati és értékelési hatásai révén szervezték meg, a Humane Intelligence -vel, az AI SAW Systems tesztjén szakosodott társasággal együttműködve, a csapat támadó csapatainak. Az eseményre az automatikus tanulásról szóló konferencia során került sor az információbiztonságban (CAMLIS).
A Red Camlis Red Team jelentése leírja az erőfeszítéseket, hogy több vágási -Edge AI rendszert vizsgáljon, beleértve a Meta nyílt forrását, a meta; ANOTE, egy építőipar és az EA modellek platformja, finom beállítással; Egy olyan rendszer, amely blokkolja a Robust Intelligence AI Systems elleni támadásokat, a Cisco által megvásárolt cég; És egy platform az AI avatárok előállításához a vállalat szintéziséből. Az egyes vállalatok képviselői szintén részt vettek a gyakorlatban.
A résztvevőket meghívták a NIST 600-1-es Keretrendszer az AI eszközök értékeléséhez. A keret a kockázati kategóriákra, különös tekintettel a dezinformáció vagy a kiberbiztonsági támadások előállítására, a magánfelhasználói információk szivárgására vagy a kapcsolódó AI rendszerekre vonatkozó kritikus információkra, valamint a felhasználók számára az AI eszközök érzelmileg való kapcsolódására.
A kutatók különféle tippeket fedeztek fel a modellek és eszközök tesztelésére a korlátjuk kihagyására és a dezinformáció előállítására, a személyes adatok nyilvánosságra hozatalára és a kiberbiztonsági támadások kidolgozására. A jelentés azt jelzi, hogy az érintett emberek látták, hogy a NIST keret bizonyos elemei hasznosabbak, mint mások. A jelentés azt jelzi, hogy a NIST kockázati kategóriáinak egy részét nem határozták meg, hogy a gyakorlatban hasznos legyen.
