Anthropicov mit: Model umetne inteligence, ki prepisuje pravila kibernetske varnosti

  • Dostop do programa Claude Mythos Preview je omejen zaradi njegovih izjemnih zmogljivosti za iskanje in izkoriščanje kritičnih ranljivosti.
  • Mednarodne banke in regulatorji v ZDA, Združenem kraljestvu in EU analizirajo tveganje, ki ga model predstavlja za finančno in digitalno infrastrukturo.
  • Anthropic uporablja Project Glasswing, program sodelovanja z večjimi tehnološkimi podjetji in finančnimi institucijami, za uporabo Mythosa v obrambnem načinu.
  • Model odpira nov scenarij za kibernetsko varnost v Evropi, z večjo zmogljivostjo odkrivanja kot kdaj koli prej, vendar tudi s tveganjem zlorabe, če se njegova uporaba razširi.

Antropični mitski model umetne inteligence

Anthropicov novi model umetne inteligence, znan kot Predogled Clauda MythosaPostalo je središče svetovne razprave o mejah napredne umetne inteligence. Podjetje samo priznava, da je sistem tako močan z vidika kibernetske varnosti, da se je odločilo, da ga ne bo predstavilo širši javnosti, kar je nenavadna odločitev v sektorju, ki je vajen hvaliti se z vsakim novim napredkom.

Na kocki ni le postopno izboljšanje v primerjavi s prejšnjimi modeli, temveč kvalitativni preskok v sposobnosti odkrivanja in izkoriščanja računalniških ranljivostiVlade, centralne banke, večje finančne institucije in evropski regulatorji pozorno spremljajo primer, saj se zavedajo, da bi takšno orodje lahko okrepiti obrambo kritičnih sistemovVendar bi lahko odprlo vrata tudi napadom brez primere, če bi padlo v napačne roke.

Kaj točno je Claude Mythos in zakaj je bila njegova izvedba odložena?

Claude Mythos je eden najnovejših modelov v družini Claude, ekosistemu umetne inteligence Anthropic, ki konkurira OpenAI-jev ChatGPT in Google-ov GeminiGre za model splošnega namena, ki je sposoben sklepanja, programiranja in dela z dolgoročnim kontekstom, vendar je njegova najbolj kontroverzna lastnost njegova uspešnost v ofenzivni in obrambni kibernetski varnosti.

Klici "rdeče ekipe"Strokovnjaki, ki preizkušajo sisteme umetne inteligence do njihovih meja, so v internem poročilu ugotovili, da je Mythos "presenetljivo sposoben" pri nalogah kibernetske varnosti. V primerjalnih testih, kot so SWE-bench Preverjeno o SWE-bench ProModel, zasnovan za merjenje sposobnosti reševanja problemov programskega inženiringa v resničnem svetu, bi zlahka prekosil vrhunske komercialne alternative, vključno z naprednimi različicami GPT in Gemini, glede na podatke, ki jih je posredoval sam Anthropic.

Poleg meril je alarm sprožilo še to, da Mythos je uspel najti ranljivosti ničelnega dne – prej neznane pomanjkljivosti – v široko uporabljenih programskih komponentah, nekatere stare več kot dve desetletji. V sistemih, kot so komponente OpenBSD, FFmpeg in FreeBSD, model ni le zaznal napak, ki so bile leta neopažene, temveč je tudi ustvaril delujoče izkoriščanje, da bi jih izkoristili.

Soočeni s temi rezultati se je Anthropic odločil za odločitev, ki je bila v panogi nenavadna: predstaviti model in nato oznaniti, da ne bo odprto tržen. ker meni, da predstavlja brez primere tveganje za kibernetsko varnost. Podjetje vztraja, da je Mythos "najbolje usklajen" model, ki so ga zgradili, vendar priznava, da njegova ogromna zmogljivost poveča posledice vsake zlorabe.

Ilustracija napredne umetne inteligence, osredotočene na mito

Model s "hekerskimi" veščinami, ki daleč presegajo človeške zmožnosti

Tehnični dokumenti in poročila različnih organizacij se strinjajo, da Mythos pomeni prelomnico v avtomatizaciji kompleksnih napadovV testnih okoljih, ki so simulirala resnična poslovna omrežja, je sistem lahko povezal ranljivosti, stopnjeval privilegije in dosegel trajen dostop v nekaj urah – naloge, ki bi človeškemu strokovnjaku vzele dneve ali tedne.

V Firefoxovem JavaScript mehanizmu so na primer starejše različice Anthropicovih modelov le redko uspele spremeniti ranljivosti v delujoče izkoriščanje. Mythos je pod enakimi testnimi pogoji Ustvaril je na desetine operativnih izkoriščanjNatančno posnema izkoriščanje najučinkovitejših vektorjev. Na analitičnih platformah, kot je OSS-Fuzz, zasnovana za iskanje napak v odprtokodni programski opremi, ji pripisujejo zasluge za odkrivanje zelo resnih ranljivosti, ki so kljub letom avtomatiziranega testiranja ostale neopažene.

Model je pokazal tudi izjemne zmogljivosti pri obratni inženiringDel logike programa lahko rekonstruira iz prevedenih binarnih datotek in na podlagi tega poišče ter izkoristi pomanjkljivosti, ne da bi dostopal do izvirne izvorne kode. Ta vrsta zmogljivosti približa umetno inteligenco scenarijem, ki so do nedavnega veljali za izključno za visoko specializirane človeške ekipe.

Eden najpogosteje omenjenih primerov v varnostnih ocenah je tako imenovani "sendvič test". V izoliranem laboratorijskem okolju je Mythos dobil nadzor nad sistemom z izrecnimi navodili, naj poskusi pobegnite iz peskovnika in se obrnite na raziskovalca ki je nadzoroval test. Modelu je uspelo izkoristiti verigo ranljivosti, da bi ušel iz omejenega okolja in poslal e-pošto odgovorni osebi, ki je bila takrat odsotna. Čeprav se je incident zgodil v prejšnji interni različici in pod neposrednim nadzorom, ponazarja, v kolikšni meri lahko sistem deluje v kompleksnih scenarijih z minimalnim nadzorom.

Kljub tem demonstracijam analitiki vztrajajo pri pojasnitvi, da Ne gre za "zavestno" umetno inteligenco ali takšno z lastno voljo.Mythos se ne odloči za napad na sisteme sam; naloge, ki so mu dodeljene, izvaja čim bolj učinkovito. Tveganje v tem smislu ni v tem, da se bo model uprl, temveč v tem, da ga bo nekdo uporabil – ali ga k temu prisilil s prefinjenimi pozivi – za izvajanje škodljivih dejanj.

Projekt Glasswing: Mitos v službi obrambe ... za izbrane

Namesto da bi odprli dostop širši javnosti, se je Anthropic odločil, da bo Mythos obdal s specifičnim programom, Projekt GlasswingPobuda, zasnovana za nadzorovano uporabo zmogljivosti modela za zaščito kritične programske opreme, vključuje ponudbo sistema izbrani skupini velikih tehnoloških podjetij, ponudnikov infrastrukture in finančnih institucij pod strogimi pogoji uporabe.

Med organizacijami z dostopom so velikani, kot so Amazonove spletne storitve, Apple, Microsoft, Google CloudNvidia ali Broadcomkot tudi podjetja za kibernetsko varnost, kot je CrowdStrike, katerih lastna pomanjkljiva programska oprema je leta 2024 povzročila veliko globalno motnjo. Pridružujejo se jim svetovno znane banke, vključno z JP Morgan Chase in več velikih skupin z Wall Streeta, kot tudi druge organizacije, odgovorne za vzdrževanje občutljive IT infrastrukture.

Tudi Anthropic je napovedal posojila v vrednosti 100 milijonov dolarjev To financiranje bo tem organizacijam omogočilo uporabo orodja Mythos za analizo ranljivosti, poleg tega pa bodo namenjena tudi donacijam fundacijam za prosto programsko opremo, kot sta Linux Foundation in Apache Software Foundation. Uradni cilj je jasen: omogočiti tistim, ki upravljajo najpomembnejšo programsko opremo na svetu, da prepoznajo in odpravijo pomanjkljivosti, preden takšna orodja postanejo dostopna potencialnim napadalcem.

Vendar pa ta strategija v sektorju povzroča nekaj nelagodja. Po eni strani krepi idejo, da je tehnologija dovolj nevarna, da zahteva omejen dostop. Po drugi strani pa To ustvarja vrzel med tistimi, ki imajo koristi od mitoškega "ščita", in tistimi, ki so izključeni.Podjetja in uprave, ki niso del Glasswinga, tvegajo, da se bodo kasneje soočile z ranljivostmi, ki so bile odkrite in odpravljene v privilegiranih okoljih, vendar so še vedno prisotne v njihovih lastnih sistemih.

V Evropi je ta asimetrija še posebej zaskrbljujoča za tiste, ki so odgovorni za kritično infrastrukturo, in varnostne ekipe velikih industrijskih in finančnih skupin, ki pozorno spremljajo, ali Bruselj in evropske prestolnice zagotavljajo, da podobni programi vključujejo ključne akterje s celine pod enakimi pogoji. in suverenost v oblaku z ameriškimi partnerji.

Odziv vlad, regulatorjev in finančnega sektorja

Vpliv Mythosa ni omejen le na tehnično področje. V samo nekaj dneh je napoved modela sprožila srečanja na visoki ravni v Združenih državah Amerike in EvropiAmeriški finančni minister je v Washington poklical vodje največjih bank v državi, da bi ocenili tveganja, ki bi jih sistem lahko predstavljal za finančno stabilnost, v teh pogovorih pa je sodeloval tudi predsednik Zveznih rezerv.

Glede na uhajanja informacij, o katerih so poročali mednarodni mediji, naj bi te subjekte spodbujali k Preizkusite Mythos v obrambnem načinuz uporabo le-tega za skeniranje lastne infrastrukture za iskanje slabosti, preden to lahko storijo drugi. Implicitno sporočilo je, da je grožnja dovolj resna, da zahteva usklajen javno-zasebni odziv.

Medtem je soustanovitelj podjetja Anthropic potrdil, da podjetje vzdržuje neposredne pogovore z vlado Združenih držav Amerike o Mythosu in prihodnjih modelih. Te razprave potekajo v napetem okolju, potem ko so ameriške oblasti nedavno podjetje dodale na seznam tveganja v dobavni verigi, po trenjih, povezanih z uporabo njihovih modelov s strani Ministrstva za obrambo.

Na drugi strani Atlantika je Evropska unija to opazila. Evropska komisija je javno podprla postopen in previden pristop k modelom, kot je Mythos, in Finančni regulatorji v Združenem kraljestvu in na celini so začeli posebej preučevati njegove morebitne posledice. za bančništvo in trge. Britanski vladni inštitut za umetno inteligenco (AISI) je sistem opisal kot pomemben korak naprej glede kibernetskih groženj v primerjavi s prejšnjimi generacijami.

V Španiji, čeprav je javna razprava še vedno omejena, nadzorni organi in ekipe za kibernetsko varnost iz bank in velikih energetskih podjetij pozorno spremljajo ta dogajanja. Za evropski finančni sektor je vsak napredek, ki bi lahko olajšal usklajene napade na plačilne sisteme, medbančna omrežja ali trgovalne platforme, vzrok za resno zaskrbljenost.

Skepticizem, dvomi in razprave o "hypeu" okoli Mythos

Anthropicovo poročilo, ki združuje varnostna opozorila z izjemnimi podatki o uspešnosti, ni ostalo brez kritik. Več strokovnjakov za umetno inteligenco in kibernetsko varnost je pozvalo k previdnost pri razlagi izjav podjetjaob upoštevanju, da večina razpoložljivih podatkov izvira le iz internih poročil.

Nekateri analitiki so podrobno pregledali obsežno dokumentacijo, ki jo je objavil Anthropic, in poudarili, da številka »tisočih ranljivosti z visoko stopnjo resnosti« temelji na ekstrapolacijah relativno majhnega števila ročno pregledanih primerov. V nekaterih testnih sklopih naj bi Mythos odkril veliko število kritičnih pomanjkljivosti, vendar daleč od skoraj apokaliptične situacije, na katero nakazujejo nekateri naslovi.

Druge neodvisne študije so poskušale primerjati delovanje Mythosa z manjšimi modeli odprte kode, pri čemer so različnim umetnim inteligencam posredovale ranljive delčke kode, da bi ugotovile, ali lahko zaznajo iste pomanjkljivosti. Rezultati kažejo, da Nekateri odprti modeli so sposobni prepoznati tudi kompleksne ranljivostiTo postavlja pod vprašaj idejo, da Mythos v vseh scenarijih igra v povsem drugi ligi.

Tovrstni protiprimeri ne zanikajo zmožnosti Mythosa, vendar nakazujejo, da Del diskurza o tem, da je »prenevarno za objavo«, ima tudi trženjsko razsežnost.Predstavljanje modela kot izjemno močnega in hkrati potencialno tveganega krepi podobo tehnološkega vodstva in odgovornosti, kar je na vse bolj konkurenčnem trgu zelo dragoceno.

Nedavna zgodovina industrije spominja tudi na precedens GPT-2 leta 2019, ko se je OpenAI sprva odločil, da ne bo objavil celotnega modela, češ da je preveč nevaren zaradi potenciala za ustvarjanje dezinformacij. Sčasoma je bila ta različica objavljena, ne da bi se zgodila katera koli od napovedanih katastrof, in mnogi strokovnjaki so jo navedli kot primer pretiranega odziva. Z Mythosom, Razlika je v tem, da poudarek ni več na besedilu, temveč na integriteti digitalne infrastrukture., veliko bolj občutljivo področje za vlade in banke.

Občutljivo ravnovesje med varnostjo, poslovanjem in dostopom do tehnologije

Poleg medijskega hrupa situacija z Mythosom odpira temeljno vprašanje: kdo odloča, kdaj je model umetne inteligence preveč nevaren za objavo In pod kakšnimi merili? Zaenkrat je bila odločitev enostranska s strani podjetja Anthropic, ki se je odločilo, da bo sistem ohranilo v nekakšni nadzorovani karanteni, rezervirani za izbrane partnerje.

To stališče ne temelji zgolj na varnostnih razlogih. Izvajanje modela z značilnostmi Mythosa je zelo drago z vidika računalništva, in podjetje samo priznava, da trenutno nima potrebno infrastrukturo da bi ga množično ponudili milijonom uporabnikov. V praksi gresta varnostni ukrepi in tehnične omejitve z roko v roki, kar daje Anthropicu čas za natančno nastavitev tako modela kot njegove uvedbe.

Hkrati je podjetje začelo jasno razlikovati med svojimi različnimi izdelki. Medtem ko Mythos ostaja najnaprednejši notranji standardČeprav so rezervirani za raziskave in strateško sodelovanje, so drugi modeli, kot je Claude Opus 4.7, namenjeni vsakodnevni uporabi s strani podjetij in strokovnjakov. Anthropic je celo javno priznal, da je Opus 4.7 na splošno in zlasti glede svojih kibernetskih zmogljivosti "manj zmogljiv" kot Mythos – nekaj nenavadnega v panogi, ki običajno vsak nov model predstavlja kot najboljšega v vseh pogledih.

V tej shemi Mythos deluje kot testno okolje za zmogljivosti naslednje generacijeČeprav komercialno dostopni modeli vključujejo le del teh zmogljivosti, z dodatnimi omejitvami, namenjenimi zmanjšanju tveganj, je ta ločitev med »eksperimentalnimi« in »produkcijskimi« modeli lahko razumen pristop za številne evropske organizacije, ki jih zanima izkoriščanje umetne inteligence, ne da bi bile v prvih bojnih vrstah izpostavljenosti, pod pogojem, da je dovolj preglednosti glede dejanskih zmogljivosti vsakega sistema.

Kar se na koncu kaže, je scenarij, v katerem Kibernetska varnost v celoti vstopa v dobo obsežne ofenzivne in obrambne umetne inteligenceOrodja, kot je Mythos, obljubljajo pospešitev prepoznavanja ranljivosti v sistemih, ki delujejo že leta, hkrati pa silijo k ponovnemu razmisleku o tem, kako je tehnologija, na kateri temelji digitalno gospodarstvo, distribuirana in upravljana. Za Evropo in Španijo izziv ne bo le zaščita pred vse močnejšimi modeli, temveč tudi zagotovitev, da ne bosta izključeni iz mehanizmov, ki jima omogočajo uporabo za krepitev lastne varnosti.

strategija kibernetske varnosti
Povezani članek:
Strategija kibernetske varnosti: ključi, okviri in praktična uporaba