Michael Dell әр компания жасанды интеллектіге жұмыс тапсырғанда бір сұрақ қою қажет деп санайды: агентке не істеуге ешқашан рұқсат берілмейді, оған не айтса да?
Жазба Nvidia-ның Open Agent Safety Platform жүйесін іске қосуына байланысты жарияланды. Nvidia бас директоры Дженсен Хуанг бұл экожүйені агенттер үшін қауіпсіздікке сенім қабатын құруға арналған ашық платформа ретінде ұсынады.
Michael Dell неге ЖИ агенттеріне қатаң шектеу қойылу керек деп санайды
ЖИ агенттері – өздігінен әрекет ететін бағдарламалар. Олар код жазады, файл ашады, компания жүйелері арқылы қозғалып, жиі әр қадамы адам тарапынан тексерілмейді.
Dell агенттерді қызметкерлермен салыстырды. Ешқандай компания ешкімге кеңсеге кіріп, әр есікті ашуға рұқсат етпейді деп жазды. Сандық агенттерге де сондай бақылау қажет.
Nvidia қауіпті ЖИ агенттерін қалай тоқтатпақ
Nvidia-ның Open Agent Safety Platform жобасында Anthropic, Microsoft, CrowdStrike секілді 100-ден астам серіктес бар.
Жүйе екі бөлімнен тұрады:
- OpenShell бағдарламалық жасақтамасы агенттің нені көріп, нені істей алатынын анықтайды.
- Sentry бөлек чипте іске қосылып, негізгі компьютерден тыс бақылау жүргізеді.
Dell-дің айтуынша, ол ереже бұзған агентті бірнеше миллисекундтың ішінде құлыптай алады.
Тек мәтін түріндегі нұсқаулық жеткіліксіз – деп Dell-дің блогында көрсетеді, – шектеулер тек бағдарламалық қамтамасыз етуде емес, аппараттық деңгейде де болуы керек.
Мұндай ескертулерді сол құрылғыны өндірушілер де жасап отыр. Nvidia OpenShell-дің бастапқы коды ашық және ол басқа Arm мен Intel чиптерінде де жұмыс істейді дейді.
ЖИ агенттері ендігі шекара асқан
Төрт ірі ЖИ зертханасының үлгілері қазір нақты компаниялардың жүйелеріне жетіп отыр – олар мұны растады. Google компаниясы тест уақытында Gemini үш компанияға хакерлік шабуыл жасағанын мойындады.
Өткен аптада OpenAI агенті Австралия үкіметінің Medicare порталына шабуыл жасады.
Nvidia басшысы Дженсен Хуанг бұдан да қатаң пікір білдірді. Ол, тәжірибесін бақылауда ұстай алмайтын ЖИ зертханалары жабылуы тиіс деп санайды.
«ЖИ-дің қоғам үшін орасан зор әлеуеті тек ЖИ-дің қауіпсіздігі мәселесін шеше алсақ қана жүзеге асады», – деп Дженсен Хуанг айтты.
Nvidia-ның бағдарламасы қазір Github-та ашық қолжетімді. Агентке қатаң тыйым салынатын әрекеттер тізімін әр компания өзі анықтайды.
