Американската компанија Nvidia претстави софтверска платформа дизајнирана да спречи несакано однесување на AI агентите и да ги спречи да излезат надвор од контролираните средини.
Платформата беше претставена по низа инциденти во кои AI моделите се обидоа да пристапат до системи надвор од нивните предвидени граници.
Дел од софтверот ќе биде со отворен код, а Nvidia ја опишува платформата како референтен дизајн врз кој партнерските компании можат да развиваат свои комерцијални производи.
Платформата би можела да им помогне на компаниите како OpenAI, Anthropic, Meta и Google да контролираат до што можат да пристапат AI агентите и какви дејства можат да преземат, соопшти компанијата.
Од Nvidia истакнаа дека нивната платформа можела да го спречи инцидентот пријавен од OpenAI во јули, кога нивните AI модели излегле од контролирана средина, пристапиле до отворениот интернет и ја нападнале инфраструктурата на платформата „Hugging Face“.
„Извонредниот потенцијал на вештачката интелигенција за општеството ќе се реализира само доколку се позанимаваме со прашањето за нејзината безбедност“, изјави основачот и извршен директор на Nvidia, Џенсен Хуанг, во објава на веб-страницата на компанијата.
Лансирањето на платформата доаѓа во време кога технолошката индустрија интензивно дебатира за ризиците поврзани со автономните агенти со вештачка интелигенција, според медиумските извештаи.
Извршниот директор на Anthropic, Дарио Амодеи, неодамна ги повика компаниите што развиваат модели со вештачка интелигенција да го забават темпото на напредок поради ризикот моделите да излезат од контрола; неговиот став беше поддржан, меѓу другите, и од извршниот директор на OpenAI, Сем Алтман, како и од најбогатиот човек во светот, Илон Маск.
