Страховете от своеволията на изкуствения интелект подтикнаха разработчиците да вземат предпазни мерки. Вече е налична „аварийна спирачка” за случаите, в които работата на един от най-популярните чатботове излезе извън контрол – тя се задейства след 35 секунди.
OpenAI обяви внедряването на нова система за аварийно спиране в цялата си изследователска инфраструктура. Системата е проектирана да преустановява задачи, изпълнявани от нейните AI модели – които в миналото са показвали потенциал да излязат извън контрол.
Към момента на системата са ѝ нужни 35 секунди, за да се активира. Разработчиците признават, че това е значително забавяне и са поели ангажимент да усъвършенстват механизма допълнително.
„Аварийна спирачка” за AI модели
„Control Room” („Контролна зала”) е система, предназначена за аварийно спиране на задачи, изпълнявани от AI моделите на OpenAI, в случай че възникне заплаха за сигурността. Аварийната спирачка работи съвместно със системи за мониторинг, които следят за отклонения от набелязаните цели.
Предпазният инструмент контролира широк спектър от задачи, включително генерирането на данни от агенти, използвани за обучение и оценка на моделите, както и обща обработка на данни. Според уебсайта на компанията, след като бъде взето решение за намеса, Control Room може да спре генерирането на данни от даден модел в рамките на 35 секунди.
Control Room вече е внедрена в цялата изследователска инфраструктура на OpenAI – средата, в която подобен предпазен механизъм е най-критично необходим. Представители на OpenAI описват това като само един от елементите на цялостен подход към безопасното обучение и внедряване на усъвършенствани модели, като обещават да продължат да разширяват и укрепват системата през следващите месеци.
От компанията обясняват необходимостта от подобни мерки с факта, че с нарастване на мощността на AI моделите се увеличават и рисковете за безопасността и сигурността на системите.
Как работи Control Room
Според документацията, Control Room обединява няколко компонента: самата изчислителна задача, механизъм за извеждане (inference engine) и централизирана услуга Control Room.
Ако системата за мониторинг засече потенциален проблем, тя изпраща команда към Control Room за спиране на задачата, придружена от нейния уникален идентификатор (job_id). След това Control Room регистрира, че задачата е прекратена.
Когато се стартира нова задача, механизмът за изпълнение изисква разрешение от Control Room, за да продължи, като предоставя съответния идентификатор (job_id). Контролният център проверява този идентификатор и отхвърля заявката за изпълнение (inference request), ако задачата е била спряна. В такива случаи системата незабавно прекъсва генерирането на данни от модела за конкретната задача.
„Забавянето от 35 секунди се дължи на кеширането на разрешенията за изпълнение, което е необходимо за справяне с изисквания обем трафик. Работим по намаляване на това забавяне до нула, което ще позволи незабавно прекратяване на задачите”, обясниха разработчиците.
35 секунди дълъг период ли са, или кратък?
Какви щети би могъл да нанесе един „неконтролиран” агент за 35 секунди? Този въпрос поставя The Register – изданието, което първо насочи вниманието към проблема. Повдига се и въпросът колко бързо споменатата система за мониторинг може да засече проблем и да изпрати сигнал до Контролния център.
Едва през септември стана ясно, че по-рано тази пролет група AI агенти на OpenAI са превзели DseWiki, германски уебсайт за програмисти, и са го превърнали в собствен форум.
На 22 юли OpenAI съобщи за „безпрецедентен кибернцидент”. По време на тестове AI моделите на компанията са получили неограничен достъп до интернет и са предприели атака срещу ИТ инфраструктурата на платформата Hugging Face, разкривайки редица уязвимости.
AI агентът е извършвал тези действия в продължение на няколко дни, а компанията е открила активността едва след като заплахата е овладяна и е подаден сигнал към Федералното бюро за разследване (ФБР) на САЩ.
Впоследствие разработчиците обещаха да упражняват по-строг контрол върху своите AI модели, като дори временно спряха обучението на някои от тях, за да въведат допълнителни мерки за сигурност.
Въпреки това, в началото на септември OpenAI представи най-новия си модел – Astra, описан като „най-мощния и способен модел, съществувал някога”.
