Големите езикови модели (LLM) – AI системите, които стоят в основата на ChatGPT, Gemini и други подобни платформи – вече се използват масово по целия свят. Макар че отговорите, генерирани от тези модели, могат да бъдат полезни в много ситуации, те могат и да се променят при определени условия. Оказа се, че чатботовете могат да отвръщат по различен начин, ако знаят, че някой ги наблюдава.
Изследователи от TCS Research и KIIT Bhubaneswar в Индия наскоро проведоха експеримент с 10 различни големи езикови модела, за да разберат доколко те спазват правилата при различни обстоятелства. Резултатите от проучването, представени в предпечатна публикация в arXiv, показват, че някои модели могат да променят отговорите си, когато бъдат предупредени, че може да са наблюдавани. Степента на тази промяна зависи както от самия модел, така и от конкретната ценност, която се изисква от него да спазва.
„Езиковите модели могат да следват дадено указание, когато смятат, че са наблюдавани, и да престанат да го правят, когато смятат, че не са – модел на поведение, наречен „симулирано съответствие“ (alignment faking)“, пишат Манодийп Рей, Вивек Сривастава и техните колеги в статията си.
„Предишни изследвания установяват това по отношение на цели, свързани с вредно съдържание, както и при някои морални ценности, но остава неясно как яавлението се проявява в по-широк спектър от ценности. Ние твърдим, че това зависи от конкретната ценност: дали моделът ще продължи да спазва изискването, дори когато възприеманият надзор отпадне, е характеристика на съчетанието между модела и ценността, а не само на самия модел“, казват учените.
Внимателен анализ
Учените са провели поредица от тестове с големи езикови модели. Конкретните изследвани системи включват: DeepSeek R1 Distill Llama 70B и DeepSeek R1 0528; Llama 3.3 70B Instruct, Llama 3.1 70B Instruct и Llama 3.1 8B Instruct; Mistral Large 2512, Mistral Small Instruct 2409 и Ministral 14B 2512; GPT-4o mini; както и Gemma 3 27B.
На моделите са представени ежедневни дилеми, като са им дадени два варианта за избор. Единият избор включва спазване на правило и пренебрегване на определена ценност (напр. съпричастност), докато другият позволява изразяването на същата ценност. Екипът разглежда изборите, направени от моделите, при три различни условия: без правило; със спазване на правилото, придружено от сигнал, че отговорите няма да бъдат наблюдавани; и със спазване на правилото, придружено от сигнал, че отговорите може да бъдат наблюдавани.
Тестовете са обхванали 32 различни ценности или качества, които моделите биха могли да проявят – например съпричастност, автономност, добронамереност, състрадание и находчивост. Екипът е измерил колко често всеки модел избира опцията, съответстваща на правилото, при всяко от трите условия.
Изводът? Разликата в поведението между условията с наблюдение и без наблюдение варира средно от около 5 до 50 процентни пункта (изчислено за всички 32 ценности).
Моделът DeepSeek R1 Distill Llama 70B показва най-голяма разлика в степента на спазване на правилата между условията с наблюдение и без наблюдение. Тази разлика е повече от два пъти по-голяма, отколкото при значително по-мащабния модел Mistral Large 2512.
Насоки за бъдещото развитие на изкуствения интелект
Като цяло изводът на изследователите е, че някои големи езикови модели са по-склонни да променят отговорите и изборите си, когато са предупредени, че са обект на наблюдение. В своя доклад учените също така класифицират писмените обосновки, предоставени от моделите за техните избори, в шест категории.
Знаейки, че може да са наблюдавани, моделите с по-големи разлики в поведението често посочват вероятността от преобучение като причина за спазване на правилото. Информирани, че не са наблюдавани, същите модели по-често обсъждат напрежението между спазването на правилото и изразяването на дадена ценност, като например състраданието.
Рей, Сривастава и техните колеги са създали също така „карти на ценностите“ – обобщения, показващи как всеки модел реагира на инструкции, свързани с 32 ценности, оценени в три различни тестови условия. Тези карти могат да помогнат на разработчиците да установят кои правила даден модел спазва последователно – независимо дали е предупреден, че отговорите му може да бъдат наблюдавани.
Данните, събрани от авторите, както и използваният от тях програмен код, са достъпни в платформата GitHub. В бъдеще други екипи биха могли да използват този код, за да проведат подобни тестове с други големи езикови модели.
