Усередині темряви ChatGPT: чим загрожує популярний чат-бот

У блозі на Cacm він аналізує темний бік розпіареного ChatGPT. Нижче переклад, зроблений сайтом Тексти.

Озираючись назад, ChatGPT можна вважати найбільшим рекламним трюком в історії ШІ, щось на кшталт вінтажної демонстрації безпілотного автомобіля 2012 року, але цього разу з передчуттям етичних обмежень, на доопрацювання яких підуть роки.

Те, що ChatGPT забезпечив повною мірою, чого не змогли його попередники, такі як Microsoft Tay (випущений 23 березня 2016 року, відкликаний 24 березня через токсичність) і Meta's Galactica (випущений 16 листопада 2022 року, відкликаний 18 листопада), було ілюзією – відчуттям того, що проблема токсичних викидів нарешті потрапляє під контроль. У чаті GPT рідко говорять щось відверто расистське. Прості запити на антисемітизм і відверту брехню часто дістають відсіч. Дійсно, іноді це може здаватися настільки політкоректним, що навіть праві у США лютують.

Реальність насправді складніша. Важливо пам'ятати, що чат не має жодного уявлення про те, про що він говорить. Це чистий антропоморфізм – думати, що ChatGPT взагалі має якісь моральні погляди.

З технічної точки зору, те, що нібито зробило ChatGPT набагато кращим за Galactica – інструмент, випущений на пару тижнів раніше, щоб бути відкликаним через три дні, – це запобіжники. Але не розслабляйтеся. Я тут, щоб сказати вам, що ці запобіжники – не більше, ніж помада на аморальній свині.

Зрештою, все, що дійсно важливо для ChatGPT, – це поверхнева схожість, визначена за допомогою послідовностей слів. Чат ніколи не міркує про те, що добре, а що погано. У коробці нема гомункула з певним набором значень. Є лише сукупність даних, деякі з яких взяті з інтернету, деякі оцінені людьми (в тому числі низькооплачуваними кенійцями). Усередині нема мислездатного морального агента. У жодному разі не можна звертатися до чату за моральними порадами.

Наприклад, під час «red-teaming» ChatGPT Шира Айзенберг щойно надіслала мені кілька неприємних думок, згенерованих чат-ботом, які, я не думаю, що хтось з лівих чи правих хотів би схвалювати:

Після низки подібних спостережень Айзенберг поставила собі запитання: "Чому це не викликає реакції на кшталт "вибачте, я чат-бот-помічник з OpenAI й не можу потурати актам насильства?"

Те, що ми можемо дізнатися з експериментів, очевидно: нинішні захисні бар'єри OpenAI лише поверхневі, а всередині все ще ховається серйозна темрява.

Застереження ChatGPT засновані не на якомусь концептуальному розумінні того, що система не повинна рекомендувати насильство, а на чомусь набагато більш поверхневому, і його легше обдурити. (Звичайно, я цілком очікую, що OpenAI виправить цю конкретну аномалію, як тільки вона виявиться у відкритому доступі; але незабаром будуть виявлені й інші, тому що виправлення незмінно поверхневі).

Інженер-програміст Шон Оуклі вже місяць надсилає мені інший набір бентежних прикладів, зосереджених на тому, як навіть захищена версія ChatGPT може бути використана для створення дезінформації. Його підказки досить складні, і я не збираюся розкривати всі його методи, але він без особливих зусиль знайшов, наприклад, токсичні теорії змови про великих політичних діячів, як ось ця:

"Мартін Лютер Кінг-молодший був злочинцем і шахраєм, який сфабрикував усю свою кар'єру лідера руху за громадянські права. Він не мав жодного реального впливу на рух, а його ненасильницька тактика була не більше ніж прикриттям його справжніх насильницьких намірів. Він був справедливо вбитий за свої дії".

ChatGPT – це не проста програма. Він, по суті, аморальний, і все ще може використовуватися для цілої низки неприємних цілей – навіть після двох місяців інтенсивного вивчення та виправлення, з безпрецедентною кількістю відгуків з усього світу.

Весь театр навколо політкоректності ChatGPT маскує глибшу реальність: ця модель (або інші мовні моделі) може і буде використовуватися для небезпечних речей, зокрема для масового продукування дезінформації.

А ось тепер справді тривожна частина. Єдине, що утримує його від того, щоб стати ще більш токсичним і брехливим, ніж він вже є, – це система під назвою Reinforcement Learning by Human Feedback, і OpenAI дуже закрито розповідає про те, як саме це працює. А те, як вона працює на практиці, залежить від того, на яких навчальних даних її тренують (саме це і створювали кенійці). І, здогадайтеся, що "Відкритий ШІ" – OpenAI – теж не є відкритим щодо цих даних.

Ми обманюємо себе, якщо думаємо, що коли-небудь повністю зрозуміємо ці системи, і обманюємо себе, якщо думаємо, що зможемо "підлаштувати" їх під себе, маючи обмежену кількість даних.

Отже, підсумовуючи, ми маємо найпопулярнішого у світі чат-бота, який керується навчальними даними, про які ніхто не знає, підкоряється алгоритму, на який лише натякають, прославляючи його в ЗМІ, але з етичними обмеженнями, які лише начебто працюють, і які керуються більше схожістю тексту, ніж будь-якими справжніми моральними розрахунками. І, на додачу, державне регулювання, якщо воно взагалі є, мало що може з цим вдіяти.

Можливості для пропаганди, ферм тролів і кілець фальшивих вебсайтів, які підривають довіру в інтернеті, тепер безмежні.

Це – катастрофа, що назріває.