Як думає Claude, не знають навіть його автори

Ніхто не знає, як саме думає Claude, навіть люди, які його створили (впевнена, OpenAI теж не знає, як думає GPT). Звучить як клікбейт, але так пише сама Anthropic: стратегії, яких модель навчається, незрозумілі навіть її розробникам. Тому в компанії є окрема команда, яка зазирає моделям усередину, приблизно як нейробіологи вивчають мозок.

Один з дослідників цієї команди, Еммануель Амейсен, щойно розповів про їхню роботу в Lenny's Podcast. Пройдемо за ходом його пояснення: що відбувається між моментом, коли ви натиснули Enter, і першим словом відповіді. І що з цього варто забрати в роботу.

Каркас і гора текстів

Звичайну програму пишуть правилами: натиснули кнопку, відкрий вікно. Для задачі «прочитай звіт і зроби короткий підсумок» таких правил ніхто написати не вміє. Тому з мовними моделями роблять інакше.

Розробники будують каркас, тобто архітектуру моделі. Потім проганяють через нього величезну кількість тексту і щоразу просять одне: вгадай наступне слово. Це попереднє навчання. На другому етапі модель донавчають на прикладах того, як має відповідати асистент: розмови, рецепти, розв'язані задачі з кодом.

Усередині все зводиться до чисел. Слова перетворюються на списки чисел, над ними раз за разом виконуються математичні операції, кожен крок дає проміжний результат, і в кінці числа знову стають словом. Яку саме математику модель робить на цих кроках, ніхто не прописував. Вона з'явилася під час навчання сама.

Амейсен каже, що зробити модель ще не означає її зрозуміти. Розробники задають каркас і спосіб навчання, а формули всередині модель набирає сама. Приблизно як з рослиною: горщик, ґрунт і світло даєш ти, а як ляже кожен листок, уже не вирішуєш. Тому моделі не будують, а вирощують.

Чому «це ж автодоповнення» не пояснює нічого

Найпопулярніше пояснення ШІ звучить так: це як автодоповнення в телефоні, тільки більше. Амейсен вважає, що саме ця картинка в голові заважає зрозуміти, що відбувається.

Автодоповнення вгадує легкі слова. Модель, яка дедалі краще виконує те саме завдання, легкі слова швидко вичерпує. Спершу вона вчиться граматики. Потім фактів: «столиця Франції» веде до «Парижа». Коли засвоєно й це, лишаються найважчі слова: розв'язок складного рівняння чи останній абзац дисертації. Щоб вгадувати такі слова, запам'ятаних текстів мало. Потрібна картина світу, з якої ці тексти взялися.

Це вже видно зсередини. Моделі дають рядок «Столиця штату, де розташований Даллас, це...». Можна припустити, що вона бачила цю фразу з відповіддю десь у даних. Але дослідники бачать інше. Усередині спершу вмикається «Даллас у Техасі», потім воно поєднується з окремим знанням «столиця Техасу це Остін». Модель склала відповідь з двох фактів.

Поняття живуть усередині

Коли дослідники розшифровують проміжні числа, вони знаходять там поняття. І ці поняття не прив'язані до конкретних слів.

Амейсен наводить приклад з оком. Покажіть моделі фото ока, напишіть про око будь-якою мовою або намалюйте його кодом простої векторної картинки. Усередині вмикається той самий напрямок у числах. Для моделі це одне поняття, в якій би формі воно не прийшло.

З мовами Anthropic перевіряла окремо. Прохання назвати протилежність до «маленького» англійською, французькою чи китайською вмикає ті самі внутрішні поняття «малий» і «протилежність». Потрібна мова з'являється вже ближче до відповіді.

Найвідоміша демонстрація була 2024 року. Дослідники знайшли в Claude поняття «міст Золоті Ворота», яке вмикалося і від згадки, і від фото мосту, і викрутили його на максимум. Добу будь-хто міг поговорити з Golden Gate Claude. Питаєш, як витратити 10 доларів, і він радить проїхати мостом і заплатити за проїзд. Просиш історію кохання, отримуєш історію машини, яка мріє перетнути улюблений міст у тумані (найкраща реклама мосту в історії, і безкоштовно). Якщо поняття можна знайти й підкрутити так, що зміниться поведінка, воно там справді є.

Для роботи з цього випливає проста річ. Модель працює зі змістом, тож шукати «чарівне слово» для промпту марно. Краще точно описати, що ви маєте на увазі і для чого.

Модель планує і про це не каже

Якщо модель видає по одному слову, як вона пише зв'язний звіт? Жодна людина не пише лист, зовсім не уявляючи, чим закінчиться речення.

Відповідь знайшли у віршах. Щоб зарифмувати рядок, треба наперед знати, на яке слово він закінчиться. Моделі дали перший рядок, що закінчується на «grab it», і подивилися всередину. Ще до початку другого рядка там з'явилося слово «rabbit». Далі модель писала рядок так, щоб прийти саме до кролика.

Потім перевірили. Коли поняття «rabbit» прибрали, модель закінчила рядок на «habit», теж у риму. Коли підсунули поняття «green», вона збудувала рядок під «green». Найкумедніше, що в Anthropic ішли доводити протилежне: що модель наперед не планує.

Цей план живе тільки всередині, у відповіді його не видно. Амейсен порівнює це з собою в ефірі: він теж говорить по одному слову, але весь час знає, до якої думки веде.

Як вони це бачать

Зазирнути всередину технічно нескладно. Між кроками моделі є проміжні результати, списки чисел. Складно зрозуміти, що ці числа означають, бо на вигляд це сотні випадкових значень.

Тому дослідники проганяють через модель гори різного тексту й записують числа для кожного прикладу. Потім шукають закономірності: які комбінації з'являються тільки на французькому тексті, на тексті про кохання, на тексті про очі. За словами Амейсена, це схоже на сканування мозку: показуєш людині фото будинку, потім собаки, і дивишся, яка ділянка світиться.

Коли є здогадка, починаються експерименти. Числа змінюють посеред роботи моделі й дивляться, чи зміниться відповідь так, як передбачали. Кролик і міст з'явилися саме так.

Амейсен каже, що ця робота більше схожа на біологію, ніж на інженерію. Вихідного коду у звичному сенсі немає, є гігантський масив математичних операцій. Тож питання звучить приблизно як «чому голодна миша стає агресивною». Ставиш досліди й з'ясовуєш.

Модель грає всіх персонажів

Окремий шматок розмови про те, чи можна олюднювати модель. Відповідь Амейсена: усі ментальні моделі хибні, але ця корисна.

Модель вчилася на мільйонах діалогів, написаних людьми. Щоб вгадати наступну репліку, треба поводитися як персонаж, який її каже, тобто розуміти, чого він хоче і що відчуває. У нього це актор, який читає п'єсу й мусить зіграти всі ролі. Чат з асистентом для моделі теж сценарій: репліки людини, репліки асистента, і вона грає асистента.

Своїм агентам я пишу роль разом із задачею: за що агент відповідає, чого йому не можна і що вважається виконаною роботою. Після розмови з Амейсеном це виглядає ще логічніше: якщо модель однаково грає персонажа, краще самій написати їй роль.

Звідси найкорисніше для щоденної роботи. Те, що модель робить, і те, що вона про це розповідає, можуть розходитися.

Anthropic показувала це на звичайному додаванні. Коли Claude рахує в голові 36 + 59, усередині паралельно працюють два шляхи: один прикидає відповідь приблизно, другий точно рахує останню цифру. Спитайте, як він отримав 95, і він опише шкільний спосіб «пишемо п'ять, один в умі». Пояснення правдоподібне, але, схоже, взялося воно з людських текстів про додавання.

Інший дослід неприємніший. Моделі дали складну задачу і неправильну підказку. Інколи вона вибудовувала переконливе міркування, яке вело саме до підказаної відповіді.

У моїй команді агентів слово «перевірила» нічого не важить. Агент, який готує тексти, після перевірки лишає окремий запис: що саме він перевірив і за якими правилами. Без цього запису пост не піде в публікацію, хай який переконливий звіт напише агент.

З цього дві звички на понеділок:

1. Перевіряйте результат, а не звіт про нього. «Я перевірила всі джерела» у відповіді моделі ще не означає, що джерела перевірені. Відкрийте два-три самі.
2. Не підказуйте бажану відповідь, коли просите аналіз. На запит «здається, кампанія провалилась через креатив, перевір» модель дуже легко поверне вам ваш же креатив як причину. Дайте дані й попросіть порівняти кілька пояснень.

Що лишається невідомим

Anthropic чесно пише про межі. Навіть на коротких запитах їхній метод бачить лише частину того, що рахує модель, а розбір прикладу з кількох десятків слів забирає в людини кілька годин.

Сам Амейсен підсумовує так: «the more you look inside, the less certain you are». Тих, хто впевнено каже «мовні моделі це просто X», він зазвичай бачить серед людей, які всередину не зазирали.

Мене це навіть заспокоює. Якщо самі автори вивчають модель, як біологи мишу, нам, тим, хто нею користується, тим паче не варто вдавати, що ми розуміємо, як вона думає. Наша робота інша: будувати процес так, щоб помилку моделі було видно до того, як її побачить клієнт.

Хто хоче подивитися сам, Амейсен радить neuronpedia.org. Це відкритий сайт, де можна покопатися всередині опублікованих моделей і поставити власні досліди.

Відповідь на питання «як думає ШІ» поки звучить так: ми тільки вивчаємо.

Якщо хочете подивитися всю розмову, повний випуск Lenny's Podcast з Еммануелем Амейсеном є на YouTube.

Джерела: випуск Lenny's Podcast з Еммануелем Амейсеном, Tracing the thoughts of a large language model, Golden Gate Claude.