Стендап Сьогодні
📢
Канал в Telegram @stendap_sogodni
🦣
@stendap_sogodni@shevtsov.me в Федиверсі
22.07.2025
Три речі, які варто знати про LLM, щоб не робити дурниць
Щось останніми днями триває буря драми навколо LLM, від трагічної історії, як Replit не стримав обіцянки до “відкриттів” про небезпеку MCP. Я часто дивлюся і думаю: ну якщо хоч би базові речі розуміли, то багато питань відпадають самі собою.
Отже, перше: LLM є функцією з неструктурованого тексту в неструктурований текст. Все, що заходить в LLM, перетворюється у текст, та все, що виходить, також є текстом. Все інше — оздоблення та обгортки. Мабуть, що найбільш незвично для розуміння — в LLM немає розділення на дані та код, тому й існують атаки, де текст, прочитаний з бази, стає інструкціями.
Друге: LLM є незмінними. Сучасна архітектура не може навчатися в процесі роботи. Ба більше, для навчання LLM потрібна велика кількість прикладів. Ви не можете навчити LLM ні-чо-му. Єдиний спосіб вплинути на вихід LLM - змінити вхідний текст. Тому всі наші правила, а також “памʼять” та інші контекстні дані всі заходять з тим самим текстом (хоч і неявно для користувача.) LLM не “памʼятає”, що ви просили не видаляти базу — вона тільки бачить інструкцію на вході. Разом з епічною кількістю інших інструкцій — сотнями кілобайтів.
Та третє: LLM працюють на ймовірності. Головним ефектом цього є те, що в LLM не існує чіткого “так” або “ні”. Неможливо повністю виключити деякий вихід LLM - тільки зробити його менш ймовірним. Та оскільки вся система є чорним ящиком (сповненим коефіцієнтами), ніхто ніколи не знає, де вистрибне сюрприз. Така поведінка фундаментально відрізняється як від типової компʼютерної, та й людської, тому користувачам так важко з нею уживатися.
Ось так. До того ж LLM є серцем (чи мозком?) всіх сучасних “ШІ”. На такому етапі розвитку ми знаходимось. Масштабуванням тут нічого не змінити. Так що поки не почуєте, що зʼявилося щось на заміну LLM - будемо жити з цими обмеженнями.