Стендап Сьогодні
📢
Канал в Telegram @stendap_sogodni
🦣
@stendap_sogodni@shevtsov.me в Федиверсі
26.11.2025
Замороження фактів для LLM
Ще маленьке та корисне концептуальне відкриття. Як відомо (серйозно, всім повинно бути відомо), великі мовні машини оперують над ймовірностями, а не “твердими” фактами. Зокрема, чим довше поточний контекст, тим більше факти в ньому “розпливаються”.
Все це значить, що якщо в тебе помічник ШІ кожного разу виводить знання з першоджерела — наприклад, знаходить, як писати код через аналіз вже написаного коду — то в такого знання є певне межа, за якою ШІ буде помилятися та робити дурниці.
(Особливо треба розуміти, що факти в контексті будуть не тільки ті, що ми вважаємо за важливі, а й абсолютно тривіальні та зайві. Як те, чи використовуєте ви пробіли або табуляцію.)
Щоб такого не було, важливі факти можна підкласти в контекст в готовому вигляді. Так ми робимо з файлами правил, наприклад.
Але якщо взяти підхід ширше, то можна в будь-який момент зберегти знання з поточного контексту у файл. LLM залюбки згенерує вам Markdown. Цей файл вже буде легко доступним джерелом правди для майбутніх операцій. А проєкт буде обростати документацією на всілякі потреби: про те, як ми пишемо запити, тести, про те чи інше рішення.
Не знаю, чи в цього підходу є широко відома назва, але я його називаю замороженням фактів. Бо те, що записано в цих файлах, стає “твердою” правдою, яку ШІ більше не забуде.