#Інструменти

…Я вже багато років користуюся Tab9 для доповнення коду. В мене вимоги прості: хочу закінчення рядків. А ні, ще одна вимога: я хочу, щоб модель працювала локально. На жаль, як буває з багатьма продуктами, TabNine пішов в бік хмари та корпоративних клієнтів.Та локальне доповнення хоч і працює, але без кінця просить залогуватись кудись… в той час, коли в мене “дідівська” ліцензія ще з тої пори, коли ніяких облікових записів не було.

Отже, нещодавно натрапив на Tabby. Це обгортка для запуску великих мовних моделей та інтеграції в редактор (в моєму випадку - VSCode.) Хороша — можна запускати не тільки локально, а й будь-де, налаштувати декілька користувачів та обирати ту модель, яку заманеться. Рекомендую, якщо вам таке цікаво.

Про практичний бік. Звісно, доведеться обрати модель (а точніше, її розмір — кількість параметрів), на яку вистачить памʼяті та обчислювальних потужностей. У Tabby є топ моделей, щоб далеко не ходити.

На M2 Macbook Air навіть 1B-моделі відпрацьовують дуже повільно, більше ніж десять секунд. Замислився — а як же ж тоді TabNine? Виявилося, що ті використовують 400M-моделі, але наче по моделі на кожну мову програмування. Та TabNine був швидким навіть на макбуці з 2015-го.

Але в мене були інші плани: поки я працюю, стоїть без діла ігровий компʼютер — чом би його не долучити? З Tabby це надзвичайно просто — вся різниця буде в адресі сервера. В мене наразі в наявності NVIDIA 4060M; на ній 1B-модель відпрацьовує в межах секунди, а 3B-модель десь трьох. Більше немає сенсу дивитися, бо 3 секунди вже занадто для моїх потреб — якщо доповнення не миттєве, швидше самому написати. Здивувало, що для цієї потреби я упираюся не в памʼять, а в обчислювальні потужності.

Ось такі поки результати.

Дійшов висновку, що коригування комбінацій клавіш повинно бути звичкою. Причому такою, що не потребує зусиль. Так само як скорочення в терміналі — система повинна робити часті дії простими. Зокрема, мені важливо, щоб в різних застосунках комбінації були однакові.

Наприклад. Коли працюю з проєктами для iOS, а редагую в VSCode, то в мене є три вікна: VSCode, XCode, та симулятор. Щоб запустити збірку, доводиться переходити в XCode та натискати Cmd+R. Особливою образою є те, що в симуляторі Cmd+R починає записувати відео, що мені ніколи не було потрібно.

Ну то й що? Зробив за допомогою BetterTouchTool, щоб як в симуляторі, так і у VSCode - якщо назва вікна містить назву мого проєкту — комбінація Cmd+R перемикалася б спочатку на вікно XCode. Тепер більше не потрібно думати, в якому з вікон я знаходжуся. Якщо піти далі, для вебпроєкту Cmd+R може так само перемикати на вікно браузера, або запускати тести.

Або інший приклад - Cmd+P/Cmd+Shift+P для навігації по файлах та командах, до якої звик ще з Sublime Text. Тут допомагає Paletro та локальні налаштування застосунків. (Бо інакше Cmd+P зазвичай починає друк — майже атавістичну нині операцію.)

BetterTouchTool зручний тим, що відразу працює в контексті конкретного застосунку, а більшість комбінацій як раз не є глобальними. Та й можливістю задати складу поведінку. А ще в macOS можна дуже багато всього призначити стандартними засобами, в Settings -> Keyboard -> Keyboard shortcuts.

Встановив собі сьогодні SearXNG. Це такий вебзастосунок, який збирає результати пошуку з всіляких рушіїв та показує в типовому інтерфейсі. Щось на кшталт DuckDuckGo чи Kagi, тільки відкрите. Ось, при написанні цього поста тільки ним та й користувався.

В нього є готовий до використання образ Docker та ніяких обовʼязкових залежностей, тож випробувати дуже легко. Можна встановити його на сервер (та і є багато публічних серверів), але мене цікавив саме локальний запуск — так я більше впевнений, що його не заблокують. Ресурсів витрачає небагато (600 Мб памʼяті.) Відпрацьовує в межах пари секунд.

Мені, головним чином, потрібні налаштування пошуку під себе. В SearXNG можна: обирати набір рушіїв за замовчуванням та підіймати чи опускати домени у видачі.

Можна й створювати власні рушії; як повноцінно на Python, так і через конфігурацію (ось, спробував зробити для Прому). Що відрізняє SearXNG від того ж DDG - вибір рушія з !prom видає результати в інтерфейсі SearXNG, а для переходу безпосередньо на пошук на сайті потрібно писати !!prom.

А ще, теоретично, із запуском локально можна зробити рушій, який буде шукати в моїй базі Obsidian, та частково закрити питання згадування минулих досліджень - тобто щоб результати з Obsidian зʼявлялися прямо на сторінці пошуку.

Для продовження моїх експериментів з нейронними мережами доведеться запускати багато всього на компʼютері з Windows. Згадав, що в Docker є “віддалений контекст” роботи, та розібрався з ним.

В мене так склалося, що Docker або на локальній машині, або десь в хмарі прихований за абстракцією. Ну або як мінімум десь на віддаленій машині, куди я заходжу по SSH. А віддалений контекст — то коли локальна команда docker керує рушієм, що запущений на іншій машині.

Якщо нічого не боятися, то можна просто відкрити підключення до Docker мережею. Але в такого рішення немає ніякої авторизації взагалі. Для автентифікації можна нагенерувати сертифікатів TLS. Проте то нудно.

Найпростішим буде тунелювати до Docker через SSH. У Windows є сервер OpenSSH - як додатковий компонент, який потрібно встановити, а потім увімкнути його сервіс. Далі можна підʼєднуватися до компʼютера за паролем — або додати SSH-ключ - майже як вдома!

Вдома, але не зовсім… З оболонкою Windows не хочеться мати справи. На щастя, для віддаленого контексту Docker це не перешкода, та працює він чудово. Спочатку створюємо конфігурацію командою docker context create, обираємо командою docker context use, та всі команди Docker будуть передані із локального середовища на виконання віддаленій машині. Для мене це просто магія! 🧙‍♂️

Єдиний нюанс — монтувати теки можна тільки ті, що на віддаленій машині. Що логічно, але трохи незручно. А контекст збірки береться з локальної машини (тобто можна копіювати потрібні файли в образ.)

Один з моїх улюблених засобів для створення простого вебсервера - Express. Для рубістів - Express дуже схожий за настроєм з Sinatra.

const app = express();
app.get("/", function (req, res) {
  res.send(`Hello, ${req.query.name}!`);
});

• JavaScript гарна мова з бібліотеками на всі випадки життя. TypeScript та Prettier роблять розробку зручною без обтяжування. Порівняно з тією ж Сінатрою, я можу впевнено досягати результатів. А порівняно з Go швидко. Для прототипів це золота середина.

• Синтаксис та семантика Express прості та зрозумілі. Оголошувати маршрути, читати запити та генерувати відповіді можна з мінімумом рухів. Абстракція над HTTP прозора, завжди видно, що куди йде. Чомусь робота з тілом запита POST винесена в окремий пакет body-parser, але то дрібниці.

• Nodemon та ts-node роблять локальний запуск та перезапуск простим та зрозумілим. Запускаєш yarn run nodemon entry.ts та все, можна працювати.

• Express легко (відносно…) розгорнути — або навіть перетворити застосунок на serverless. Відносно, бо не люблю технології, які залежать від вихідного коду бібліотек в продакшні — хай то node_modules, геми Ruby тощо. Втім, принаймні всі залежності для Node.js розташовуються в одній директорії з проєктом.

Раджу мати Express на озброєнні для маленьких вебсервісів — прототипів, однозадачних серверів, обгорток всіляких.

Останній рік я широко використовую Reminders. Поділюся надбаннями. Щоправда, для зберігання задач він мені не зайшов. Коли я почав працювати з ним активно — певно, головне, що багато редагувати задачі, а не тільки додавати та видаляти — то синхронізація з телефоном роз`їхалася. З таким застереженням давайте далі.

Якщо ти ніколи на них не дивився, то - Reminders зараз досить просунутий застосунок. В ньому є і багато списків, навіть теки для них. Є “розумні” списки — тобто пошук за критеріями. Є нагадування за часом та локацією. Можливість додати нотатки та навіть зображення. URL в нотатках автоматично стають “підкресленими” - дрібниця, але зручно.

Reminders гарні насамперед тим, що вони вбудовані, а значить, навколо них є ціла екосистема застосунків. Від календарних програм до iStat Menus. Та й цілий фреймворк EventKit є.

(До речі: подумав — а чому б не зробити CLI для цього фреймворку? Та дійсно, вже хтось зробив reminders-cli! Дуже круто, але є нюанс: в моделі безпеки Apple не можна надати право доступу до чогось консольному застосунку. Тільки всьому терміналу. Хотілося б дослідити пізніше, але поки не впевнений, що я хочу відкривати настільки широкі ворота).

Проте для мене головне, що Reminders найзручніші для Siri. Тому в них найлегше додавати думки на ходу. Тут порада: Add XXX to Reminders працює дослівно, а Remind me about XXX інтерпретує фразу. Інколи я додаю просто думки чи нагадування, які потім обробляю в кінці дня. Для того корисна дослівна форма. Але також можна відразу додати нагадування на час, причому як at 5 PM, так і in 30 minutes працює, та робить мене в 9 разів пунктуальнішим.

Це були умовно “нагадування на сьогодні”. В мене ще є “нагадування на майбутнє”, більш стабільні, тому для них окремий список — щоб не плутати. Здебільшого вони повторювані, і це ще одна гарна фіча. Повторення тут максимально потужне, я поки не стикався з неможливим графіком. Наприклад, можна зробити “останній робочий день місяця”. А можна й “кожні 6 тижнів”. Мої довготривалі розклади наразі живуть тут. (Є й нагадування на майбутнє, але без повторень.)

А ще можна зробити нагадування по локації. Я так для себе розвʼязав проблему, що на СТО вимикають фари. Нормально вони в мене в авторежимі, тому про вимкнені я зазвичай дізнавався вже коли опинюся на першій темній дорозі, бо вночі під ліхтарями не помічаю. Отже, зробив нагадування коли залишаю локацію СТО, працює бездоганно (та повторюється само, аж поки не поставиш галочку.)

Та останній режим використання — як прості списки з галочкою. Дуже обмежено, щоб не загубилося в інших системах, але й не розрослося саме. Є традиційний список покупок, є списки для окремих магазинів чи навіть інтернет-магазинів. Є “що приготувати”, “що подивитись” та “цікаві ресторани”. Такий список можна зробити спільним.

Для мене Reminders закривають ту маленьку нішу, де звичайний список в Obsidian не впорається: бо потрібні нагадування, потрібна взаємодія з системою тощо. Це чудова проста програма для такої потреби.