Стендап Сьогодні

Що я зробив, що я хочу зробити, і що це все значить.
Повсякденні здобутки в форматі стендапу.
Детальніше в статті

25.05.2024

Труднощі з автопостингом з CI

Отже, як я писав, хотів би загорнути своє рішення для автопостингу в гарний пакет та опублікувати. Частиною того є дійсно автоматичний запуск: наразі це скрипти, які я мушу згадати запустити сам, до того ж на власному компʼютері.

Модель така: є статичний сайт на Hugo; коли в вхідному коді зʼявляється новий пост, публікуємо його в Telegram, Mastodon та ще кудись. Логічним було б поєднати публікацію з розгортуванням самого сайту: для цього на CI вже запускається hugo. Втім, просто “взяти та запустити” мої скрипти на CI не вийде. Чому?

У скриптів є стан. Наприклад, це відображення постів на ID повідомлень в Telegram. З нього скрипт знає, які пости залишилось опублікувати. Поки стан зберігається в JSON прямо в репозиторії. Це просто в реалізації та уможливлює виправлення його вручну.

Чи можна зберігати JSON в репозиторії з CI? Технічно, можна; GitHub Actions дозволяють робити git push. Але з CI ми потрапляємо на територію рівночасності та мусимо виконувати всі її вимоги. Що буде, коли я зроблю git push два рази поспіль — може, щоб виправити помилку? По-перше, git push з CI може вже не спрацювати, бо репозиторій “поїхав далі”. По-друге, два різних запуски можуть так само налізти один на одного (хоча цього легше уникнути.) А нам життєво необхідно, щоб кожна публікація була занотована в стані!

Виходить, CI влаштовує тільки ідемпотентні операції, тобто такі, де останній запуск завжди приводить до актуального результату. А для мого випадку потрібний зовнішній стан — куди точно можна записати результат операції. Ба більше, так само необхідно записувати, що операція почалася, щоб уникнути подвійної публікації через помилку.

PS: для простіших випадків знайшов цікаву дію github/lock - тут замки вбудовані у GitHub.

24.05.2024

Домашній DNS у відключенні

Знаходжусь в пошуках рішення для живлення роутера від павербанка постійного струму. Про це буде окремий пост пізніше, а поки що зачеплю дотичну тему: що робити з Pi-Hole?

Pi-Hole - то домашній DNS з блокуванням реклами. В мене він встановлений на ODroid XU4. Нарікань жодних не маю, але з живленням виходить проблема. ODroid XU4 живиться власним блоком з параметрами 5 В на 4 А. Чотири ампери — це поза будь-яким стандартом USB, тож просто “взяти та вткнути” не вийде, який би потужний павербанк не був. Дев’ять вольтів ніби йому теж протипоказано. Також немає надії, що вистачить менш ніж 4 А, принаймні тому, що в мене система завантажується з зовнішнього диска.

Бачив ідеї, що можна взяти USB-C кабель з вибором режиму 20 В та конвертор напруги до 5 В та заживити через такий ланцюг. Поки залишимо це на план “Г”, бо немає ніякої впевненості.

Далі, альтернативи: перемістити блокувальник DNS на роутер. Сам Pi-Hole не вийде — він досить важкий по залежностях. Є аналог для AsusWRT-Merlin: Diversion. Нюанс: в нього немає вебінтерфейсу. Вебінтерфейс в DNS-блокувальнику вкрай потрібний, щоб його можна було вимкнути. (Хибні позитиви це нормальна справа — наприклад, Pi-Hole не дозволяє мені відписатися від деяких розсилок через заблокований домен.) Тут теж можна розвʼязати технологіями — може, навіть, встановити для того розумну кнопку-вимикач.

Та ще пропонують купити малесенький Pi Zero, що живиться від USB, та увіткнути його в сам роутер. Теж цікаве рішення з очевидними мінусами: теж потрібно щось купувати, налаштовувати, та й підтримувати.

…Що тут сказати. Певно, найрозумніший поки вихід — це вимкнути до біса то блокування.

23.05.2024

Публікація в Mastodon: світлини та архітектура

🖼️ По вчорашньому питанню з форматом ілюстрацій вийшло ось що: по-перше, хоч пости пишуться в Markdown, але розмітка для зображень заборонена. Що, взагалі, абсолютно логічно. Тож залишається два підходи: або світлину окремим постом як в Telegram, або включати світлину в головний пост. В головному пості вона зʼявиться наприкінці, але все одно так мені більше подобається.

🚧 Ще для повноти функціонала мені потрібно редагувати пости, тобто синхронізувати пост в Mastodon з тим, що в блозі. Як це вже працює для Telegram: я зберігаю для кожного поста (з блогу) його ID в Telegram, а також контрольну суму змісту. Якщо збережена контрольна сума розбігається з актуальною, то викликаю API редагування посту. (Насправді там навіть не одна, а дві контрольні суми. Одна — від змісту, що безпосередньо надсилається в Telegram. Друга — від вхідного файлу. Вона використовується, щоб не обробляти файли зайвий раз.)

🚢 Все це рішення хотілося б опублікувати, але зупиняє те що немає красивої історії розгортування. Скрипти я запускаю вручну, а потім комічу результати. Хотілося б щоб публікація відбувалася автоматично. Ймовірно, під час генерації статичного сайту. Якби оце розвʼязати, то можна було б перетворити купку скриптів на продукт.

22.05.2024

Mastodon: публікація через API

Хотілося б ретранслювати цей канал в Mastodon, але ж в концепції WOPE (Write once - publish everywhere.) В Телеграм я давно публікую ботом, також весь зміст є на сайті, доведеться й для Mastodon зробити автоматичну публікацію.

В цілому це набагато простіше, ніж з Telegram або з Twitter. У GoToSocial є API, з ним все зрозуміло, працює без сюрпризів. На власному сервері жодних обмежень на довжину поста немає. Навіть в Markdown можна писати.

Але ж мої пости пишуться не просто в Markdown, а містять метадані. Також я використовую особливу розмітку для посилань на пости з каналу. Можна або, як то кажуть, обробити регулярками по-простому, або все ж доведеться розібрати Markdown, перетворити та зібрати назад. Знайшов рендерер саме для цього.

Та друге питання — що робити з ілюстраціями. Наразі вони публікуються в Телеграм окремим постом через особливості відображення постів зі світлиною, які мені не подобаються. В Mastodon можна або робити так само, або обʼєднати в один пост; треба ще поекспериментувати та визначитись. Якщо окремим, можна робити мінітред з двох постів.

21.05.2024

AWS Lambda для запуску скриптів

Зазвичай про Lambda згадують в контексті всяких конфігурацій Serverless, тобто хочуть заміняти ними справжні сервери. Ну або для інтеграцій з іншими сервісами, наприклад, як обробник черги.

Але, за що я люблю Lambda: це найпростіший спосіб запустити код в AWS. Так, може я виходжу з позиції, коли базова конфігурація вже є в Terraform: ролі, мережа, і таке інше. Але нічого простішого я не знаю та лямбди чудово виконують ролі разових чи запланованих задач.

Ключем є можливість задеплоїти Lambda відвантаженням ZIP-файлу. Навіть з вебінтерфейсу. Особливо в поєднанні з Go це зводить деплой до секунд: скомпілювати, створити архів, відвантажити. Бо програми на Go легко скомпілювати локально та результат не буде відрізнятися від “чистої збірки” на CI. На відміну, наприклад, від Ruby. Хотфікси для Lambda можна розгортувати вручну (хоч не заохочую таку поведінку.)

Також Lambda можна запустити з вебінтерфейсу. Функція ця називається “Test”, але нехай то не збиває з пантелику: такий тест не відрізняється від іншого запуску. Тут навіть можна передати параметри; в моїх лямбдах часто будуть особливі ключі запуску: без ключа вона виконує головний намір — наприклад — за планувальником, а з ключем переходить в ручний режим та робить щось особливе — наприклад, перевірку або повне оновлення, або ще щось.

20.05.2024

Пара відкриттів з керування задачами та GTD

Поки налаштовував задачі в OmniFocus, зʼясував дві важливі речі. Як і з усім, корисно було порозглядати відео від справжніх користувачів.

🎯 Обовʼязково формулювати кожний проєкт як закінчуване твердження. Для цього потрібно додумати цей проєкт та зрозуміти — в цьому моменті — що ти від нього хочеш. Якщо не додумати зараз, доведеться думати щоразу як бачиш проєкт. Коли недодуманих проєктів пʼятдесят, їх сенс втрачається та система розвалюється.

Наприклад: висів в мене декілька років проєкт “Прибрати гараж”. (Зазвичай навесні зʼявляється, а потім поки доберуся, ба — вже знову холодно та не на часі.) Змусив себе подумати та переписав як “Бути задоволеним порядком у гаражі”. (Ну, бо дійсно — немає обʼєктивного критерію тут, ідеальним гараж ніколи не стане.) Та відразу стало зрозуміло, як його просунути: продати шини, замовити вивіз сміття, і так далі.

📝 Нарешті зрозумів силу контекстів. “Контекст” по GTD - це категорія обставин, в яких можливо зробити задачу. Я до них ставився як до звичайних тегів для фільтрації. Але в чому сила: кожний контекст утворює окремий список задач. Ключовий момент, що в нього йдуть тільки ті задачі, які готові до виконання.

Під час планування розкидуємо задачі, які пора робити, по контекстах. Коли є час на задачі, обираємо контекст — а з нього наступну дію. Відповідно, для всього, що ми ще не збираємося робити, контекстів не потрібно. (Взагалі, в моделі GTD фільтрів не могло бути, бо все робилося на папері. Контексти й були, буквально, списками задач. Але з цифровізацією цей нюанс втратився.)

19.05.2024

Mastodon та селфхостінг

Здається, я нарешті припинив дивитися та вирішив отримати акаунт у Федіверсі. Акаунт поки таємний (хоч знайти його дуже легко.) В цьому пості буде мова не про користувацький досвід, а про адміністрацію. (Хоча пишіть свої акаунти, обовʼязково підпишусь.)

Я дуже довго намагався відмовитись від власного сервера; проте ніяк не міг обрати, кому ж довірити акаунт. Як з поштою, в теорії можна привʼязати акаунт на власному домені до сервера десь ще.

На жаль, на відміну від пошти, акаунти Mastodon жорсткіше привʼязані до технічної реалізації, тому перейти з одного серверу на інший буде проблематично. Технічні параметри твого сервера зберігаються на інших серверах, та протоколу їх оновлення поки немає. А раз так, довелося налаштувати власний сервер, щоб в майбутньому не залежати не від кого.

…Тут проблема: Mastodon написаний на Ruby on Rails. Хоч я й працюю з Rails щодня на роботі, хостити великий застосунок самотужки (та ще й за власний кошт!) не хочеться прямо ніяк. Але, Mastodon це тільки найвідоміша реалізація протоколу ActivityPub. З альтернатив обрав GoToSocial - він націлений на особисті сервери (наприклад, в ньому зовсім немає реєстрації.) Також GoToSocial написаний на Go. Для селфхостінга це повна протилежність Rails: споживає мінімум ресурсів та тривіально деплоїться.

Під час деплою в fly.io + Cloudflare нічого незвичайного не робив. GoToSocial може працювати з базою SQLite, тобто окремого серверу бази не потрібно.

Чого не очікував: сервер живе доволі активним життям! Достатньо засвітитися в глобальній мережі, та починаєш отримувати нескінченний потік активностей. Що ще раз підтверджує, що не варто було встановлювати собі “справжній” Mastodon.

18.05.2024

OmniFocus

OmniFocus - це Jira у світі менеджерів задач для платформ Apple. В сенсі, не найкрасивіший (то буде Things), але найпотужніший. Так само як і Jira, OmniFocus є насамперед базою даних про задачі, з якої можна ліпити те, що влаштовує твої потреби.

Як і Jira, OmniFocus існує дуже довго (я перший раз його встановив у 2012) та як і Джіру, я його недолюблюю за надмірну складність. Проте коли в тебе сотні проєктів, великих та малих, то простими вони не виглядатимуть ніде.

Мої останні спроби зберігати проєкти були в власному плагіні для Obsidian; вимушений зізнатися, що не дочекаюся, поки я його завершу. Так, Ідея розробити систему та зробити під неї спеціалізований менеджер задач мені все ще подобається. В теорії зробити такий менеджер легше, ніж загальне рішення — бо набір функцій обмежений. Але річ у тім, що експериментувати з такою спеціалізованою системою стає надто дорого. Тому спробую експериментувати далі в готовому середовищі OmniFocus.

Нарешті, щодо систем та великої кількості задач. Зрозумів, що коли задач стає багато, то вони стають ніби дозволом нічого не робити (принаймні, проактивно) через відчуття марності. Тому критично важливо відокремити абсолютний мінімум поточних задач від решти. Причому їх кількість повинна залежати не від навантаження (яке за природою необмежене), а від можливостей.

17.05.2024

Перевірка унікальності в OpenSearch

…А немає її! В ті чи інші причини. Певно, головним чином тому, що індексація відбувається асинхронно, а до індексації перевірки не буде.

Проте є один метод, перевірений часом. Це зробити унікальний ключ ідентифікатором. Таке працює в багатьох NoSQL базах, наприклад, в DynamoDB практично лягає в основу. Тільки з міркувань рівномірного розподілення значень в OpenSearch краще брати не прямо ключ (скажімо, URL сторінки), а хеш від нього.

(Взагалі підхід з використанням справжніх значень як ідентифікаторів називається “натуральні ключі” та був популярним в часи “голих” SQL баз. А з приходом ORM як головного методу доступу — занепав.)

Ідентифікатори в OpenSearch, звісно, унікальні. Але й тут криється нюанс - звичайна операція індексації не заборонить повторюваний ідентифікатор, а просто перезапише документ (тобто зробить “upsert”). А нам потрібна операція create.

Я вже натрапляв на проблему в тестах, що згенеровані фабрикою документи час від часу збігалися ідентифікаторами, вставлялися без create, та призводили до випадкових помилок.

16.05.2024

Коли DRY не працює

Поділюся сьогоденним рефакторингом, яким дуже задоволений.

Історія така. Є розділ застосунку (насправді ActiveAdmin), де в багатьох місцях будуються адреси деякого ресурсу. Це в Rails робиться легко, так й код чистий.

Нововведення таке, що цей ресурс може існувати як самостійно, так і вкладений в інший ресурс. На кшталт такого: були просто “заклади”, а тепер зʼявилися у них власники; заклади власника можна переглядати окремим списком — проте загальний список теж залишився.

Задача: коли переходиш з власника на його заклади, а потім, наприклад редагуєш та зберігаєш — то маєш опинитись знову на списку закладів власника. (А якщо з загального списку — то повернутись туди.)

Ніби все просто та є навіть вбудована можливість зробити вкладеність ресурсів на рівні маршрутів. Але… тепер кожне місце, де будується адреса, повинно зʼясувати в якому ми режимі та побудувати або /owners/1/places/2, або /place/2.

Перша спроба розсипала по коду відповідні розвилки if - що негайно засмутило Rubocop, та й вочевидь мало поганий вигляд. Замінити розвилки єдиною функцією (тобто класично “підсушити” код) немає можливості, бо вони відрізняються начинкою — маршрути всюди різні.

Тоді придумав взяти ті if та витягнути всі в окремий модуль. Ну й нехай в ньому три майже однакових методи — зате тепер вони семантично сполучені. Читачам буде легко зрозуміти їхню мету, а може навіть пізніше порефакторити краще.

Отже, якщо вже доводиться задля нової логіки вносити побічні зміни в багато місць коду, нехай вони будуть стислими та легко розпізнаними.

Раніше

Пізніше