У кофаундера thinking machines Lilian Weng всегда интересные посты. На этот раз про то как делать харнесы или обвязки/среду для работы моделей для решения определенных задач.

Я бы сказал, что очень важный пункт, который очень часто отсутствует у «на коленке» харнесов это вот такая штука:

The design should be deliberately simple and generic to enable generalization, likely with reference to existing software engineering practices to benefit from prertaining knowlege.

Ну и мой take что мы будем редизайнить современные OS вокруг вечно работающего в фоне AI (то есть инференс должен как бы крутиться вечно в фоне).