Детали про Foundation Model

Главная вещь, которую нужно понимать про локальную LLM, встроенную в iOS – она достаточно маленькая и слабая по современным меркам, особенно в плане размера окна контекста, всего 4096 токенов. Это значит, что относиться к ней стоит не как к карманному ChatGPT, а скорее как к умному форматтеру свободного текста в структурные данные.