Пока OpenAI оставляют нас без доступных видеокарт и оперативки, энтузиаст доказал, что для этих ваших ИИ достаточно и 4 МГц. Он создал языковую модель, которая умудряется работать на легендарном 8-битном чипе Z80 (да-да, том самом, что стоял в ZX Spectrum). Как это вообще возможно:
— Экстремальное сжатие: веса модели квантованы до 2 бит (значения только -2, -1, 0, +1);
— Никаких чисел c плавающей точкой. Вся математика переписана на целочисленную, понятную старому процессору;
— Весь «мозг» вместе с чат-интерфейсом весит смешные 40 КБ и запускается из-под CP/M.
✖️ xCode Journal