Утекшие документики из Гугла показывают, что новая языковая модель PaLM 2 обучена на значительно большем обьеме текстовых данных, разница почти в 5 раз. 3.6 триллионов токенов и 340 миллиардов параметров, вот это я называю “закидать проблему деньгами”. Боюсь представить, сколько стоило обучение этой модели, и сколько сейчас стоит её эксплуатация в продакшне.

https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html