🔥Не только GPT-3: что такое GPT-J-6B
Мощный NLP-алгоритм GPT-3 от OpenAI не является open-source проектом. Поэтому другие компании предлагают свои альтернативные решения. Наиболее интересным сейчас из них считается GPT-J от EleutherAI с 6 миллиардами параметров. Разработчики обещают, что GPT-J обеспечит более гибкий и быстрый вывод, чем аналоги Tensorflow + TPU при выполнении различных задач нисходящей потоковой передачи.
Описание на официальном сайте EleutherAI https://6b.eleuther.ai/
Ноутбук в Google Colab https://colab.research.google.com/github/kingoflolz/mesh-transformer-jax/blob/master/colab_demo.ipynb
Код на Github https://github.com/kingoflolz/mesh-transformer-jax/#gpt-j-6b
Подробное описание на сайте одного из разработчиков https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/
Интересное тестирование в пользовательских кейсах https://minimaxir.com/2021/06/gpt-j-6b/