AlphaCode. Разбор статьи
AlphaCode - это новая языковая модель от DeepMind для генерации кода, схожая с OpenAI Codex.
Видео: https://www.youtube.com/watch?v=t3Yh56efKGI
Нас часто спрашивают про то, как устроена автогенерация кода. В #видоснавечер хотим предложить ознакомиться с устройством AlphaCode через подробный разбор нашумевшей публикации.
Post #108
384
DL in NLP DeepMind выпустил AlphaCode, который прогает лучше половины твоих знакомых. Во многом похож на Codex, но есть отличия. Основной подход: 1. Encoder-decoder, 41B параметров 1. Декодер обучается предсказывать следующее слово, а энкодер делает MLM. Всё end2end.…YouTube AlphaCode Explained: AI Code Generation AlphaCode is DeepMind's new massive language model for generating code. It is similar to OpenAI Codex, except for in the paper they provide a bit more analysis. The field of NLP within AI and ML has exploded get a lot more papers all the time. Hopefully…
- 🔥 2