Mistral выкатила вчера
Codestral: an open-weight generative AI model explicitly designed for code generation tasks. Codestral is trained on a diverse dataset of 80+ programming languages.
По тестам кодит прям лучше всех, и всё такое. Почитайте, сплошные хвалебные отзывы от причастных.
We used Codestral to run a test on our Kotlin-HumanEval benchmark and were impressed with the results. For instance, in the case of the pass rate for T=0.2, Codestral achieved a score of 73.75, surpassing GPT-4-Turbo’s score of 72.05 and GPT-3.5-Turbo’s score of 54.66.”
– Mikhail Evtikhiev, Researcher at JetBrainsНу и вот, простая задачка для школьников ^^^
Первая версия полный отстой, вдобавок, зачем мне вообще функция, которая что-то там "assumes" ??
Кое-как подсказками я получил вторую не менее кривую версию (если например список пустой?), и тут Codestral превратился в КодСрал и стал упорствовать, что дескать белое это чёрное. Не "понимает" самых элементарных вещей правильного кодирования.
Llama3 кстати тоже не смогла, аналогично "мыслила".
"Страшно далеки они от народа" (c)
А вот ChatGPT-4o справилась довольно легко, поэтому пока ориентируемся только на неё.