Mistral выкатила вчера Codestral: an open-weight generative AI model explicitly designed for code generation tasks. Codestral is trained on a diverse dataset of 80+ programming languages.

По тестам кодит прям лучше всех, и всё такое. Почитайте, сплошные хвалебные отзывы от причастных.

We used Codestral to run a test on our Kotlin-HumanEval benchmark and were impressed with the results. For instance, in the case of the pass rate for T=0.2, Codestral achieved a score of 73.75, surpassing GPT-4-Turbo’s score of 72.05 and GPT-3.5-Turbo’s score of 54.66.”
– Mikhail Evtikhiev, Researcher at JetBrains

Ну и вот, простая задачка для школьников ^^^

Первая версия полный отстой, вдобавок, зачем мне вообще функция, которая что-то там "assumes" ??

Кое-как подсказками я получил вторую не менее кривую версию (если например список пустой?), и тут Codestral превратился в КодСрал и стал упорствовать, что дескать белое это чёрное. Не "понимает" самых элементарных вещей правильного кодирования.

Llama3 кстати тоже не смогла, аналогично "мыслила".

"Страшно далеки они от народа" (c)

А вот ChatGPT-4o справилась довольно легко, поэтому пока ориентируемся только на неё.