Поплясав с бубном решил проблему дополнительным параметром
-x264-params keyint=5:scenecut=0
где keyint=5 - это число фреймов, после которых выставляется keyframe,
а scenecut=0 - чтобы не добавлялся дополнительный фрем, когда энкодер считает что сцена обрезана
По итогу, идеальная команда для преобразования картинок в видос выглядит так:
ffmpeg -framerate 5 -i %7d.jpeg -vcodec libx264 -x264-params keyint=5:scenecut=0 -b 800k -pix_fmt yuv420p result.mp4
