Оказывается не все еще успели узнать о возможности обрезать capacity слайса в гошке. Когда занимаешься оптимизациями бывает и такое нужно. В новом пакете slices есть такой метод https://cs.opensource.google/go/x/exp/+/master:slices/slices.go;l=419