Это — расширение для срезов. Таким образом, пользователи могут добавлять своё особое поведение в срезы, просто поменяв код
__getitem__.А троеточие — всего лишь константа, обозначающая Ellipsis, то есть matrix[0, ..., 0] и matrix[0, Ellipsis, 0] это одно и то же.
Эту фичу реализует numpy (см. пример). Почитать про неё подробнее можно тут и тут.
#теория
