Wikimedia выпустила набор данных для обучения ИИ, чтобы избежать перегрузки серверов из-за веб-скрейпинга

Фонд Wikimedia представил бета-версию структурированного набора данных с содержимым «Википедии» на английском и французском языках. Данные опубликованы на платформе Kaggle (принадлежит Google) и оптимизированы для машинного обучения: включают обзоры исследований, краткие описания, ссылки на изображения, инфобоксы и разделы статей, исключая ссылки и аудиофайлы.

Такой формат должен заменить использование веб-скрейпинга, который перегружает серверы Википедии. Набор данных распространяется под открытой лицензией и упрощает доступ для исследователей и разработчиков ИИ, в том числе из малых компаний и независимых специалистов.

Источник: 3dnews.ru

@Unlim_AI