Эндрю Хо, соавтор бенчмарка GeneBench-Pro покинул компанию ради запуска собственного проекта.
Безымянный пока стартап займется генерацией специализированных датасетов для обучения LLM.
По мнению Эндрю, современные языковые модели всё ещё ограничены и предвзяты - для освоения сложных практических задач им не хватает качественных данных, которые позволили бы моделям тренироваться без вмешательства человека.
Решение Хо заключается в создании наборов данных, максимально приближенных к реальным научным исследованиям, но с заранее известными эталонными ответами. Это даст агентам возможность свободно искать алгоритмы решения, а системе -
автоматически и безошибочно проверять их корректность.
Эффективность такого подхода уже доказал GeneBench-Pro. В этом тесте по биологии модель GPT-5.6 Sol Pro смогла решить лишь 31,5% из 129 предложенных задач.
На старте детище Хо сфокусируется на биологии, статистике и анализе реальных лабораторных снимков. Позже стартап планирует создавать обучающие выборки для химии, материаловедения, медицины и сложных офисных задач.
Хо уверен, что нехватка верифицируемых данных - это главная проблема индустрии, на преодоление которой топовые лаборатории вскоре потратят более 100 миллиардов долларов.
@ai_machinelearning_big_data
#news #ai #ml