Команда Джеффа Дина,Google, создала ИИ,который сам учится определять ценность данных для обучения LLM
Исследователи Google DeepMind представили DataRater — первую практическую систему автоматической фильтрации данных для обучения языковых моделей, основанную на мета-обучении. В отличие от традиционных подходов, где данные отбираются по заранее заданным правилам или вручную, DataRater оценивает ценность каждого фрагмента данных, используя мета-обучение для оптимизации эффективности обучения.