Элон Маск делится тем, что многие эксперты по искусственному ИИ, что пул реальных данных, доступных для обучения моделей искусственного интеллекта, теперь почти исчерпана. Во время живого потока в среду в дискуссии с председателем Stagwell Марком Пенном на X Musk отметил: «Мы по существу выделили совокупность человеческих знаний для обучения ИИ. Эта веха была достигнута примерно в прошлом году ».
Будучи главой компании AI Xai, Маск повторил очки, которые были сделаны бывшим главным ученым Openai Ильей Саускевером на конференции по машинному обучению Neurips в декабре прошлого года.
Sutskever отметил, что сектор ИИ достиг «пиковых данных», прогнозируя, что нехватка данных обучающих данных потребует преобразования в том, как в настоящее время разрабатываются модели.
Маск предложил, чтобы будущее сейчас лежит в синтетических данных, данных, которые генерируются самими системами ИИ. Он объяснил: «единственный способ улучшить (реальные данные)-это синтетические данные, где ИИ производит (учебные данные). С помощью синтетических данных ИИ по существу оценивает себя и участвует в процессе самосовершенствования ».
Крупные компании, в том числе технические лидеры, такие как Meta, Microsoft, Anpropic и Openai, уже используют синтетические данные для обучения своих ведущих моделей ИИ. Gartner также предсказывает, что к 2024 году 60% данных, используемых для ИИ и аналитики, будут синтетически сгенерированы.
PHI-4 Microsoft, который был сделан с открытым исходным кодом в среду, также был обучен с использованием как синтетических, так и реальных данных, кроме того, за таким же подходом последовали модели Google Gemma.
Антропическая включила данные в разработку своих высокоэффективных синтетических данных, тем временем, Meta усовершенствовала свои последнюю серию моделей LLAMA с помощью AI-генерируемых данных.
Обучение с синтетическими данными также предлагает финансовые выгоды. Писатель AI Startup утверждает, что его модель Palmyra X 004 была разработана в основном с использованием синтетических источников. Для создания им стоит всего 700 000 долларов, что значительно меньше, чем предполагаемые 4,6 млн. Долл. США для модели Open -размер.