Microsoft только что выпустила следующую версию своей облегченной модели языка искусственного интеллекта — Phi-3 mini. Это первый из трех небольших LLM, которые компания планирует выпустить в будущем. Phi-3 mini может измерять около 3,8 миллиардов параметров и обучается на наборе данных, который может быть меньше, чем GPT-4.
Компактная программа LLM от Microsoft теперь доступна в Azure, Hugging Face и Ollama. Технологическая компания планирует выпустить Phi-3 Small и Phi-3 Medium с 7 миллиардами и 14 миллиардами параметров соответственно.
Здесь параметры означают сложность инструкций, которые может понять модель. Компания выпустила Phi-2 еще в декабре, и он работал на одном уровне с другими более крупными моделями LLM, такими как Llama 2.
Microsoft заявила, что Phi-3 будет работать намного лучше, чем предыдущие версии, и может дать ответы, близкие к модели, которая в 10 раз больше, чем могла бы. Эрик Бойд, корпоративный вице-президент платформ Azure AI, заявил, что Phi-3 mini обладает такими же возможностями, как и LLM, такие как GPT-3.5, только в меньшем форм-факторе.
Бойд также заявил, что они тренировали Фи-3 с помощью «учебный план.» Их вдохновило то, как дети учились на сказках на ночь, в книгах с более простыми словами и структурах предложений, которые позволяли говорить на большие темы в простой, но понятной форме.
Он также заявил, что Phi-3 построен на основе того, что было использовано в предыдущих версиях. Таким образом, в то время как Фи-1 сосредоточен на кодировании, а Фи-2 — на рассуждениях, Фи-3 лучше справляется как с кодированием, так и с рассуждениями.