Корпорація Майкрософт щойно випустила наступну версію своєї легкої мовної моделі ШІ Phi-3 mini. Це перша з трьох невеликих LLM, які компанія планує випустити в майбутньому. Phi-3 mini може вимірювати приблизно 3,8 мільярда параметрів і навчається на наборі даних, який може бути меншим, ніж GPT-4.
Компактний LLM від Microsoft тепер доступний на Azure, Hugging Face і Ollama. Технічна компанія планує випустити Phi-3 Small і Phi-3 Medium з 7 мільярдами і 14 мільярдами параметрів відповідно.
Тут параметри означають складність інструкцій, які модель може зрозуміти. Компанія випустила Phi-2 ще в грудні, і він працював нарівні з іншими більшими моделями LLM, такими як Llama 2.
Microsoft заявила, що Phi-3 працюватиме набагато краще, ніж попередні версії, і може давати відповіді, близькі до того, як модель у 10 разів більша, ніж була б. Ерік Бойд, корпоративний віце-президент з платформ Azure AI, заявив, що Phi-3 mini настільки ж ефективний, як і LLM, як-от GPT-3.5, але він має менший форм-фактор.
Бойд також заявив, що вони тренували Phi-3 за допомогою a «навчальний план». Їх надихнуло те, як діти навчалися з казок перед сном, книжок із простішими словами та структурами речень, які розповідали про великі теми простим, але зрозумілим способом.
Він також заявив, що Phi-3 побудований на основі того, чого навчилися попередні версії. Отже, у той час як Phi-1 зосереджувався на кодуванні, а Phi-2 — на міркуванні, Phi-3 кращий і в кодуванні, і в міркуванні.