Мы работаем для Вас!

12.дек.2023

Mixtral 8x7B – Sparse Mixture of Experts от Mistral AI

11 декабря 2023 года Mistral AI, парижский ai-стартап, основанный 7 месяцев назад, выпустил новую модель Mixtral 8x7B – high-quality sparse mixture of experts model (SMoE). Многие считают модели Mistral AI самыми крутыми из открытых llm-ок, я тоже так считаю, поэтому интерес к новой модели есть большой. В этой статье я хочу коротко пробежаться по тому, как устроена новая модель и какие у её архитектуры преимущества. На некоторых технических моментах я буду останавливаться более подробно, на некоторых – менее. Читать далее
Название: Mixtral 8x7B – Sparse Mixture of Experts от Mistral AI
Ссылка на источник:  https://habr.com/ru/articles/780204/?utm_source=habrahabr&utm_medium=rss&utm_campaign=780204