Российская компания MWS AI (входит в «МТС Web Services») представила мультимодальную языковую модель Cotype Light 3, предназначенную для встраивания в ИИ-агентов для бизнеса. Модель одинаково точно работает с текстом и визуальными данными в едином контексте: договоры, технические чертежи, формы, изображения. Это позволяет ИИ-агентам обрабатывать разнородные корпоративные материалы без переключения между разными системами и самостоятельно решать многоэтапные задачи.
Cotype Light 3 содержит 9 миллиардов параметров. Модели такого размера на специализированных задачах работают сопоставимо с более крупными аналогами, но требуют значительно меньше ресурсов: работают на стандартном корпоративном оборудовании и быстрее обучаются под конкретную задачу. Для бизнеса это означает меньшие инфраструктурные затраты, возможность быстрого тестирования гипотез и сокращённый путь от пилота до рабочей системы.
По данным независимого бенчмарка MERA, Cotype Light 3 стала первой компактной моделью в топ-3 за всю историю рейтинга, набрав 0,792 балла из 1,0. Это лучше большинства моделей, работающих с русским языком, — в том числе тех, которые содержат 100 и более миллиардов параметров и требуют кратно больше вычислительных мощностей. В задачах на математику и «знания о мире» точность модели превышает 99%.
Модель на 9 миллиардов параметров в стандартной точности занимает около 18 гигабайт видеопамяти. Это позволяет запускать обработку на одном серверном ускорителе — без многокарточных конфигураций и специализированных кластеров. Для развёртывания подходит стандартное серверное оборудование с одним графическим процессором, включая отечественные программно-аппаратные комплексы.
Генеральный директор MWS AI Денис Филиппов отметил, что финансовый эффект от внедрения ИИ становится главным критерием для бизнеса, а стоимость обработки каждого запроса — одна из ключевых статей в экономике любого ИИ-проекта. Компактная специализированная модель здесь имеет двойное преимущество: она дешевле в эксплуатации и точнее работает в конкретной области, чем универсальная система с избыточным числом параметров.
Раньше считалось, что качество работы языковой модели напрямую зависит от её размера. Чем больше параметров, тем лучше результат, но и тем дороже эксплуатация. Cotype Light 3 демонстрирует, что это не всегда так: на русскоязычных задачах компактная модель обходит гигантов, требуя в разы меньше вычислительных ресурсов. Для банков и крупных корпораций это означает, что внедрение собственных ИИ-агентов перестаёт быть уделом единиц с безлимитными бюджетами. Теперь можно получить сопоставимое качество на стандартном оборудовании и с предсказуемыми операционными расходами. Вопрос в том, как быстро бизнес начнёт переходить с универсальных моделей на специализированные и насколько широкое распространение получит этот подход.
Источник: cnews.ru
Cotype Light 3 содержит 9 миллиардов параметров. Модели такого размера на специализированных задачах работают сопоставимо с более крупными аналогами, но требуют значительно меньше ресурсов: работают на стандартном корпоративном оборудовании и быстрее обучаются под конкретную задачу. Для бизнеса это означает меньшие инфраструктурные затраты, возможность быстрого тестирования гипотез и сокращённый путь от пилота до рабочей системы.
По данным независимого бенчмарка MERA, Cotype Light 3 стала первой компактной моделью в топ-3 за всю историю рейтинга, набрав 0,792 балла из 1,0. Это лучше большинства моделей, работающих с русским языком, — в том числе тех, которые содержат 100 и более миллиардов параметров и требуют кратно больше вычислительных мощностей. В задачах на математику и «знания о мире» точность модели превышает 99%.
Модель на 9 миллиардов параметров в стандартной точности занимает около 18 гигабайт видеопамяти. Это позволяет запускать обработку на одном серверном ускорителе — без многокарточных конфигураций и специализированных кластеров. Для развёртывания подходит стандартное серверное оборудование с одним графическим процессором, включая отечественные программно-аппаратные комплексы.
Генеральный директор MWS AI Денис Филиппов отметил, что финансовый эффект от внедрения ИИ становится главным критерием для бизнеса, а стоимость обработки каждого запроса — одна из ключевых статей в экономике любого ИИ-проекта. Компактная специализированная модель здесь имеет двойное преимущество: она дешевле в эксплуатации и точнее работает в конкретной области, чем универсальная система с избыточным числом параметров.
Раньше считалось, что качество работы языковой модели напрямую зависит от её размера. Чем больше параметров, тем лучше результат, но и тем дороже эксплуатация. Cotype Light 3 демонстрирует, что это не всегда так: на русскоязычных задачах компактная модель обходит гигантов, требуя в разы меньше вычислительных ресурсов. Для банков и крупных корпораций это означает, что внедрение собственных ИИ-агентов перестаёт быть уделом единиц с безлимитными бюджетами. Теперь можно получить сопоставимое качество на стандартном оборудовании и с предсказуемыми операционными расходами. Вопрос в том, как быстро бизнес начнёт переходить с универсальных моделей на специализированные и насколько широкое распространение получит этот подход.
Источник: cnews.ru
