Новая модель PLLuM помогает составлять официальные письма для администрации
Консорциум HIVE AI опубликовал новую языковую модель PLLuM, пишет ITwiz.
За HIVE AI стоят многочисленные польские научные центры и учреждения во главе с NASK PIB. Консорциум разрабатывает новые польскоязычные языковые модели PLLuM и внедряет их в органы публичной администрации. Уже скоро к числу пользователей моделей PLLuM должны присоединиться крупные польские города.
Первым публично доступным результатом работы консорциума стала языковая модель PLLuM-12B-nc-250715. Она представляет собой существенное усиление семейства польскоязычных моделей PLLuM.
Модель была обновлена и оптимизирована для целого спектра применений, в том числе для задач публичной администрации.
Напомним, что это за модель
Модель PLLuM-12B-nc была опубликована в феврале 2025 года. Она «хорошо проявила себя в различных применениях, однако из-за не полностью оптимального обучающего набора её возможности были использованы лишь частично».
Новая версия — PLLuM-12B-nc-250715 — была обучена на значительно лучше подготовленном наборе данных, в том числе с домена gov.pl и Научной библиотеки, и адаптирована под новые задачи, включая административные.
Среди прочего, модель умеет составлять официальные е-мейлы и заявления, и лучше форматирует ответы.
Как подчёркивает д-р Agnieszka Karlińska из NASK PIB, руководитель проекта HIVE AI, данные собираются с соблюдением польского и европейского законодательства
Три версии
Модель PLLuM-12B-nc-250715 была выпущена в трёх вариантах:
- base — базовая версия, которая прошла полную языковую адаптацию на польскоязычном наборе данных, насчитывающем около 140 миллиардов слов. Это основа, на которой были построены следующие версии модели;
- instruct — версия, настроенная на выполнение различных задач на польском языке. Это значит, что модель обучалась на парах запросов и примерных ответов, что облегчает понимание намерений пользователя.
- chat — наиболее продвинутая версия, прошедшая дополнительное «воспитание». Помимо языковой адаптации и настройки на инструкции, она была дополнительно защищена и адаптирована к ожиданиям пользователей. Основана на наборах запросов и оценённых человеком ответов (лучшими или худшими), что позволяет ей точнее и безопаснее вести диалог.
«С самого начала мы придерживались мнения, что массовое копирование готовых моделей ИИ, так называемых сильных LLM'ов, связано с целым рядом угроз. Поэтому мы разрабатываем методологию контролируемой генерации синтетических данных — то есть таких, которые создаются с участием других моделей, но проверяются и утверждаются людьми. Первые результаты этой методологии были использованы при настройке новых моделей 12B», — добавляет д-р Piotr Pęzik, профессор Лодзинского университета, операционный руководитель проекта HIVE AI..
Авторы утверждают, что благодаря этому модель лучше понимает польский культурный контекст и отвечает точнее, генерируя меньше лишних или случайных слов.
Кроме того, по сравнению с предыдущей версией она получила дополнительные меры защиты. Тесты на уязвимости показали, что эффективность prompt-атак удалось снизить до 2–3 случаев на 100 попыток.
Где посмотреть и попробовать
Все версии PLLuM-12B-nc-250715 доступны на HuggingFace после заполнения формы. Разговорную версию уже можно тестировать в PLLuM chat.
Однако модели PLLuM пока не интегрированы с интернет-поиском и не должны использоваться для поиска актуальной информации.
В ближайшие недели консорциум анонсирует публикацию следующих результатов проекта.
«Уже скоро мы представим второй продукт из семейства PLLuM: прототип одноходового ассистента — гражданского чат-бота, разработанного ещё в прошлом году. Он послужит нам для сбора prompt'ов с целью внедрения моделей PLLuM в приложение mObywatel. К тому же — нечто особо ценное для исследователей и разработчиков моделей: поднаборы инструкций и предпочтений с подробным описанием методологии их создания», — добавляет д-р Agnieszka Karlińska.
