MIST-QG-1.0
компактная модель на 324 языка для генерации вопросов к текстам
3 min readupdated
MIST-QG-1.0 от команды Olaverse читает фрагмент текста и формулирует вопросы своими словами, ответы на которые содержатся в этом отрывке. Это полный файнтюн (дообучение всех весов) модели Qwen3.5-4B-Base размером 4.54B параметров, созданный для генерации обучающих пар «вопрос — текст» под эмбеддеры и реранкеры (модели поиска и переранжирования). Поддерживается 324 языка с акцентом на африканские языки, а вопросы можно генерировать как на языке оригинала, так и на английском или французском. Благодаря компактному размеру модель заменяет тяжелые LLM при массовой разметке датасетов и обходит Llama 3.3 70B в кросс-языковом режиме.
Ключевые особенности
- Перефразирование вместо копирования: при обучении удалили примеры с прямым копированием предложений, поэтому модель копирует текст лишь в 7.5% случаев (на африканских языках — 9.1% против 12.5% у Llama 3.3 70B).
- Сильный кросс-языковой режим: при генерации вопросов на английском по текстам на хауса, оромо или малагасийском в 99.7% случаев ответ возвращается на нужном языке, а доля пригодных вопросов достигает 76.8% против 67.6% у Llama 3.3 70B и 64.3% у Gemma 4 31B.
- Работа на одной GPU: благодаря объёму в 4B параметров модель запускается через
vLLMна одной видеокарте, что позволяет дешево обрабатывать миллионы фрагментов текста.
Что можно сделать
- Собрать датасет для RAG и поиска: прогнать базу документов на разных языках и получить пары «запрос — документ» для обучения собственных моделей поиска (embedders) и реранкеров.
- Настроить кросс-языковой поиск: сгенерировать англоязычные или франкоязычные вопросы к текстам на редких языках для обучения мультиязычных поисковых систем.
- Автоматизировать создание FAQ: извлекать естественные вопросы из статей и справочников без привязки к дословным формулировкам исходника.
Пример
from vllm import LLM, SamplingParams
PROMPT = ("Passage ({lang}):\n{passage}\n\n"
"Questions in {qlang} that this passage answers, in your own words:\n")
llm = LLM(model="olaverse/MIST-QG-1.0", max_model_len=4096)
params = SamplingParams(max_tokens=256, temperature=0.3, top_p=0.9, stop=["\n\n"])
passage = "Ọjà Ọ̀jọ̀ jẹ́ ọjà ìbílẹ̀ tó gbajúmọ̀ ní ìlú Ìbàdàn..."
prompts = [PROMPT.format(lang="Yoruba", qlang="Yoruba", passage=passage),
PROMPT.format(lang="Yoruba", qlang="English", passage=passage)]
for out in llm.generate(prompts, params):
questions = [l[2:].strip() for l in out.outputs[0].text.split("\n") if l.startswith("- ")]
print(questions)Подробнее
Метрики пригодности вопросов (Usable share): 0.768 в кросс-языковом тесте (против 0.676 у Llama 3.3 70B и 0.643 у Gemma 4 31B), 0.445 по всем языкам, 0.363 на африканских.Обучение: 2 этапа на одной A100 80 GB в
bf16 (991 тыс. текстов на 324 языках + 36.5 тыс. кросс-языковых пар), длина контекста при обучении до 1024 токенов.Ограничения: генерирует только вопросы (без ответов); в кросс-языковом режиме выдает 1 вопрос за проход (нужно семплировать несколько раз) и обучена только в направлении «редкий/африканский язык → английский или французский».
Важно: хотя база
Qwen3.5 является VLM, эта модель использует только текстовую часть (в transformers загружается через AutoModelForImageTextToText). Лицензия: Apache-2.0.









Comments