Têtu-2
маленькая французская LLM с «головой сомнения»
2 min readupdated
Têtu-2 — независимая исследовательская LLM (языковая модель), обученная с нуля без весов других моделей. В ней 702M параметров, но на вычисление каждого следующего слова идёт только 115M: остальное — большая память, которую модель читает почти бесплатно. Она работает в первую очередь с французским, затем с английским, держит контекст до 32 768 токенов и умеет показывать, насколько уверена в каждом слове. Ещё при генерации арифметики встроенный калькулятор подставляет точный результат. Это не надёжный ассистент: модель маленькая и часто ошибается.
Ключевые особенности
- «Голова сомнения» оценивает вероятность ошибки для каждого слова; чат-скрипт красит слова в зелёный, жёлтый или красный.
- Встроенный калькулятор: когда модель пишет «48 + 27 + 66 =», точный ответ вставляется автоматически.
- Из 702M параметров только 115M участвуют в вычислениях на каждом шаге — остальное работает как дешёвая память.
- Контекст 32 768 токенов, словарь 32 768 токенов; цифры разбиты по одной.
- Около 275 токенов/с на RTX 5070 — примерно вдвое быстрее предыдущей Têtu v1.
Что можно сделать
- Поиграть с визуализацией сомнения: запустить
chat.pyи смотреть, где модель уверена, а где нет. - Взять
base/для генерации французского текста или собственного файнтюна. - Проверить калькулятор на примерах арифметики и сравнить с ответами без него через
--no-calc. - Исследовать необычную архитектуру на потребительской GPU: есть режим
--cpuи загрузка вfloat32.
Пример
import torch
from tetu2.generate import Generator, load
model, tok = load("base", device="cuda")
gen = Generator(model, tok)
for piece, doubt in gen.stream("La capitale de la France est", max_new=40, temp=0):
print(piece, end="")
Подробнее
MGSM-fr: 5,6% у chat v2.1 — выше SmolLM2-135M (1,6%), но ниже Qwen2.5-0.5B (17,2%).Парный судья Qwen2.5-14B: v2.1 выиграла 189 из 250 против Têtu v1.1 и 156 из 250 против v2.0.
Слабости: выдумывает факты, путает единицы и иногда «я»/«ты»; английский чат почти не тренирован, код — не её задача.
Лицензия CC BY-NC 4.0 — только некоммерческое использование.










Comments