Stretch32K PI (TinyLlama 1.1B)
расширение контекста в 8 раз
2 min readupdated
Экспериментальная языковая модель от автора AmareshHebbar, которая увеличивает рабочее окно контекста компактной TinyLlama/TinyLlama_v1.1 (1.1B параметров) с исходных 2048 до 16384 токенов. Для этого применили метод Position Interpolation (линейное сжатие позиционных индексов в 8 раз, чтобы длинные тексты укладывались в привычный модели диапазон) с полным дообучением на длинных книгах из датасета PG19 на одной видеокарте. В отличие от базовой модели без масштабирования, которая «ломается» за пределами 2048 токенов, эта версия сохраняет стабильную генерацию по всей длине окна. Подойдёт исследователям и разработчикам, которым нужна сверхлёгкая базовая модель (не чат-версия) для работы с длинными документами или сравнения методов масштабирования контекста.
Ключевые особенности
- Контекстное окно увеличено в 8 раз — с 2048 до 16384 токенов, настройки RoPE scaling уже зашиты в
config.json. - Обучена на одной GPU с оптимизациями памяти: PyTorch FlashAttention, gradient checkpointing, chunked loss по словарю и упаковка последовательностей без паддинга.
- Полнопараметрический файнтюн (150 шагов) на фрагментах книг из датасета PG19 (опубликован автором отдельно).
- Совместима из коробки с библиотеками
transformersиvLLMбез ручной настройки параметров масштабирования.
Что можно сделать
- Запускать локальную суммаризацию или продолжение длинных англоязычных документов и книг объёмом до ~16K токенов за один проход.
- Сравнить качество Position Interpolation с другими методами растяжения контекста (YaRN, NTK) на одной и той же базе из коллекции Stretch32K.
- Использовать как базовый чекпоинт для дальнейшего SFT (инструктивного дообучения) под свои задачи, требующие большого контекста при минимальном размере модели.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("AmareshHebbar/Stretch32K_TinyLlama_1.1B_PI")
model = AutoModelForCausalLM.from_pretrained("AmareshHebbar/Stretch32K_TinyLlama_1.1B_PI", torch_dtype="bfloat16", attn_implementation="sdpa").cuda()
text = open("long_document.txt").read()
ids = tok(text + "\n\nSummary:", return_tensors="pt").input_ids[:, -16128:].cuda()
out = model.generate(ids, max_new_tokens=200, do_sample=False)
print(tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True))
Подробнее
Метрики: Perplexity на 16384 токенах снизилась с 3721.80 (база без скейлинга) до 16.91; LongAlpaca answer NLL — 2.222.Ограничения: это базовая модель, а не чат-модель; на синтетических тестах поиска иголки в стоге сена (Passkey, Needle, RULER) показала 0.0%.
Обучение: 150 шагов, seq_len 16384, lr 2e-5, stretch_factor 8.0, линейный RoPE scaling (theta 10000.0).










Comments