Chrononauts 3B (cutoff 2024-07, init)
база для поисковых агентов, замороженная во времени
1 min readupdated
Репозиторий mattwang123 с init-чекпоинтом Chrononauts 3B для cutoff 2024-07. Это контекстно-расширенная базовая модель TiC-LM на 2,8 млрд параметров: контекст увеличен с 2k до 8k продолженным предобучением, far-retrieval SFT и повторным instruction-SFT с проверкой утечек — всё на данных до cutoff. Модель не обучена как агент; язык — английский.
Ключевые особенности
- Серия Chrononauts заморожена на 7 дат; здесь cutoff 2024-07: предобучение, посттренировка и retrieval-корпус не содержат более поздних событий.
- Для поиска предполагается time-locked корпус: английская Wikipedia на cutoff и CC-News до cutoff, эмбеддинги BAAI/bge-base-en-v1.5 и CPU faiss-индекс.
- Контекст до 8 192 токенов, RoPE base 48 000; для загрузки нужен trust_remote_code=True из-за QK-norm в TiC-LM/OpenLM.
- Это init, а не агент; рядом есть sibling-репозитории sft и agent для того же cutoff.
- Контроль утечек: три фильтра, включая LLM leak judge с проверкой planted facts — поймано минимум 36/40.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("mattwang123/chrononauts-3b-2024-07-init")
model = AutoModelForCausalLM.from_pretrained(
"mattwang123/chrononauts-3b-2024-07-init",
trust_remote_code=True,
torch_dtype="bfloat16"
)
Подробнее
Бенчмарков в карточке нет.Оценка агента: до 8 ходов, T=0.8, top-p 0.95.
Контекст — до 8 192 токенов, RoPE base 48 000.
Ограничение: init-чекпоинт не обучен как агент.
Статья готовится (Chrononauts, Johns Hopkins University и Apple).










Comments