FLY-SFLY

FLY-SFLY от M1n1A1 — экспериментальная char-level языковая модель, где в роли замороженного рекуррентного ядра выступает коннектом центральной нервной системы самца дрозофилы MaleCNS v1.0. Архитектура зафиксирована на 5 000 нейронов и 524 324 реальных синапсах, обучение шло на Tiny Shakespeare со словарём на 65 символов.

🤔 Ключевые особенности

• 🤓 Необычная архитектура: 5 000 нейронов и 524 324 синапса из FlyWire, топология не меняется.
• 📝 Char-level LM: словарь из 65 символов, обучение на Tiny Shakespeare.
• 😱 FLY-MARK: 1.1524 nats/char — лучше FlyGPT baseline 1.5778; Claude Opus 5.5 дисквалифицирован «не муха».
• 😵‍💫 Аномалии: на промпт ROMEO: модель выдаёт «poldier» и придумывает «intertain».
• 🤔 Kafka alignment: попытка «объяснить» мухе, что она в GPU, провалилась — коннектом вернулся к елизаветинским галлюцинациям.

📝 Пример

import torch
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
    'MiniAI/FLY-SFLY',
    trust_remote_code=True,
    dtype=torch.float32
)
tokenizer_data = torch.load('tokenizer.pt', weights_only=False)

Подробнее

FLY-MARK: 1.1524 nats/char; FlyGPT baseline — 1.5778; scrambled control — 1.7443.
Железо: 1× RTX 4060 Ti (8GB), обучение на Tiny Shakespeare.
Нужен trust_remote_code=True и кастомный токенизатор из репозитория.
Ограничение: это не практичная LLM, а эксперимент с биологическим коннектомом; качество текста ограничено.