Датасет · HuggingFaceTB
SFT-диалоги для маленьких языковых моделей
HuggingFaceTB/smol-smoltalk
Англоязычные диалоги для SFT моделей до 1B параметров, использованные в SmolLM2-Instruct.
Что внутри
Подмножество SmolTalk, адаптированное для моделей меньше 1B параметров. На нём делали SFT для SmolLM2-360M-Instruct и SmolLM2-135M-Instruct, а затем DPO на UltraFeedback. По сравнению с SmolTalk диалоги из Smol-Magpie-Ultra короче, меньше узкоспециальных задач — без function calling и с меньшим числом примеров переписывания и суммаризации. Язык — английский, объём — от 100 тыс. до 1 млн примеров.
Что можно сделать
- Обучить небольшую instruct-модель через SFT
- Дообучить LoRA для диалогов на английском
- Проверить качество instruction following у модели до 1B
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 13 тыс.
- Лайков
- 133
Модели, обученные на нём
- bartowski/Tralalabs_CHEETAH-350M-Merged-GGUFГенерация текста 1,9 тыс.
- opencerebral/Boris-1.3-75M-Instruct-GGUFГенерация текста 1,3 тыс.
- hudsongouge/nanochat-40MГенерация текста 1,3 тыс.
- DedeProGames/Kiyo-230M-InstructГенерация текста 1,3 тыс.
- HuggingFaceTB/nanowhale-100mГенерация текста 1,1 тыс.
- AxiomicLabs/GPT-X2.5-135MГенерация текста 1,1 тыс.
- nkthebass/tinybrainbot-100m-v5.1-instructГенерация текста 997
- DedeProGames/GPT-U-20M-InstructГенерация текста 965
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/smol-smoltalk")