Датасет · CausalLM
Аниме-тексты для continual pretraining
CausalLM/Refined-Anime-Text
Синтетические аниме-тексты на английском и китайском: более 1 млн записей, около 440 млн токенов GPT-4/3.5.
Что внутри
Подмножество нового синтетического датасета аниме-текстов, более 1 млн записей и около 440 млн токенов GPT-4/3.5. Тексты на английском и китайском; авторы отмечают, что аниме-культура недопредставлена в общих датасетах, а сырой интернет-текст низкого качества из-за сленга и нерелевантного контента. Ранее датасет публично не выпускался; это подмножество выпущено из-за интереса сообщества. Объём — от 1 до 10 млн записей.
Что можно сделать
- Continual pretraining языковой модели на аниме-текстах
- Дообучить LoRA для генерации в аниме-стиле
- Проверить качество генерации на англо-китайских текстах
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 62
- Лайков
- 274
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("CausalLM/Refined-Anime-Text")