Датасет · yentinglin
Тайваньский чат-корпус для языковой модели
yentinglin/TaiwanChat
Корпус китайскоязычных текстов для обучения и настройки Taiwan LLM.
Что внутри
Датасет содержит тексты на китайском языке объёмом от 100 тыс. до 1 млн строк. Он связан с проектом Taiwan LLM, описанным в статье «Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model». В карточке нет подробностей о составе, источнике и формате.
Что можно сделать
- Дообучить Taiwan LLM или другую китайскоязычную модель
- Настроить SFT чат-ассистента с культурной адаптацией
- Проверить генерацию на китайском языке
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 198
- Лайков
- 69
Модели, обученные на нём
- mradermacher/Taiwan-ELM-1_1B-Instruct-GGUF 166
- steven0226/llama-3.2-3b-taiwan-chat-cleanГенерация текста 34
- jslin09/gemma2-2b-it-twГенерация текста 30
- steven0226/llama-3.2-3b-taiwan-chatГенерация текста 26
- liswei/Taiwan-ELM-1_1B-InstructГенерация текста 21
- Qwe1325/gemma2-2b-it-tw-Q4_K_M-GGUFГенерация текста 12
- steven0226/llama-3.2-3b-taiwan-chat-clean-loraГенерация текста 10
- steven0226/llama-3.1-8b-taiwan-chatГенерация текста 9
Как загрузить
from datasets import load_dataset
ds = load_dataset("yentinglin/TaiwanChat")