Датасет · lianghsun
Юридический корпус Тайваня на традиционном китайском
lianghsun/tw-legal-oa-corpus
Более 33 тысяч открытых юридических статей и публикаций на традиционном китайском языке для дообучения языковых моделей.
Что внутри
Внутри собраны полные тексты бесплатных юридических журналов и публикаций Тайваня на традиционном китайском языке, разбитые по сабсетам под каждое издание. Корпус насчитывает 33 358 документов (около 521,7 млн токенов по cl100k_base), собранных по списку открытых ресурсов Фонда судебной реформы. Схема из 19 полей полностью совпадает с датасетом fineweb-edu-zhtw, что позволяет легко объединять их при обучении.
Что можно сделать
- Continued pretraining базовых LLM на традиционном китайском языке
- Адаптация языковых моделей под юридическую тематику и право Тайваня
- Создание специализированных поисковых и справочных систем по праву
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 33,7 тыс.
- Лайков
- 0
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("lianghsun/tw-legal-oa-corpus")