К содержимому

Датасет · lianghsun

Юридический корпус Тайваня на традиционном китайском

lianghsun/tw-legal-oa-corpus

Более 33 тысяч открытых юридических статей и публикаций на традиционном китайском языке для дообучения языковых моделей.

Что внутри

Внутри собраны полные тексты бесплатных юридических журналов и публикаций Тайваня на традиционном китайском языке, разбитые по сабсетам под каждое издание. Корпус насчитывает 33 358 документов (около 521,7 млн токенов по cl100k_base), собранных по списку открытых ресурсов Фонда судебной реформы. Схема из 19 полей полностью совпадает с датасетом fineweb-edu-zhtw, что позволяет легко объединять их при обучении.

Что можно сделать

  • Continued pretraining базовых LLM на традиционном китайском языке
  • Адаптация языковых моделей под юридическую тематику и право Тайваня
  • Создание специализированных поисковых и справочных систем по праву
Задачи
Генерация текста
Языки
Китайский
Размер
10K–100K записей
Скачиваний за месяц
33,7 тыс.
Лайков
0
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("lianghsun/tw-legal-oa-corpus")