Movie Review Generator
GPT-2 для генерации кинорецензий
1 min read
Это файнтюн openai-community/gpt2 (0.12B, decoder-only Transformer) от ullahhafeez321 для text-generation на английском. Модель дообучена на подмножестве IMDb Movie Reviews и продолжает промпт в стиле кинорецензии. Это учебный проект, а не классификатор тональности.
Ключевые особенности
- Обучение на 8 000 примеров IMDb, оценка на 1 000; использовался только текст отзывов без меток sentiment.
- Causal LM: модель предсказывает следующий токен и продолжает заданный текст.
- Промпт-префикс
Movie review:задаёт формат генерации. - Запуск через Hugging Face Transformers и PyTorch:
AutoTokenizer+AutoModelForCausalLM. - Не instruction-tuned: возможны повторы, грамматические ошибки и Bias из обучающих данных.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'ullahhafeez321/movie-review-generator-gpt2'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
inputs = tok('Movie review:', return_tensors='pt')
out = model.generate(**inputs, max_new_tokens=150, do_sample=True)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Обучение: 3 эпохи, max sequence length 256, effective batch size 16, learning rate 3e-5.Оценка: evaluation loss и perplexity на 1 000 примеров; конкретные значения в карточке не опубликованы.
Ограничения: выбранное подмножество IMDb, возможны повторы, ошибки и Bias из данных.
VRAM/железо в карточке не указаны; модель малая — 0.12B параметров.










Comments