Alphabet-Sign-Language-Detection
распознавание дактилогического алфавита
1 мин чтенияобновлено
Модель предназначена для классификации изображений рук, показывающих буквы жестового языка (дактиль). Она создана на базе архитектуры SiglipForImageClassification (на основе базовой модели google/siglip2-base-patch16-224) и умеет распознавать все 26 букв английского алфавита от A до Z. Решение пригодится для разработки приложений по изучению жестового языка, учебных проектов и инструментов повышения доступности для людей с нарушениями слуха.
Ключевые особенности
- Точная классификация изображений на 26 категорий (буквы от A до Z).
- Построена на базе современной модели
google/siglip2-base-patch16-224. - Продемонстрировала высокую точность (accuracy 0.9996) на тестовом наборе данных.
- Интеграция с библиотекой
transformersдля быстрой работы.
Что можно сделать
- Создать интерактивное веб-приложение на Gradio для проверки жестов с веб-камеры.
- Использовать в обучающих платформах для помощи тем, кто учит дактилогический алфавит.
- Внедрить в приложения для улучшения доступности и перевода жестового языка.
Пример
import torch
from transformers import AutoImageProcessor, SiglipForImageClassification
from PIL import Image
model_name = "robertbschuette/Alphabet-Sign-Language-Detection"
model = SiglipForImageClassification.from_pretrained(model_name)
processor = AutoImageProcessor.from_pretrained(model_name)
image = Image.open("sign.jpg").convert("RGB")
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
logits = outputs.logits
predicted_class_idx = logits.argmax(-1).item()
print(f"Predicted class: {predicted_class_idx}")Подробнее
Базовая модель: google/siglip2-base-patch16-224Архитектура: SiglipForImageClassification (0.09B параметров)
Количество классов: 26 (буквы A–Z)
Метрики на тесте: accuracy 0.9996, macro avg f1-score 0.9995 (на 121,769 примерах)
Библиотека: transformers










Комментарии