0xr4j/banksathi-gemma2-2b
банковский офлайн-ассистент
2 мин чтенияобновлено
Модель BankSathi · Gemma-2 2B представляет собой легковесную языковую модель на базе google/gemma-2-2b-it, обученную с помощью QLoRA (эффективный метод дообучения) для помощи жителям сельской местности с банковскими операциями и защиты от мошенников. Ассистент работает прямо на Android-устройстве без интернета, понимает смешанный язык (Hinglish, английский и хинди), устойчив к ошибкам распознавания речи и выдает строго структурированный JSON-ответ для интеграции в приложения. Модель ориентирована на пользователей банковских услуг, которым нужен быстрый офлайн-консультант по лимитам, переводам и проверке подозрительных звонков.
Ключевые особенности
- Офлайн-работа на телефоне: Сконвертированная модель для Android весит 1.67 ГБ и работает на CPU.
- Защита от скама: Встроенный классификатор ScamGuard для выявления мошеннических SMS и звонков.
- Многоязычность: Поддержка английского, хинди (деванагари) и разговорного Hinglish.
- Высокая точность: 100% зафиксированный резы по ScamGuard и 98.5% точности определения намерений.
Что можно сделать
- Запустить на смартфоне: Интегрировать модель в Android-приложение с помощью MediaPipe LLM Inference.
- Обрабатывать запросы: Использовать для проверки банковских лимитов, выдачи кредитов KCC и анализа подозрительных звонков.
- Запустить через Python: Загрузить LoRA-адаптер с помощью библиотеки
peftдля интеграции в серверные пайплайны.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("google/gemma-2-2b-it")
base = AutoModelForCausalLM.from_pretrained("google/gemma-2-2b-it", attn_implementation="eager")
model = PeftModel.from_pretrained(base, "0xr4j/banksathi-gemma2-2b").merge_and_unload()
Подробнее
Параметры: 2.6 млрд (размер адаптера LoRA: 83 МБ)Требования к VRAM: 8.0 ГБ (обучение на бесплатном T4 за 70 минут)
Датасет: 1,500 синтетических строк (без реальных данных пользователей)
Ограничения: Требуется жесткий JSON-формат и детерминированный фоллбэк в приложении










Комментарии