Spark-X2.6-1.7B
компактная языковая модель с управляемым бюджетом мышления
2 мин чтенияобновлено
Модель от команды XHToken создана для эффективного запуска на локальном оборудовании и мобильных устройствах. Она базируется на архитектуре предшественницы Spark-X2.5-1.7B и улучшает качество генерации за счёт дообучения (post-training). Новинка демонстрирует сильные результаты в программировании, сложных многошаговых задачах и работе с длинным контекстом. Главная особенность — настраиваемые уровни рассуждения (thinking levels), которые позволяют гибко управлять скоростью ответов и расходом ресурсов.
Ключевые особенности
- Улучшенное программирование и агенты: более точное выполнение сложных инструкций, софт-инженерия и продвинутый тул-юз (tool use).
- Высокая скорость на устройстве: высокая скорость генерации токенов среди открытых моделей аналогичного размера.
- Управляемый бюджет мышления: три уровня работы (none, low, high) для баланса между качеством рассуждений и задержкой.
- Длинный контекст: эффективная обработка больших объемов информации в реальных сценариях.
Что можно сделать
- Локальный ассистент: запустить модель локально через SGLang, vLLM или llama.cpp для конфиденциальных задач.
- Интеграция со средами разработки: использовать возможности агента и генерации кода в локальных инструментах.
- Инференс на железе: развернуть языковую модель на потребительских видеокартах или локальных серверах с поддержкой аппаратного ускорения.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XHToken/Spark-X2.6-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
torch_dtype="auto",
device_map="auto",
)
messages = [{"role": "user", "content": "What is the capital of Anhui Province?"}]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
enable_thinking=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=131072, do_sample=True)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
Подробнее
Архитектура: 1.71 млрд параметров (1.7B).Особенности обучения: сохраняет архитектуру Spark-X2.5-1.7B, улучшая возможности через post-training.
Гибкость режимов: переключение с high на low снижает среднюю длину вывода на 37.3%.
Интеграция: поддержка Transformers, SGLang, vLLM, MLX, llama.cpp и Ollama.










Комментарии