Mistral Integration Improved in Llama.cpp
- Добавлена поддержка моделей Mistral-Small-3.1-24B-Instruct-2503 и Mistral-Small-24B-Instruct-2501
- Улучшена работа с Mamba-2 и Sliding Window Attention
- Новые правила конвертации:
convert-hf-to-gguf.py
теперь корректно обрабатывает sliding_window
, mamba2
, attention_bias
, tie_word_embeddings
- Обновлён
llama_model_loader
и llama_model
: добавлены поля mamba2
и sliding_window
, упрощена логика KV-cache
- Поддержка
mamba2
в llama_context
и llama_decode
- Удалены устаревшие
llama_model
и llama_vocab
- Добавлены тесты
test-mistral.py
и test-mistral-vision.py