Microsoft показала новый фреймворк который в теории позволит запускать модели на CPU, но моделей под этот формат пока нет – полноценная конвертация моделей невозможна, нужно тренить с нуля под архитектуру bitnet
Пока есть 3 модели под bitnet всего – ссылки чтобы их сразу запустить:
https://papeg.ai?ai=bitnet2
https://papeg.ai?ai=bitnet3
https://papeg.ai?ai=bitnet_llama3_8b
Новый фреймворк тут, я напишу если что-то хорошее выйдет:
https://github.com/microsoft/BitNet
Бэкдор – это спидинфо, но про IT