Комментарии 5
На этом можно крутить нейронки 16+ ГБ с нормальной производительностью?
Прямо сейчас тестирую Radxa q8b с 16гб.
Ситуация сложная, под встроенный NPU оберток типа llamacpp нет (кстати для Rk3588 есть форк rk-llama) да и мало какие модели пока адаптированы под этот нпу. Есть готовые конвертированные модели. Та же qwen2.5 0.5b выдает 24токена на генерации и 93мс до первого токена, что очень неплохо особенно учитывая что плата в это время потребляет ватт 20. Но все еще не уровень даже бюджетных современных видеокарт. При этом Radxa q8b наверное самая производительная из всех представленных в статье.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
5 новых одноплатников лета 2026 года: x86, Snapdragon и сменные процессоры