Микроядро локального векторного инференса на Edge-устройствах без контейнерного оверхеда. Высокопроизводительная альтернатива тяжелым ИИ-контейнерам на базе NumPy + Numba JIT (LLVM SIMD float32). Поддерживает паттерн fused single-pass, режим nogil=True для параллельной утилизации ЦП и IPC через np.memmap. Скорость косинусного выравнивания: 18.2 мкс
high-performance low-latency edge-ai nogil fused-kernel numba-jit simd-optimization numpy-memmap python-inference vector-inference
-
Updated
Sep 26, 2026 - Python