GGML

GGML est une bibliothèque de tenseurs pour l'apprentissage automatique conçue pour faciliter l'utilisation de modèles de grande taille et offrir une haute performance sur du matériel grand public. Écrit en langage C, GGML offre des fonctionnalités diverses telles que le support de flottants 16 bits, le support de la quantification d'entiers (par exemple, 4 bits, 5 bits, 8 bits), la différenciation automatique, des algorithmes d'optimisation intégrés (par exemple, ADAM, L-BFGS), et est optimisé pour le Silicon d'Apple.

Pourquoi est-ce important ?

La bibliothèque GGML est importante car elle permet une utilisation plus efficace des ressources matérielles disponibles et facilite le développement et le déploiement de modèles d'apprentissage automatique de grande taille. Grâce à sa conception, GGML peut offrir une performance optimale sur du matériel courant comme le Silicon d'Apple et sur des architectures x86 via les intrinsèques AVX / AVX2.

Comment est-ce utilisé en 2023 ?

En 2023, GGML est utilisé dans diverses applications d'apprentissage automatique, y compris dans des programmes tels que llama.cpp et whisper.cpp. Son support pour WebAssembly et WASM SIMD permet également de l'utiliser pour le développement d'applications web basées sur l'apprentissage automatique. En outre, la capacité de GGML à éviter les allocations mémoire pendant l'exécution et à fournir un support pour la sortie de langage guidée rend cette bibliothèque particulièrement utile pour les tâches d'apprentissage automatique exigeantes en ressources et de grande envergure.