par ggml-org
Open source · 47k downloads · 15 likes
L’embeddinggemma 300m qat q8 0 GGUF est un modèle d’embeddings optimisé pour transformer du texte en vecteurs numériques denses, facilitant ainsi les tâches de recherche sémantique, de classification ou de clustering. Grâce à sa taille compacte et son format GGUF, il offre un excellent compromis entre performance et efficacité, idéal pour des déploiements locaux ou embarqués. Ses capacités principales incluent la génération d’embeddings normalisables selon différentes normes (L2, L1, etc.), permettant une adaptation fine aux besoins spécifiques des applications. Ce modèle se distingue par sa précision et sa rapidité, même sur des configurations matérielles modestes, tout en restant accessible via des outils simples comme un serveur local ou une interface en ligne de commande. Il convient particulièrement aux développeurs cherchant à intégrer des fonctionnalités de compréhension contextuelle dans des systèmes intelligents sans recourir à des ressources cloud coûteuses.
Recommended way to run this model:
llama-server -hf ggml-org/embeddinggemma-300m-qat-q8_0-GGUF --embeddings
Then the endpoint can be accessed at http://localhost:8080/embedding, for
example using curl:
curl --request POST \
--url http://localhost:8080/embedding \
--header "Content-Type: application/json" \
--data '{"input": "Hello embeddings"}' \
--silent
Alternatively, the llama-embedding command line tool can be used:
llama-embedding -hf ggml-org/embeddinggemma-300m-qat-q8_0-GGUF --verbose-prompt -p "Hello embeddings"
When a model uses pooling, or the pooling method is specified using --pooling,
the normalization can be controlled by the embd_normalize parameter.
The default value is 2 which means that the embeddings are normalized using
the Euclidean norm (L2). Other options are:
This can be passed in the request body to llama-server, for example:
--data '{"input": "Hello embeddings", "embd_normalize": -1}' \
And for llama-embedding, by passing --embd-normalize <value>, for example:
llama-embedding -hf ggml-org/embeddinggemma-300m-qat-q8_0-GGUF --embd-normalize -1 -p "Hello embeddings"