par michaelfeil
Open source · 43k downloads · 3 likes
Le modèle "bge small en v1.5" est une version optimisée pour la génération d'embeddings en anglais, conçue pour transformer des textes en représentations vectorielles denses et exploitables par des systèmes d'IA. Il excelle dans des tâches comme la recherche sémantique, la classification de documents ou la comparaison de similarités entre textes, offrant une alternative légère et performante aux modèles plus lourds. Ses principaux atouts résident dans sa rapidité d'exécution et son efficacité, tout en maintenant une bonne qualité de résultats, ce qui le rend idéal pour des applications nécessitant des embeddings à grande échelle ou en temps réel. Ce modèle se distingue par sa compatibilité avec des frameworks comme PyTorch ou ONNX, permettant une intégration flexible selon l'infrastructure disponible. Il s'adresse particulièrement aux développeurs cherchant une solution simple et robuste pour enrichir leurs pipelines de traitement automatique du langage avec des embeddings de haute qualité.
This is the stable default model for infinity.
pip install infinity_emb[all]
More details about the infinity inference project please refer to the Github: Infinity.
To deploy files with the infinity_emb pip package.
Recommended is device="cuda", engine="torch" with flash attention on gpu, and device="cpu", engine="optimum" for onnx inference.
import asyncio
from infinity_emb import AsyncEmbeddingEngine, EngineArgs
sentences = ["Embed this is sentence via Infinity.", "Paris is in France."]
engine = AsyncEmbeddingEngine.from_args(
EngineArgs(
model_name_or_path = "michaelfeil/bge-small-en-v1.5",
device="cuda",
# or device="cpu"
engine="torch",
# or engine="optimum"
compile=True # enable torch.compile
))
async def main():
async with engine:
embeddings, usage = await engine.embed(sentences=sentences)
asyncio.run(main())
The same args
pip install infinity_emb
infinity_emb --model-name-or-path michaelfeil/bge-small-en-v1.5 --port 7997
If you have any question or suggestion related to this project, feel free to open an issue or pull request. You also can email Michael Feil (infinity at michaelfeil.eu).
If you find this repository useful, please consider giving a star :star: and citation
@software{Feil_Infinity_2023,
author = {Feil, Michael},
month = oct,
title = {{Infinity - To Embeddings and Beyond}},
url = {https://github.com/michaelfeil/infinity},
year = {2023}
}
Infinity is licensed under the MIT License.