par forkjoin-ai
Open source · 390 downloads · 0 likes
Le modèle Qwen2 Audio 7B Instruct est une version optimisée pour le déploiement local du modèle Qwen2-Audio-7B-Instruct, spécialement convertie au format GGUF pour une utilisation efficace sur des appareils edge. Il combine des capacités avancées de traitement du langage naturel avec une compréhension et une génération de contenu audio, permettant d'interagir vocalement ou textuellement avec une grande précision. Ses principaux cas d'usage incluent les assistants vocaux intelligents, la transcription et la génération de réponses en temps réel, ainsi que des applications nécessitant une faible latence comme les outils d'accessibilité ou les interfaces conversationnelles embarquées. Ce qui le distingue, c'est son équilibre entre performance et légèreté, conçu pour fonctionner sans dépendre du cloud tout en offrant une qualité comparable aux grands modèles centralisés.
Forkjoin.ai conversion of Qwen/Qwen2-Audio-7B-Instruct to GGUF format for edge deployment.
./llama-cli -m qwen2-audio-7b-instruct-gguf.gguf -p "Your prompt here" -n 256
Create a Modelfile:
FROM ./qwen2-audio-7b-instruct-gguf.gguf
ollama create qwen2-audio-7b-instruct-gguf -f Modelfile
ollama run qwen2-audio-7b-instruct-gguf
Forkjoin.ai runs AI models at the edge -- in-browser, on-device, zero cloud cost. These converted models power real-time inference, speech recognition, and natural language capabilities.
All conversions are optimized for edge deployment within browser and mobile memory constraints.
Apache 2.0 (follows upstream model license)