par warshanks
Open source · 129k downloads · 3 likes
Jan nano AWQ est un modèle de langage compact de 4 milliards de paramètres spécialement conçu pour les tâches de recherche approfondie. Optimisé pour fonctionner avec les serveurs MCP, il se distingue par son intégration native avec divers outils et sources de données, ce qui améliore son efficacité dans des environnements de recherche augmentée. Bien que présenté comme un modèle "non pensant", il démontre des performances solides sur des benchmarks comme SimpleQA, notamment grâce à sa capacité à exploiter des outils externes via le protocole MCP. Ses principaux cas d'usage incluent l'analyse de données, la synthèse d'informations et l'assistance à la recherche, le tout avec une approche axée sur la précision et l'autonomie. Ce qui le différencie, c'est son équilibre entre légèreté et efficacité, offrant une solution performante pour des applications locales et privées.
Note: Jan-Nano is a non-thinking model.
Authors: Alan Dao, Bach Vu Dinh
Jan-Nano is a compact 4-billion parameter language model specifically designed and trained for deep research tasks. This model has been optimized to work seamlessly with Model Context Protocol (MCP) servers, enabling efficient integration with various research tools and data sources.
Jan-Nano has been evaluated on the SimpleQA benchmark using our MCP-based benchmark methodology, demonstrating strong performance for its model size:
The evaluation was conducted using our MCP-based benchmark approach, which assesses the model's performance on SimpleQA tasks while leveraging its native MCP server integration capabilities. This methodology better reflects Jan-Nano's real-world performance as a tool-augmented research model, validating both its factual accuracy and its effectiveness in MCP-enabled environments.
Jan-Nano is currently supported by Jan, an open-source ChatGPT alternative that runs entirely on your computer. Jan provides a user-friendly interface for running local AI models with full privacy and control.
For non-jan app or tutorials there are guidance inside community section, please check those out! Discussion
Here is an example command you can use to run vllm with Jan-nano
vllm serve Menlo/Jan-nano --host 0.0.0.0 --port 1234 --enable-auto-tool-choice --tool-call-parser hermes --chat-template ./qwen3_nonthinking.jinja
Chat-template is already included in tokenizer so chat-template is optional, but in case it has issue you can download the template here Non-think chat template
@misc{dao2025jannanotechnicalreport,
title={Jan-nano Technical Report},
author={Alan Dao and Dinh Bach Vu},
year={2025},
eprint={2506.22760},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2506.22760},
}