Inférence en périphérie du réseau (edge)
Placer de petits modèles quantifiés près de l'utilisateur pour la latence et la souveraineté des données, sur des sites aux ressources limitées.
Dans la roadmap
Ressources
- Open Platform for Enterprise AI (OPEA)
Référence open source