Il est possible de distinguer deux types de données pouvant causer des problèmes à un classifieur : les données ambiguës et les données aberrantes. Or, les algorithmes de classification peuvent être séparés en deux grandes catégories. Les approches agissant par séparation ont pour objectif de minimiser le premier type d'erreur, mais ne permettent pas de rejeter efficacement le deuxième type de données. Par contre, les approches agissant par modélisation sont adaptées à ce type de rejet, mais s'avèrent généralement peu discriminantes. Dans cet article nous proposons donc de combiner approche par modélisation et machine à vecteurs de support (SVM) au sein d'un système de classification à deux niveaux de décision. En outre, cette combinaison présente l'avantage de réduire la complexité de calcul associée à la prise de décision des SVM. Ainsi, nos expériences sur la base MNIST montrent qu'il est possible de maintenir les performances associées aux SVM, tout en réduisant significativement la complexité et en rendant possible la détection de données aberrantes.