Proof of Quality fait évoluer les processus d’évaluation de l’IA
Résumé
Sapien présente Proof of Quality, un processus qui réunit plusieurs évaluateurs d’IA afin que les équipes puissent comparer les scores, les raisonnements, les accords et les désaccords. Cela permet de tester des évaluations à grande échelle tout en réservant l’attention des experts aux cas ambigus et à forts enjeux.
Les systèmes d’IA peuvent générer des milliers de résultats avant qu’une équipe ait le temps d’en examiner ne serait-ce qu’une fraction. Lorsqu’on confie cette tâche à l’IA, l’une des principales difficultés consiste à déterminer le degré de confiance à accorder à un jugement unique.
Proof of Quality permet d’intégrer plusieurs évaluateurs d’IA dans un même processus, afin que les équipes puissent comparer les scores, les raisonnements, les accords et les désaccords. Elles peuvent ainsi tester plus rapidement des processus d’évaluation à grande échelle, tout en concentrant l’attention des experts sur les cas ambigus et à forts enjeux.
En savoir plus : https://www.sapien.io/blog/proof-of-quality-works-with-ai-and-human-validators
