New Sapien Task: Multi-Choice Error Review

Краткое содержание

The Sapien community has launched a new task called "Multi-Choice Assistant Error Review." In this task, users will evaluate pre-annotated errors, confirm if the classification is correct, and rate their confidence level across three difficulty settings. This provides new work for Sapiens, ensuring there is sufficient data available to complete over the holidays.

Hey there, Sapiens! 🚀

Just spoke to Santa and he brought us a new task! Get ready for Multi-Choice Assistant Error Review!

In this task you will assess annotated errors, judge whether the error has been classified properly, and rate your confidence.

There’s three difficulty levels!

We will also ensure that there will be enough data to work through across the holidays!

Happy tasking! https://app.sapien.io/t/dashboard

Discord sent us an expired image link.

View on Discord

12 views

Последнее от Sapien

Челлендж Sapien PoQ: выиграйте Tesla или 25 000 $

Sapien приглашает американские команды по робототехнике и ИИ представить сложный набор данных и определить критерии оценки для челленджа Proof of Quality. Пять команд будут соревноваться …

Proof of Quality позволяет масштабировать процессы оценки ИИ

Sapien представляет Proof of Quality — рабочий процесс, объединяющий нескольких ИИ-рецензентов, чтобы команды могли сравнивать оценки, аргументацию, совпадения и расхождения. Это помогает проверять оценивание в …

Подтверждение качества для городского интеллекта

Sapien рассказывает о ключевой проблеме городского интеллекта: ИИ может собирать огромные объёмы данных с датчиков, но решения по-прежнему зависят от суждений небольшого числа экспертов. В …

Ускорьте обучение роботов с Proof of Quality

Sapien объясняет, как очередь проверки влияет на темпы переобучения. Мы представляем Proof of Quality для оценки эпизодов по экспертным стандартам, чтобы знать, когда данные готовы …