«Яндекс» разработал тесты для ИИ на соответствие культурным и этическим нормам

На совещании рабочей группы, посвященном вопросам регулирования и административных барьеров в области искусственного интеллекта, состоявшемся 13 августа, «Яндекс» представил разработку национального датасета. Этот набор включает тестовые задания и эталонные данные, предназначенные для бенчмарк-тестирования ИИ-моделей, с целью оценки их соответствия актуальным культурным и этическим нормам страны.

В ходе обсуждения возникли разногласия относительно степени открытости датасета. Представители ФСБ выступили за закрытый формат, чтобы предотвратить возможность манипуляций разработчиков с моделями для успешного прохождения тестирования. В то же время бизнес-сообщество указало на то, что закрытые тесты могут усложнить процесс и замедлить развитие ИИ. В качестве возможного компромисса было предложено создать комбинированный формат, который бы включал открытые бенчмарки для прозрачности и закрытые тесты для окончательной проверки с аналогичными темами, но с варьирующимися вопросами.

Кроме того, на совещании остался открытым вопрос о том, кто именно будет формировать содержание бенчмарка. Участники ИТ-сообщества предложили создать совместную комиссию, в которую войдут представители власти, бизнеса и экспертных организаций, чтобы обеспечить сбалансированность разработанного бенчмарка.