13 августа на совещании рабочей группы по регулированию и административным барьерам ИИ корпорация Яндекс представила правительству концепцию набора тестовых заданий и эталонных данных для тестирования нейросетевых моделей на предмет их соответствия духовно-нравственным ценностям. Как пишет Коммерсант со ссылкой на источники, проект нужен государству для оценки пригодности использования ИИ-систем в российских условиях.

Инициатива пока находится на стадии концепции и на многие вопросы о том, как она будет работать пока ответа нет. Сообщается, что на совещании возникли разногласия о степени публичности тестов. Одна сторона настаивает на закрытом формате, чтобы разработчики не могли легко настроить нейросети на прохождение тестирования. Представители бизнеса заявили, что закрытый формат не позволит быстро развивать модели и предложили оставить его публичным. В качестве компромисса был предложен комбинированный формат — когда для публичного тестирования и прозрачности может быть использован открытый бенчмарк, а закрытый — для финальной проверки с идентичными тематиками, но с разными формулировками вопросов.

Один из участников совещания отметил, что пока остается открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать для этого совместную комиссию с участием органов власти, бизнеса и экспертных организаций.

В конце июля Владимир Путин подписал закон о поддержке развития ИИ, который призван создать правовые условия для ускоренного развития и внедрения больших фундаментальных моделей ИИ в РФ.