OpenAI представила новый инструмент на основе искусственного интеллекта, который помогает обнаруживать изображения сексуального насилия над детьми. Система способна выявлять в том числе материалы, созданные с помощью генеративных нейросетей.
Новая система анализирует визуальные особенности изображений, в том числе тех, которые ранее не попадали в базы известных запрещённых материалов. По результатам проверки он присваивает файлам оценку риска, помогая специалистам определять, какие из них необходимо изучить в первую очередь.
По данным OpenAI, во время предварительных испытаний новый инструмент позволил сократить количество изображений, требующих проверки, на 48% по сравнению с прежней системой. При этом число выявленных материалов с признаками насилия осталось примерно таким же. Кроме того, среди изображений, отмеченных новым классификатором, запрещённый контент встречался в два раза чаще.
Инструмент разработали при участии Национального центра США по делам пропавших и эксплуатируемых детей (NCMEC). OpenAI предоставит проверенным организациям бесплатный доступ к нему через API, чтобы другие компании и профильные службы могли использовать технологию для защиты детей в интернете.