Модели AI Frontier: раскрытие баланса между стоимостью и производительностью

Все большее число компаний обращается к открытым моделям ИИ как к экономически выгодной альтернативе закрытым моделям, даже признавая их преимущество в производительности. В частности, DoorDash использует открытую модель Kimi для рутинных задач, оставляя более ресурсоемкую закрытую модель Fable для сложных операций. С момента выхода отчета Mozilla 'State of Open Source AI' в июле наблюдается рост использования открытых моделей. Эта тенденция обусловлена постепенным сокращением разрыва в производительности между открытыми и закрытыми передовыми моделями, а также значительной экономией затрат, связанной с использованием открытых моделей. Разница в производительности оценивается с помощью показателя, известного как горизонт времени, который измеряет длительность задачи в отношении времени выполнения человеком-экспертом и отражает сравнительную надежность моделей ИИ. Некоммерческая исследовательская организация METR подчеркивает, что горизонт времени для моделей ИИ удваивается с ускоряющейся скоростью. В настоящее время существует потолок производительности, при котором самая продвинутая закрытая модель способна справляться с задачами, которые приблизительно в 1,7 раза длиннее, чем у открытых моделей. Как объясняет Крікориан из METR, 'Если открытая модель может справиться с семичасовой задачей, закрытая модель может выполнять задачу, которая длится 12 часов. Через четыре месяца открытая модель достигнет 12-часовой задачи, тогда как закрытая модель увеличит время до 20 часов.' Задачи, продолжительность которых составляет от восьми до 12 часов, отмечают область, где закрытые передовые модели превосходят открытые, хотя обе могут справляться с задачами, которые длятся менее восьми часов. Однако, увеличение продолжительности задачи более 12 часов остается сложной задачей для всех. Незначительные различия и технические детали определяют использование открытых и закрытых моделей. Например, закрытые передовые модели часто сочетаются с проприетарными интерфейсами, разработанными для оптимизации их производительности в различных инструментах и действиях. Созданные на заказ AI лабораториями, эти интерфейсы могут значительно повысить эффективность модели, но производительность может снизиться при применении сторонних интерфейсов.