ByteDance создает ИИ-модель с 10 трлн параметров, сопоставимую с Anthropic Mythos

Компания ByteDance, известная благодаря своей социальной сети TikTok, активно занимается разработкой новых моделей искусственного интеллекта, опираясь на собственные ресурсы. По информации Financial Times, в данный момент команда ByteDance работает над ИИ-моделью, которая будет обладать 10 трлн параметров, что позволяет компании конкурировать с передовыми разработками, такими как Mythos от Anthropic.

По данным источников, хотя Anthropic не раскрывает точные параметры своих моделей, сообщается, что Mythos 5 содержит 8 трлн параметров, а более простой вариант Fable 5 — около 5 трлн. Важно отметить, что количество параметров не всегда отражает качество и скорость работы модели, так как ключевую роль играют качество данных для обучения и используемые методы.

В настоящее время ByteDance находится на этапе предварительного обучения своей модели, который обычно занимает от трех до шести месяцев. Разработка ИИ ведется большой командой из примерно 2000 сотрудников, включая инженеров, исследователей и специалистов по маркировке данных, как в Китае, так и за его пределами. Основатель компании Чжан Иминь подчеркивает важность долгосрочных целей, не акцентируя внимание на краткосрочных отставаниях в разработке.

ByteDance намерена не только соперничать с ведущими западными разработками, но и превзойти их с помощью своей новой ИИ-модели.