ИИ: вычислений на обучение стало в 7 миллионов раз больше за 12 лет
AlexNet (2012) и DeepSeek-V3 (2024): параметров больше в 11,2 тыс. раз, вычислений на обучение — в 7,02 млн раз. Задачи разные; это сравнение масштаба, а не качества.
Подробнее
Объём вычислений на обучение вырос гораздо сильнее, чем число параметров. AlexNet распознаёт изображения, DeepSeek-V3 — языковая модель.
Одна логарифмическая шкала: во сколько раз больше уровня 2012 года. Равный шаг по высоте означает рост в одинаковое число раз. Показаны только опубликованные точки, между ними измерений нет. Это сравнение масштаба, не качества.
- AlexNet: параметры параметров
60 000 000 · 2012-09-30
- AlexNet: вычисления на обучение операций (FLOP)
4,700e+17 · 2012-09-30
- DeepSeek-V3: параметры параметров
671 000 000 000 · 2024-12-24
- DeepSeek-V3: вычисления на обучение операций (FLOP)
3,300e+24 · 2024-12-24
Четыре центральные оценки Epoch AI с меткой уверенности «Confident». Параметры и вычисления DeepSeek-V3 делятся на значения AlexNet; границы оценок не подставляются.
«Confident» — метка уверенности источника, а не точное измерение. DeepSeek-V3 устроена как смесь экспертов: 671 млрд параметров всего, но для каждого слова работают не все. Параметры, вычисления и качество ответов не взаимозаменяемы. Две модели не описывают весь прогресс ИИ.
Вопрос к этой картине
Как меняются вычисления, стоимость и качество внутри одной задачи?