DeepSeek и математика: как формулы снова изменили мир и обвалили рынки

Гонка ИИ началась!!

Неделю назад в штатах появляется проект Stargate с планом вложить $500 млрд на развитие интеллекта, и началось:

• в это же время на мировую арену выходит DeepSeek, китайский ответ ChatGPT с небольшой командой из бывшего хедж-фонда
• результат оказался не хуже, а даже и лучше, чем у лучшей моделей от OpenAI
• при этом стоимость обучения по разным оценкам от 10 до 100 раз (!) дешевле Open AI
• DeepSeek при этом ещё open source с открытым исходным кодом и лицензией
• инвесторы в панике, за понедельник рынки потеряли больше $1,000,000,000,000 капитализации, приложение DeepSeek обогнало по скачиванию ChatGPT
• а DeepSeek тем временем выкатывает модель генерации реалистичных изображений, снова уровня лучших в мире моделей

DeepSeek против OpenAI: результат важнее бюджета

Конечно, сложно сказать, какая на самом деле стоимость обучения была у DeepSeek, но самое главное — результат! «Ризонинг», то есть умение модели объяснять, как она пришла к ответу, намного лучше, чем у конкурентов. Бенчмарки на тестах — лучше чем у конкурентов. Чат, изображения уже есть, видимо, на подходе генерация видео.

Что же получается? Ведущие американские ИИ компании оказались не такими уж и ведущими, а построить самый мощный в мире ИИ можно без сотен миллиардов долларов и на меньших вычислительных мощностях? Как такое вообще возможно? Ответ простой — математика!

Математика DeepSeek: reinforcement learning вместо ручной настройки

Основное отличие от OpenAI — фокус на Reinforcement learning, обучение с подкреплением, то есть когда модель сама обучается, вместо обучения и донастройки человеком (Supervised Fine-Tuning). Помните ещё в 2017 году AlphaGo смог обыграть чемпиона в Го, причем алгоритм научил играть себя сам.

Помимо RL использовались ещё разные методы поощрения и оценки результатов при обучении. Именно благодаря им появился тот самый сильный «ризонинг». Ключевым здесь стал метод GRPO (Group Relative Policy Optimization), который устраняет потребность в отдельной модели-оценщике (которая нужна в OpenAI), и как результат сокращает затраты, сложность обучения и уменьшает ошибки. Если по простому, проверка отдельных ответов заменяется сравнением ответов друг с другом. Представьте, вместо того, чтобы учитель проверял ответы каждого ученика по отдельности, ученики сравнивают ответы друг с другом. Лучшие ответы поощряются, ученики учатся не только на своих ошибках, но на лучших примерах в группе. Ученики быстро учатся, учитель отдыхает!

Почему математика снова меняет мир

Что на самом деле удивительно? Математику многие критикуют за теоретичность, непрактичность и оторванность от реальности. Но стоит математике перейти в реальность, как тут же появляются миллионы шокированных, рынки падают или поднимаются, новости кипят, прогресс ускоряется, а далёкое будущее становится настоящим. Так было всё время, начиная от теоремы Пифагора и корня из двух и продолжая математическим анализом, теорией групп, вероятностями, дифференцированием, оптимальным управлением и так далее. Формулы Блэка-Шоулза, блокчейн, численные методы, криптография, теория информации — это всё, что создало мир вокруг нас. Так и сейчас, математика в очередной раз меняет мир: машинное обучение вместе с оптимальным управлением, теорией игр, методами оптимизации, математическим анализом и линейной алгеброй — всё это позволило создать DeepSeek.

DeepSeek — это только начало: какая математика ещё изменит реальность

И это только начало! А самое главное, это всего лишь часть математики, прикладная математика. Есть ещё много областей, которые до сих пор остаются чисто теоретическими, сложными, пугающими, но удивительно красивыми. Алгебраическая геометрия, гомологическая алгебра, экстремальная комбинаторика, функциональный анализ, дифференциальная топология, теория категорий. Только представьте, если всё это перейдёт в реальный мир приложений. Мир уже будет совсем другим!