DeepSeek AI Development стоит 1,6 млрд. Долл.

Новый чат -бот из DeepSeek представил себя с очаровательным обещанием: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Это утверждение заключается в том, что DeepSeek стремится достичь на конкурентном рынке искусственного интеллекта, который недавно увидел один из крупнейших цен на акции Nvidia из -за воздействия Deepseek.

Изображение: Ensigame.com

Модель AI DeepSeek выделяется благодаря своей инновационной архитектуре и методам обучения. Вот ключевые технологии, которые дифференцируют его:

Multi-Token Prediction (MTP) : в отличие от традиционных моделей, которые прогнозируют по одному слову за раз, MTP прогнозирует несколько слов, одновременно анализируя различные части предложения. Этот метод не только повышает точность, но и повышает эффективность модели.

Смесь экспертов (MOE) : DeepSeek V3 использует архитектуру MOE с использованием 256 нейронных сетей, с восемью активированными для каждой задачи обработки токенов. Этот подход ускоряет обучение ИИ и значительно повышает производительность.

Многопользовательское скрытое внимание (MLA) : MLA фокусируется на наиболее значимых частях предложения, неоднократно извлекая ключевые детали из фрагментов текста. Это уменьшает вероятность отсутствия важной информации, позволяя ИИ эффективно захватывать важные нюансы.

Несмотря на то, что он утверждал, что разработала конкурентную модель ИИ с минимальным бюджетом в 6 миллионов долларов на обучение DeepSeek V3 с использованием только 2048 графических процессоров, дальнейшее исследование показывает более сложную картину.

Изображение: Ensigame.com

Аналитики из полуанализа обнаружили, что DeepSeek управляет обширной вычислительной инфраструктурой, включающей около 50 000 графических процессоров Nvidia Hopper. Это включает в себя 10 000 единиц H800, еще 10 000 H100 и дополнительные графические процессоры H20, распространяющиеся по нескольким центрам обработки обработки данных для обучения, исследований и финансового моделирования. Общая инвестиция в серверы составляет приблизительно 1,6 млрд. Долл. США, а эксплуатационные расходы оцениваются в 944 млн. Долл. США.

DeepSeek является дочерней компанией китайского хедж-фонда High-Fund, который отказался от стартапа в 2023 году, чтобы сосредоточиться на технологиях искусственного интеллекта. В отличие от многих стартапов, которые полагаются на облачных провайдеров, Deepseek владеет своими центрами обработки данных, обеспечивая его полную контроль над оптимизацией модели искусственного интеллекта и обеспечивая быстрые инновации. Компания самофинансируется, что повышает его гибкость и скорость принятия решений.

Изображение: Ensigame.com

DeepSeek также привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в основном из ведущих китайских университетов. Претензия компании о обучении своей последней модели всего за 6 миллионов долларов кажется нереальной при рассмотрении более широкого контекста. На этом рисунке учитывается только использование графических процессоров во время предварительного обучения и исключает расходы на исследования, уточнение модели, обработку данных и общие затраты на инфраструктуру.

С момента своего создания DeepSeek инвестировала более 500 миллионов долларов в разработку ИИ. Его компактная структура обеспечивает активную и эффективную реализацию инноваций ИИ, в отличие от более крупных, более бюрократических компаний.

Изображение: Ensigame.com

Путешествие Deepseek иллюстрирует, что хорошо финансируемая независимая компания ИИ действительно может конкурировать с отраслевыми гигантами. Тем не менее, эксперты отмечают, что его успех связан с существенными инвестициями, техническими прорывами и сильной командой, а не «революционным бюджетом» для развития ИИ. Несмотря на это, затраты DeepSeek остаются значительно ниже, чем у его конкурентов. Например, в то время как DeepSeek потратил 5 миллионов долларов на R1, обучение CatGPT4O стоила 100 миллионов долларов.

Тем не менее, это все еще дешевле, чем его конкуренты.