По словам инженеров Openai, для преобразования моделей GPT-4 необходимы только 5-10 специалистов.
Стоит отметить, что сотни людей участвовали в создании модели, запущенной в марте 2023 года, и почти все ресурсы Openai были связаны. В ответ на вопрос генерального директора компании Сэма Альтмана инженеры заявили, что в настоящее время не более 5-10 человек были необходимы для обучения GPT-4 с нуля.
По словам Алекса Пейно, исследователя из Openai, который управляет предварительным процессом машинного обучения для самой мощной модели ИИ в компании GPT-4.5, для повторного обучения моделей GPT-4O и GPT-4, почти тот же материал используется, как и обучение GPT-4.5. Даниэль Селша, исследователь OpenAI, который работает над эффективностью данных и алгоритмами, согласен с тем, что восстановление GPT-4 будет намного проще в данный момент.
По словам Сэма Альтмана, новая модель GPT-4.5, запущенная в феврале, является первой, которая создает впечатление общения с осторожным человеком. Как отмечает Payno, GPT-4.5 предназначен для того, чтобы быть в 10 раз умнее GPT-4. В то же время Альтман говорит, что OpenAI больше не ограничен с точки зрения учебной компьютерной мощности искусственного интеллекта — что мир еще не полностью реализован.
Крупные технологические компании инвестируют миллиарды в инфраструктуру искусственного интеллекта. Ожидается, что Microsoft, Amazon, Google и Meta потратят в общей сложности 320 миллиардов долларов на капитальные затраты в этом году, чтобы расширить свои возможности ИИ.
В марте Openai объявила, что завершила крупнейший раунд частного технологического финансирования в истории, в том числе 30 миллиардов долларов от Softbank и 10 миллиардов долларов от других инвесторов, что дает компании рыночную капитализацию в размере 300 миллиардов долларов. В заявлении компании говорится, что новый капитал поможет OpenaI еще больше расширить свою вычислительную мощность.
Альтман отмечает, что OpenAI в настоящее время сосредотачивается на эффективности данных, которым обучен ИИ. Модели GPT очень эффективны в обработке информации, но существует ограничение на то, насколько глубоко могут понять данные.
Он объяснил, что по мере увеличения вычислительной мощности объем информации начинает увеличиваться медленнее. Чтобы решить эту проблему, требуются алгоритмические инновации, которые будут извлекать большую ценность из того же количества информации.
