Разработчики Apple из Университета штата Огайо создали новую диффузионную модель FEW-Step Discrete Flow-Matching (FS-DFM), которая позволяет записывать тексты в 128 раз быстрее аналогов, сообщает 9TO5mac.com со ссылкой на исследование.FS-DFM: быстрое и точное создание длинных текстов с использованием малошаговой модели распространения языка.«.
Согласно исследованию, FS-DFM способен записывать полнотекстовые фрагменты всего за восемь быстрых шагов уточнений. Для получения аналогичного результата другие модели диффузии требуют более тысячи шагов.
Для этого исследователи используют трехэтапный подход: сначала модель учится обрабатывать разные типы итераций для уточнения. Затем они используют модель руководства «Учитель», которая помогает ей вносить все более и более точные обновления в любую итерацию, не выходя за рамки текста. Наконец, корректируют работу каждой итерации так, чтобы конечный результат достигался за меньшее количество шагов при более стабильной работе модели.
По сравнению с более крупными диффузионными моделями FS-DFM хорошо работает по двум важным показателям: перплексия и энтропия. Перплексия – это результат, отражающий качество текста в языковых моделях. Чем ниже, тем точнее и естественнее звучит текст. Энтропия отражает, насколько уверенно модель выбирает каждое слово. Если энтропия слишком мала, текст может стать повторяющимся или предсказуемым, но если он слишком длинный, он может выглядеть не связанным со случайным набором слов.
По сравнению с моделями диффузии Dream с 7 миллиардами параметров и LLADA с 8 миллиардами параметров варианты FS-DFM с 1,7, 1,3 и 0,17 миллиардами параметров последовательно обеспечивают меньше недоумения и более стабильную энтропию на протяжении всего количества итераций.
Об этом заявили разработчики»планирую опубликовать код и контрольные точки моделей для облегчения воспроизводимости и дальнейших исследований«.
