30 декабря 2024 
adminGWP 
Про пoвышeния прoизвoдитeльнoсти LLMApple oбъeдинилa активность с Nvidia для пoвышeния скoрoсти гeнeрaции тeкстa большими языковыми моделями (LLM). Сие сотрудничество основывается получи ранее разработанной Apple технологии Recurrent Drafter (ReDrafter).. © Ferra
В рамках сотрудничества Apple интегрировала ReDrafter с Nvidia TensorRT-LLM, фреймворком, предназначенным в (видах ускорения производительности LLM держи видеокартах компании. Буква интеграция позволила в 2,7 раза обогатить скорость генерации маркеров рядом тестировании модели с десятками миллиардов параметров. Новая компания снижает задержки и энергопотребление, используя меньшее число GPU.
Nvidia уже внесла изменения в домашние операторы для лучшей поддержки ReDrafter, позволяя разработчикам машинного обучения использовать в своих интере преимущества более быстрой генерации токенов.
. Галотерм:Apple
Категория: