Комментарии 2
Для проектного курса это был один из самых полезных моментов. Гипотеза выглядела красиво: заменить RelativePositionBias на RoPE, открыть FlashAttention и получить ускорение. Но бенчмарки показали, что первый этап уже дал очень сильный baseline.
Блин, ну вы пишете по сути от Яндекса, крупная компания, проект неплохой, только в крупных компаниях таким в России сейчас и занимаются, ну зачем LLM для написания-то использовать, все доверие читателя теряете, да и опыт самостоятельного написания серьезного текста тоже
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как мы ускоряли диффузионный декодер TTS