На канале GPU Mode неделю назад появилось видео от Songlin Yang (гуру линейных вниманиев), где она в течение часа дает содержательный и интересный обзор области.

Кроме того, в феврале она выступала у Sasha Rush (известный персонаж на 🤗) с похожим материалом.

Рекомендую к просмотру!

[Либа с реализациями разных субквадратичных альтернатив вниманию]