Attention (mecanismo)

Attention é o mecanismo central do Transformer: para cada token na sequência, calcula uma «atenção» (peso) para todos os outros tokens, e usa essa ponderação para construir a sua representação. Permite ao modelo «olhar para trás» e capturar dependências de longa distância no texto. Variantes: multi-head attention (várias atenções em paralelo), flash attention (implementação eficiente), grouped-query attention (GQA, reduz memória).