O que são LLMs?

Tipos de Transformers:

1. Codificadores (Encoders)
   Um Transformer baseado em codificador recebe texto (ou outros dados) como entrada e produz uma representação densa (ou embedding) desse texto.
   • Exemplo: BERT do Google
   • Casos de uso: Classificação de texto, busca semântica, reconhecimento de entidades nomeadas
   • Tamanho típico: Milhões de parâmetros
2. Decodificadores (Decoders)
   Um Transformer baseado em decodificador foca na geração de novos tokens para completar uma sequência, um token por vez.
   • Exemplo: Llama da Meta
   • Casos de uso: Geração de texto, chatbots, geração de código
   • Tamanho típico: Bilhões de parâmetros
3. Seq2Seq (Codificador–Decodificador)
   Um Transformer de sequência para sequência combina um codificador e um decodificador. O codificador processa a sequência de entrada em uma representação de contexto, e o decodificador gera uma sequência de saída.
   • Exemplo: T5, BART
   • Casos de uso: Tradução, sumarização, parafraseamento
   • Tamanho típico: Milhões de parâmetros

Embora os Modelos de Linguagem de Grande Escala existam em várias formas, os LLMs são tipicamente modelos baseados em decodificadores com bilhões de parâmetros. Aqui estão alguns dos LLMs mais conhecidos:

O princípio subjacente de um LLM é simples, mas altamente eficaz: seu objetivo é prever o próximo token, dada uma sequência de tokens anteriores. Um “token” é a unidade de informação com a qual um LLM trabalha. Você pode pensar em um “token” como se fosse uma “palavra”, mas, por razões de eficiência, os LLMs não usam palavras inteiras.

Por exemplo, enquanto o inglês possui cerca de 600.000 palavras, um LLM pode ter um vocabulário de cerca de 32.000 tokens (como é o caso do Llama 2). A tokenização frequentemente trabalha com unidades sublexicais que podem ser combinadas.

Por exemplo, considere como os tokens “interest” e “ing” podem ser combinados para formar “interesting”, ou “ed” pode ser adicionado para formar “interested”.

Cada LLM possui alguns tokens especiais que são específicos do modelo. O LLM utiliza esses tokens para abrir e fechar componentes estruturados da sua geração. Por exemplo, para indicar o início ou o fim de uma sequência, mensagem ou resposta. Além disso, os prompts de entrada que passamos ao modelo também são estruturados com tokens especiais. O mais importante deles é o token de Fim de Sequência (End of Sequence, ou EOS).

As formas desses tokens especiais variam bastante entre os diferentes provedores de modelos.

A tabela abaixo ilustra a diversidade desses tokens especiais.

• Uma vez que o texto de entrada é tokenizado, o modelo calcula uma representação da sequência que captura informações sobre o significado e a posição de cada token na sequência de entrada.
• Essa representação é alimentada no modelo, que gera pontuações que classificam a probabilidade de cada token em seu vocabulário ser o próximo na sequência.

Com base nessas pontuações, temos várias estratégias para selecionar os tokens para completar a frase. A estratégia de decodificação mais simples seria sempre escolher o token com a pontuação máxima. Mas existem estratégias de decodificação mais avançadas. Por exemplo, a busca em feixe (beam search) explora várias sequências candidatas para encontrar a que possui a pontuação total máxima — mesmo que alguns tokens individuais tenham pontuações mais baixas.

Atenção é tudo o que você precisa

Um aspecto fundamental da arquitetura Transformer é a Attention. Ao prever a próxima palavra, nem todas as palavras em uma frase têm a mesma importância; palavras como “França” e “capital” na frase “A capital da França é …” carregam o maior significado.

Esse processo de identificar as palavras mais relevantes para prever o próximo token se mostrou incrivelmente eficaz. Embora o princípio básico dos LLMs — prever o próximo token — tenha permanecido consistente desde o GPT-2, houve avanços significativos na ampliação das redes neurais e na otimização do mecanismo de atenção para lidar com sequências cada vez mais longas.

Se você já interagiu com LLMs, provavelmente está familiarizado com o termo context length (comprimento de contexto), que se refere ao número máximo de tokens que o LLM pode processar, e à capacidade máxima de atenção que ele possui.

A forma como você fornece o prompt ao LLM é importante

Considerando que o único trabalho de um LLM é prever o próximo token olhando para cada token de entrada e escolher quais tokens são “importantes”, a redação da sua sequência de entrada é fundamental.

A sequência de entrada que você fornece a um LLM é chamada de prompt. O design cuidadoso do prompt facilita a orientação da geração do LLM em direção ao resultado desejado.

Para saber mais sobre prompts, veja este material.

Como os LLMs são treinados?

Os LLMs são treinados em grandes conjuntos de dados textuais, onde aprendem a prever a próxima palavra em uma sequência por meio de um objetivo de modelagem de linguagem auto-supervisionada ou mascarada.

A partir desse aprendizado não supervisionado, o modelo aprende a estrutura da linguagem e os padrões subjacentes no texto, permitindo que o modelo generalize para dados não vistos.

Após esse treinamento inicial, os LLMs podem ser ajustados por meio de aprendizado supervisionado para realizar tarefas específicas. Por exemplo, alguns modelos são treinados para estruturas de conversação ou uso de ferramentas, enquanto outros se concentram em classificação ou geração de código.

Como posso usar os LLMs?

Você tem duas opções principais:

1. Executar localmente (se você tiver hardware suficiente).
2. Usar uma nuvem/API (por exemplo, via a API da OpenAI).

Ao longo deste curso, usaremos principalmente modelos por meio de APIs. Mais adiante, exploraremos como executar esses modelos localmente no seu hardware.

Como os LLMs são usados em Agentes de IA?

Os LLMs são um componente chave dos Agentes de IA, fornecendo a base para entender e gerar a linguagem humana. Eles podem interpretar instruções do usuário, manter o contexto em conversas, definir um plano e decidir quais ferramentas usar.

Exploraremos essas etapas com mais detalhes adiante, mas por agora, o que você precisa entender é que o LLM é o cérebro do Agente.

Prática: Usando APIs de LLM

Agora vamos ver como usar LLMs na prática, via APIs acessíveis por Python no Google Colab. Veremos três serviços populares: ChatGPT (OpenAI), Gemini (Google) e DeepSeek.