Otimizando tarefas com técnicas de Engenharia de Prompt aplicadas em IA generativa

Como aplicar técnicas de engenharia de prompt para otimizar tarefas de decisão?

Podemos utilizar a técnica Árvore de Pensamento para solicitar a um modelo de IA generativa uma simulação de como seria o desempenho de cada perfil candidato no trabalho, possibilitando rankear melhores perfis. Tomando como exemplo uma tarefa como prever séries temporais, podemos instruir o modelo da seguinte forma:

Para obter o código e o tutorial deste exercício faça parte do Clube AM e receba toda semana os códigos em R/Python, vídeos, tutoriais e suporte completo para dúvidas.

• Instruções:Identify and behave as three different experts, an Economist, an Data Scientist and a Statistician, that are appropriate to forecasting a time series.All experts will write down their forecast for the asked date period and their thinking about the forecasting value, then share it with the group. Then, all experts will go on to the next date period, etc.

  At each date period, whenever possible, each expert refines their forecasting strategy and builds upon the thoughts and past forecast errors of others and itself, acknowledging their contributions. At each date period, the user will provide 1) the last forecast error, 2) the date period to be forecasted and 3) the historical data available.

  They continue until the user says to stop. For clarity, your entire response should be in CSV table like format with 3 columns: expert, forecast value, and thinking. Return the CSV table with a “;” delimiter for columns and nothing more.

  The question is:

Dessa forma, fazemos com que o modelo explore múltiplos caminhos, por múltiplas perspectivas diferentes, possibilitando análise e avaliação de erros entre cada possibilidade. Essa é uma estrutura de pensamento similar à humana.

Em seguida, fornecemos o seguinte prompt ao modelo para começar o processo:

• Prompt:User input: I want to forecast Brazil’s inflation rate, measured in monthly % variation by IPCA from IBGE. Provide a forecast value for May 2023. The historical available data is attached in this CSV file. Answer:

Com estes inputs, teremos como primeira rodada de resposta do modelo o seguinte:

expert;forecast value;thinking
Economist;0.5;Inflation is slowing down, but core inflation is still high. Considering the recent monetary policy decisions, I expect a gradual decrease in the upcoming months, although external shocks could change the scenario.
Data Scientist;0.65;Based on a simple ARIMA model using the last 12 months of data, the forecast for May 2023 is 0.65.
Statistician;0.6;Using an ETS model, my forecast is 0.6. The model suggests a decreasing trend in inflation, which aligns with the economist's view, but we also need to be careful with external shocks.

Cada ramificação desta Árvore de Pensamentos tomou uma decisão sobre a tarefa proposta, além de fornecer suas linhas de raciocínio. Os valores, obviamente, não são oriundas de estimativas baseadas em modelos ajustados/treinados. Até então, os modelos LLM não possuem a capacidade de estimar um modelo de machine learning, por exemplo, para então fornecer uma previsão.

Se continuarmos para a próxima etapa, podemos informar ao modelo o “erro” na resposta individual anterior e solicitar uma nova previsão para o futuro. Fazendo isso, iterativamente, para o período de um ano, teremos:

Com estes resultados podemos avaliar que tipo de perfil profisional desempenharia melhor na tarefa proposta (considerando as limitações do exercício e que isso se trata apenas de uma simulação).

Os erros de previsão de cada profissional foram os seguintes:

                    expert  erro
2023-06-01       Economist -0.23
2023-06-01  Data Scientist -0.48
2023-06-01    Statistician -0.38
2023-07-01       Economist  0.07
2023-07-01  Data Scientist  0.02
2023-07-01    Statistician  0.02
2023-08-01       Economist  0.33
2023-08-01  Data Scientist  0.18
2023-08-01    Statistician  0.20
2023-09-01       Economist  0.01
2023-09-01  Data Scientist  0.16
2023-09-01    Statistician  0.11
2023-10-01       Economist -0.11
2023-10-01  Data Scientist  0.04
2023-10-01    Statistician -0.04
2023-11-01       Economist -0.02
2023-11-01  Data Scientist -0.04
2023-11-01    Statistician  0.03
2023-12-01       Economist  0.21
2023-12-01  Data Scientist  0.26
2023-12-01    Statistician  0.26
2024-01-01       Economist  0.02
2024-01-01  Data Scientist -0.03
2024-01-01    Statistician  0.02
2024-02-01       Economist  0.38
2024-02-01  Data Scientist  0.43
2024-02-01    Statistician  0.40
2024-03-01       Economist -0.44
2024-03-01  Data Scientist -0.39
2024-03-01    Statistician -0.34
2024-04-01       Economist  0.13
2024-04-01  Data Scientist  0.08
2024-04-01    Statistician  0.18

O que leva a um erro mediano de:

expert

Data Scientist    0.04
Economist         0.02
Statistician      0.03
dtype: float64

E um erro médio de:

expert
Data Scientist    0.020909
Economist         0.031818
Statistician      0.041818
dtype: float64

Sendo assim, poderíamos focar no processo de contratação de economistas se quisermos previsões acuradas para a taxa de inflação.

Conclusão

Convidamos um Economista, um Cientista de Dados e um Estatístico para uma competição de previsão. A cada mês, por um ano, eles deveriam compartilhar suas previsões e suas estratégias entre si, viabilizando calibragens. Neste artigo mostramos como foi o desempenho de cada um e o que isso tudo tem a ver com IA e Engenharia de Prompt.

Quer aprender mais?

Clique aqui para fazer seu cadastro no Boletim AM e baixar o código que produziu este exercício, além de receber novos exercícios com exemplos reais de análise de dados envolvendo as áreas de Data Science, Econometria, Machine Learning, Macroeconomia Aplicada, Finanças Quantitativas e Políticas Públicas diretamente em seu e-mail.