Durante o último ano, a atenção mediática centrou-se em modelos de inteligência artificial gigantescos com milhares de milhões de parâmetros. No entanto, no dia a dia da engenharia de software e da arquitetura de sistemas, a verdadeira revolução está a acontecer na direção oposta, com modelos compactos que correm localmente.
A vantagem da latência zero
Ao migrar tarefas de processamento de texto e classificação para modelos locais como o Llama de sete mil milhões de parâmetros, a latência de rede deixa de ser um obstáculo. Isto permite criar interfaces de utilizador muito mais rápidas e fluidas, eliminando a dependência constante de APIs externas sujeitas a falhas e variações de preço.
Além disso, a privacidade dos dados é absoluta, uma vez que nenhuma informação confidencial de clientes ou utilizadores finais precisa de sair dos seus próprios servidores ou dispositivos locais.
Estratégias de otimização prática
Para tirar o máximo partido destes modelos em servidores modestos, a quantização é a ferramenta essencial. Reduzir a precisão dos pesos do modelo para quatro bits permite reduzir drasticamente o consumo de memória RAM sem uma degradação percetível na qualidade das respostas lógicas.
Comece por testar estes modelos mais pequenos em tarefas bem delimitadas, como extração de dados estruturados ou análise de sentimento, antes de tentar substituir sistemas de conversação complexos.