162 artigos
Explorar guias
Throughput é a questão de capacidade, distinta da questão de velocidade que a latência responde. Fazer batching aumenta o throughput e aumenta a latência individual, que é exatamente a troca que você quer em trabalhos offline e exatamente a errada em chat. Na prática: Rode um milhão de classificações em lote durante a noite; ninguém está olhando o relógio.
Modelos não veem letras nem palavras; eles veem tokens, que são blocos de caracteres produzidos por um tokenizador. Em inglês, a média fica em torno de quatro caracteres por token, então 750 palavras dão mais ou menos 1,000 tokens. Tokens também são a unidade de cobrança e a unidade da janela de contexto, o que faz deste o termo mais relevante comercialmente do glossário. Na prática: ‘unbelievable’ pode se dividir em ‘un’, ‘believ’, ‘able’ — três tokens, uma palavra. ...
Um tokenizador mapeia texto para inteiros usando um vocabulário fixo aprendido a partir de dados. Isso explica várias esquisitices famosas: os modelos contam letras errado porque nunca veem letras, e textos fora do inglês costumam custar mais tokens para o mesmo sentido, porque os vocabulários pendem para o inglês. Na prática: A mesma frase em grego pode custar de duas a três vezes os tokens que custa em inglês.
O top-p mantém os tokens mais prováveis até que a probabilidade acumulada chegue a p e, então, amostra só entre eles. Diferente da temperatura, ele se adapta a quão confiante o modelo está em cada passo. Ajustar os dois ao mesmo tempo costuma deixar o comportamento mais difícil de entender — escolha um. Na prática: Top-p 0.9 ignora a cauda longa de tokens improváveis sem achatar a distribuição inteira.
TPUs são ASICs projetados especificamente para as operações com tensores das redes neurais, disponíveis pelo Google Cloud e não como hardware que você compra. Elas são um exemplo de um movimento mais amplo rumo a silício feito sob medida para IA, à medida que as GPUs de uso geral deixam de ser a única opção. Na prática: Grandes treinamentos na infraestrutura do Google costumam usar pods de TPU.
Apresentado em 2017, o transformer substituiu o processamento sequencial pela atenção, deixando o modelo olhar para todos os tokens da entrada de uma vez e pesar a relevância de uns para os outros. É esse paralelismo que tornou prático treinar com texto em escala de internet. O ‘T’ de GPT vem de transformer. Na prática: Em ‘o troféu não coube na caixa porque ele era grande demais’, a atenção é como o modelo conecta ’ele’ a ’troféu’. ...
Transparência tem a ver com divulgação, não com mecanismo: publicar model cards, documentar dados e avisar às pessoas que elas estão falando com uma máquina. O AI Act da UE torna várias formas disso obrigatórias, incluindo rotular conteúdo sintético e informar sobre interações com chatbots. Na prática: Um aviso informando que o assistente é uma IA e que um humano pode assumir.
Underfitting é a falha oposta ao overfitting: o modelo não aprendeu o suficiente. Os sintomas são notas ruins em todo lugar, e as correções são mais capacidade, features melhores, treino mais longo ou um regularizador menos agressivo. Na prática: Ajustar uma reta a dados que claramente fazem curva.
O uso de ferramentas é o que permite ao modelo fazer coisas que ele fundamentalmente não consegue sozinho: consultar dados atuais, fazer cálculos exatos, escrever em um sistema. O modelo escolhe a ferramenta e os argumentos; o seu código executa e devolve o resultado. As ferramentas também são o ponto em que os erros do modelo viram ações no mundo real, então permissões importam. Na prática: Em vez de chutar a cotação de hoje, o modelo chama uma API de câmbio. ...
Viés em IA tem dois sentidos que acabam confundidos: um estatístico (um desvio sistemático) e um social (tratamento injusto de grupos). O NIST distingue viés sistêmico, estatístico e cognitivo humano, porque cada um pede um remédio diferente. Nomear de qual deles você está falando já é metade do trabalho de enfrentá-lo. Na prática: Um modelo treinado em dez anos de contratações reproduz dez anos de padrões de contratação.