Agradeço à comunidade por traduzir um artigo anterior para o português!
Estou retribuindo o favor com um novo lançamento do aplicativo de demonstração Pattern Match Workbench.
Suporte Adicionado para Português.
Agora, as legendas, botões, mensagens de feedback e textos de ajuda da interface do usuário estão atualizados para o português.
Além disso, descrições de padrões podem ser solicitadas no novo idioma.
O único Modelo de IA responsável por transformar o comando do usuário em código de correspondência de padrões foi completamente retreinado.
Modelos de Valores para Código de Padrão Também Retreinados
O modelo de IA separado para gerar código de correspondência de padrões a partir de uma lista de valores de amostra também foi retreinado.
A versão anterior do modelo mostrava uma perda de comportamentos de identificação de padrões generalizados para dar suporte a novos estilos de padrões de delimitadores.
A nova abordagem de treinamento foi desenvolvida para se adequar melhor a ambos os tipos de desafio.
A avaliação pós-treinamento das etapas do modelo foi usada para quantificar o melhor candidato para preservar a resolução de padrões generalizados.
O princípio para quantificar 100% de sucesso para cada padrão gerado foi tentar satisfazer todos os seus respectivos registros de amostra candidatos.
Relatório de Desempenho (Benchmark):
Total de testes de benchmark usados | 3895 |
Média de sucesso em todas as correspondências | 91.75% |
Sucesso completo na correspondência de padrões | 81.98% |
Sucesso parcial na correspondência de padrões | 15.74% |
Registros de correspondência sem sucesso | 2.28% |
The following table gives examples from benchmark candidates demonstrating partial success.
It shows the percentage of sample records successfully matched to generated pattern code.
Item | Tamanho da Amostra | Janela de contexto | Linhas correspondidas | % correspondência | Padrão realmente gerado | Pattern Template |
1 | 31 | 31 | 28 | 90.3 | 4UN5AN2.3(4UNP2"/"1UP3.6LP1UP,2"/"1"Ç")5.11N | 4UN5AN2(4PUN2"/"1PU3.6LP1PU,2"/"1"Ç")5.12N |
2 | 31 | 31 | 17 | 54.8 | 5N5ANP3"7Æ6N1ŃS8"1(2"{{{",4"Û4"3"ĪĪċ")3P | 5.6N5NPA3"7Æ6N1ŃS8"1(3"{{",4"Û4"3"ĪĪċ")3P |
3 | 31 | 24 | 15 | 62.5 | 5.8"6Ã02"1.2LNP1.2(1"K"4.6"7499".2NP1"û5ُ3"4.7N) | 5.8"6Ã02"3(4"51704833"3"ĹĐRÞÇ",1PN,1LP1"K"4.6"7499")1"û5ُ3"4.7N |
4 | 31 | 19 | 28 | 90.3 | 3P5UN5NP5UN5UN3AN3"JŁY"1.4"5"2U1LN | 3P5NU5NP4UN5NU4NA3"JŁY"1.4"5"2U1NL |
5 | 31 | 10 | 7 | 22.6 | 4LNP3.6AN4"×_"5"¤īĩĵ®ü"5AN3AN3LNP2UN3"ċ"5LN | 4NPL2.5NA4"×_"5"¤īĩĵ®ü"3.5NA3AN3PLN2UN3"ċ"5NL |
6 | 30 | 9 | 26 | 86.7 | 5.6"ŀ¬¦"5"!pp%"1UNP5"Ù6"4.8AP3(3N,4"8¸",5UNP)5.11P | 5.6"ŀ¬¦"5"!pp%"1PNU5"Ù6"4.7PA3(3N,3UP,4"8¸")4P4.5P |
7 | 25 | 12 | 5 | 20.0 | 2"AAHH"5"30"3(4.7UP,4L)5"ĥèßłĉ,,,"4.5N | 2"AAHH"5"30"5(3UP,4L,4UP,1PL)5"ĥèßłĉ,,,"4.5N |
8 | 31 | 14 | 30 | 96.8 | 5LP4")))¦¦§÷"4.10LN5.10UNP2"gx"1UN | 5PL4")))¦¦§÷"4.11NL5.10PUN2"gx"1UN |
Legenda:
Tamanho da Amostra - O número de registros disponíveis para a amostra de teste. Às vezes, um padrão descreve menos de 31 correspondências exatas possíveis, daí os valores mais baixos.
Janela de Contexto - Número máximo de registros de amostra que se encaixam para gerar um novo padrão.
Linhas correspondidas - Este é o número de registros de amostra que foram correspondidos pelo padrão gerado.
Note que os itens 4, 6 e 8 alcançaram uma contagem de correspondências maior do que a janela de contexto.
Quando os padrões são gerados a partir de valores, a janela de contexto utilizada e a proporção de correspondência são retornadas.
Para amostras de dados desafiadoras, pode ser produtivo tentar novamente o botão "Padrão a partir de Valores" para obter resultados aprimorados.
Mostrar a janela de contexto por linha é útil para dar a oportunidade de registros específicos serem elevados para o prompt para consideração generativa.
A inferência de benchmark foi conduzida via HuggingFace Spaces para escalar a GPU disponível e garantir uma execução oportuna.
relatório é útil para analisar a proximidade qualitativa das propostas pelo LLM em termos de:
* Tipo de correspondência (String, Número, Alfanumérico, Alfabético Maiúsculo)
* Escolha do intervalo de quantidade (2 a 3 de...)
* Listas de opções ("123" ou "456")
* Elementos estruturados usando parênteses
Isso abre oportunidades para que o treinamento seja aprimorado.
Sinta-se à vontade para enviar feedback sobre melhorias para:
- Traduções de idiomas
- Comportamentos de correspondência de padrões