Após vários anos trabalhando na indústria de computadores, presenciei inúmeras situações em que se considerou utilizar - ou se utilizou - um benchmark para a escolha de uma opção entre várias possíveis. Muitas pessoas têm a idéia de que um benchmark com sistemas de computadores (hardware e/ou software) é o mesmo que comparar dois ou mais sistemas diferentes.

Na verdade, um benchmark é uma ferramenta um pouco mais sofisticada e complexa do que simplesmente uma metodologia de comparação. Utilizando uma definição clássica, benchmark pode ser descrito como processo contínuo de medida que possiblita às empresas comparar produtos, serviços ou práticas, dentre as mais destacadas opções possíveis, para se incorporar melhorias. A idéia principal, ao se realizar um benchmark, não é simplesmente comparar, mas sim adotar e incoporar novos conceitos que possibilitem melhorias.

Existem quatro tipos básicos de benchmark:

Interno: normalmente realizado quando uma empresa quer avaliar funções similares realizadas por unidades ou departamentos diferentes dentro da companhia. O objetivo é identificar uma função-padrão para toda a corporação. Uma grande vantagem de se realizar um benchmark interno é otimizar processos, identificando as melhores práticas internas, e transferi-los para toda a organização. Uma desvantagem dessa modalidade é que ela, normalmente, é uma visão introvertida, muitas vezes ignorando práticas destacadas realizadas por outras empresas.

Externo: também conhecido como benchmark competitivo, é a modalidade mais comum. O objetivo é comparar produtos, serviços ou práticas entre empresas concorrentes, que atuem no mesmo mercado.

Funcional: geralmente é realizado entre empresas que tenham o mesmo produto ou serviço, mas que não sejam concorrentes no mesmo mercado. Um exemplo é comparar os sistemas de tarifação utilizados pela British Telecom e pela NTT do Japão.

Genérico: esse tipo de benchmark está focado na excelência de um processo, e normalmente é o mais difícil de se realizar. Ele tem o potencial de revelar "a melhor" das práticas.

Perguntas - A escolha do tipo de benchmark a ser utilizado depende do objetivo a ser alcançado. Assim, o ponto inicial para a realização de um benchmark é saber "qual o objeto do benchmark e o porquê". A falta das perguntas certas no início do processo pode resultar em um benchmark demasiadamente prolongado e sem resultados conclusivos. 

Uma vez feitas as perguntas certas, podemos passar à etapa seguinte, que é a definção do processo de benchmark. O benchmark deve ser tratado como um processo estruturado, com o desenvolvimento de um modelo "passo-a-passo". 

Algumas premissas devem ser consideradas para termos um modelo bem sucedido. O importante é ter uma seqüência lógica:
Estabeleça um modelo básico e simples. Um benchmark com quinze etapas não significa necessariamente um benchmark melhor do que outro com seis etapas;
Tenha um modelo claro e preciso;
Estabeleça uma faixa de resultados esperados, para se ter um padrão de normalização;
Identifique a equipe para realizar o benchmark;
Defina as ferramentas adequadas para a análise e avaliação dos resultados;
Verifique que todos os recursos (pessoas, tempo, sistemas, fundos) estejam disponíveis para se atingir os objetivos.

Escala - O mais importante para a realização do benchmark é avaliar um modelo simplificado, um processo que corresponda à vida real. Vamos considerar, como exemplo, a definição de um novo processo de tarifação de uma empresa de distribuição de eletricidade. Obviamente, esse processo, quando ocorre em um ambiente de produção real, envolve inúmeras variáveis. Em nosso caso, poderíamos simplificá-lo, considerando apenas as partes críticas a serem medidas, analisadas e melhoradas. Em vez de avaliar o comportamento do sistema numa cidade como São Paulo ou Rio de Janeiro, podemos simular um teste com dados de uma cidade bem menor, como Jacareí.

Uma vez criado todo o ambiente de simulação e definido um processo de escala - para que o modelo tenha validade numa escala muito maior -, podemos realizar os testes, os resultados e até variar as simulações, para prever situações de anormalidade.

Uma das falhas mais comuns em benchmarks é a consideração de processos irrelevantes ou que possam deturpar os resultados. Um benchmark normalmente tem um custo elevado, e uma informação utilizada de forma errada ou falha pode acarretar desperdícios ou até conclusões equivocadas. É muito comum utilizar-se um parâmetro numérico único como base de todo um processo e extrapolar esse parâmetro para todo tipo de escala. Esse tipo de erro é muito comum em benchmarks comparativos de computadores, quando se utiliza um resultado de testes conhecidos da indústria (tipo TPC-C ou SPEC) como referência de capacidade de um equipamento, não considerando o aplicativo (ou software) que será utilizado, configuração do sistema etc.

Sempre devemos lembrar que todo benchmark tem um custo envolvido. Mas, quando ele é bem planejado e realizado com critério, traz inúmeros benefícios. Portanto, não deixe de responder a uma pergunta inicial básica: eu realmente preciso realizar um benchmark?

(*) Nilton Guedes é diretor técnico da Sun Microsystems do Brasil.