2008/4/6 Pablo Sánchez <[EMAIL PROTECTED]>:
> Em 05/04/08, Paulo Henrique<[EMAIL PROTECTED]> escreveu:
>
> > Modelo de benchmark válido.
> > Após ler essa thread estive pensando em como coloca benchmarks válidos sem
> > argumentos de contradição.
> >
> > A primeira nota seria sobre Hardware:
> >
> > Todos os hardware deveria ser de igual configuração sendo eles em lote de
> > fabricação iguais.
>
> Incorreto. Todos eles deveriam ser no mesmo hardware, inclusive no
> mesmo HD, e sem a questão de ter dual boot, o OS deve estar sozinho no
> HD, ocupando desde o início, pois de acordo com a posição no HD, o
> arquivo demora mais ou menos para ser acessado (uma mera questão de
> física).
Deve ser mais rígido ainda, com algo que ninguém, ou quase ninguém, faz.
Preparar uma imagem do HD, e só executar o teste uma vez só com ela,
e para repetir o teste, restaurar a imagem. Muitos testes criam arquivos
temporários, logs etc, o que muda a alocação de arquivos do disco, e pode
interferir no resultado. Testes de banco de dados podem ser mais sensíveis
a isto. Depois guardar esta imagem como referência para o teste, como
uma das documentações do teste. Talvez disponibilizar para download.
>
>
> > E que permitiria ao sistema utilizar seus recursos de performace sem
> > interferência.
> > Ou todos os teste executado sobre o mesmo hardware, o que daria ainda um
> > argumento para questionamento do hardware; desgate sofrido pelos teste já
> > executados em outros sistemas.
>
> Dificilmente haveria desgaste tão rápido que pudesse ser levado em
> consideração.
As diferenças que um teste faz com um sistema de arquivos são muito
mais importantes do que desgaste.
>
>
> > e atravez de teste como o calculo do pi não ouver nenhuma diferença no
> > resultado.
> >
> > Segunda nota Systema.
> >
> > Ultima versão do sistema da data do benchmark.
>
> ok
Não necessariamente a última, mas tem que deixar claro a que usou.
>
>
> > Terceira nota, Implementador do sistema.
> >
> > Atravez de testes em cada sistema por tres implementadores especialista no
> > sistema no qual irá ser testado. diferentes sobre as mesmas condições do
> > benchmark final, o que possuir melhores resultados ser o implementará o
> > sistema final para comparação com os demais sistemas.
>
> ok
Pode juntar os 3 para trocarem idéias e atingir o méximo possível.
>
>
> > Quarta nota, Aplicações.
> >
> >
> > A aplicação incluira todo o suporte tanto sobre velocidade como em
> > estabilidade em sua compilação e instalação assim como configuração e
> > baseado em ambiente real de produção. Contento considerações de segurança.
>
> ok. Não vale pegar e levantar todas as defesas em um, e baixar no
> outro para ganhar performance. Deve ser pensado que o sistema sofrerá
> TODO o tipo de ataque.
Depende do que está pensando. Se o teste for sem levar em conta defesas,
todos deverão ser implementados assim. Com ou sem defesa, elas tem que
ser documentadas.
>
>
> > Quinta e ultima nota ao meu intendimento não inerente ao benchmark.
> > Cada pessoa tem que respeitar os resultados, e admitir a real situação do
> > sistema atravez dos resultados obtidos.
>
> Agora ficou doidão. :-P Não, a pessoa pode questionar sim, pois
> através do questionamento pode trazer itens que não foram inclusos na
> configuração do sistema que modificam completamente a performance.
> Então, todo o benchmark é passível de questionamento, se não foss,
> fazíamos apenas um e usávamos apenas o sistema operacional que prestou
> na ocasião...
O questionamente deve ser construtivo, embasado, e não um simples
"discordo por que não gostei do resultado". Se não gostou, diga por que
não gostou, desde que seja embasado, dê sugestões, e batalhe para
melhorar o sistema, se achar que o resultado deste teste seja importante.
>
>
> > E executar o benchmark sobre o mesmo hardware em no minimo duração de uma
> > semana e o pior resultado será o valido no final do benchmark.
Discordo. Seria interessante a média, dizendo o mínimo, o máximo, e
se possível o desvio padrão. Disponibilizar cada um dos resultados
individuais de cada teste. Pode fazer também sobre o mesmo HD sem
recolocação da imagem, e com a recolocação da imagem, para testar
a repetitividade dos resultados.
> >
> > Esse seria os criterio creio eu para um benchmark entre sistemas.
> > Não tenho a menor intenção de criar flames e adoraria ter novas
> > considerações dos colegas para uma fidelidade corrente do benchmark.
> >
> > Obrigado a todos e me desculpe caso tenha dado algum criterio errôneo.
>
> Relaxa, vc pelo menos parou para pensar nisso, eu nem tive tempo. :-P
>
> Um abc
>
>
Abraços,
João Rocha.
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
--
"Sempre se apanha mais com as menores besteiras. Experiência própria."
[EMAIL PROTECTED]
[EMAIL PROTECTED]
http://www.goffredo.eti.br
-------------------------
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
