Re: [FUG-BR] erro do squid xcalloc e xmalloc
-BEGIN PGP SIGNED MESSAGE- Hash: SHA1 Anderson Eduardo wrote: | quando coloco um cache_mem baixo funciona normal,quando aumento o cache_mem ele apresenta o problema Isso provavelmente não vai resolver seu problema, mas, pelo que li no site do Squid, o cache_mem não é um limite, pois ele vai usar mais memória se necessário (ou estou enganado?). Portanto, por que aumentar o cache_mem? - -- João Paulo Just Diretor Executivo - Justsoft Informática Ltda. http://www.justsoft.com.br/ - -- Feira de Santana, BA, Brasil. +55 75 8104 8473 Blog: http://just.rg3.net/ -BEGIN PGP SIGNATURE- Version: GnuPG v1.4.6 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org iD8DBQFI1jQXXL+vuN2d7ZwRAi+OAJ9nSqnFn1j0D0UgHZTwM3ppvHS7BgCePWUz SM2CygYk4PW9hkb3YDPdIbA= =11YK -END PGP SIGNATURE- - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] erro do squid xcalloc e xmalloc
cache_mem vc limita somente a quantidade de memoria que o processo vai usar para os objetos em transito ... este erro ai é porque o squid tenta alocar uma quantidade de memoria e o sistema não tem ou não permite ... 2008/9/21 João Paulo Just <[EMAIL PROTECTED]>: > -BEGIN PGP SIGNED MESSAGE- > Hash: SHA1 > > Anderson Eduardo wrote: > | quando coloco um cache_mem baixo funciona normal,quando aumento o > cache_mem ele apresenta o problema > > Isso provavelmente não vai resolver seu problema, mas, pelo que li no > site do Squid, o cache_mem não é um limite, pois ele vai usar mais > memória se necessário (ou estou enganado?). Portanto, por que aumentar o > cache_mem? > > - -- > João Paulo Just > Diretor Executivo - Justsoft Informática Ltda. > http://www.justsoft.com.br/ > - -- > Feira de Santana, BA, Brasil. > +55 75 8104 8473 > Blog: http://just.rg3.net/ > -BEGIN PGP SIGNATURE- > Version: GnuPG v1.4.6 (GNU/Linux) > Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org > > iD8DBQFI1jQXXL+vuN2d7ZwRAi+OAJ9nSqnFn1j0D0UgHZTwM3ppvHS7BgCePWUz > SM2CygYk4PW9hkb3YDPdIbA= > =11YK > -END PGP SIGNATURE- > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Sds. Alexandre J. Correa Onda Internet / OPinguim.net http://www.ondainternet.com.br http://www.opinguim.net - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] erro do squid xcalloc e xmalloc
Citando João Paulo Just: > -BEGIN PGP SIGNED MESSAGE- > Hash: SHA1 > > Anderson Eduardo wrote: > | quando coloco um cache_mem baixo funciona normal,quando aumento o > | cache_mem ele apresenta o problema > > Isso provavelmente não vai resolver seu problema, mas, pelo que li no > site do Squid, o cache_mem não é um limite, pois ele vai usar mais > memória se necessário (ou estou enganado?). Portanto, por que aumentar o > cache_mem? documentações servem pra isso. não está enganado (; > - -- > João Paulo Just eduardo; http://www.comfsm.fm/computing/squid/FAQ-8.html http://www.squid-cache.org/mail-archive/squid-users/200803/0105.html - Webmail SecrelNet - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] Cache squid de 1 Tb
Prezados, Estamos com um servidor Quad 6600 com 8Gb de ram. Temos 2 HDs Satas2 de 500Gb cada. Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. Então criei 56 diretórios pra cache no SQUID.: cache_dir aufs /cache1 7770 16 128 cache_dir aufs /cache2 7770 16 128 cache_dir aufs /cache3 7770 16 128 cache_dir aufs /cache4 7770 16 128 ... cache_dir aufs /cache55 7770 16 128 cache_dir aufs /cache56 7770 16 128 Tá funcionando bem mas mesmo com o cache zerado em poucos minutos começa a ter os famigerados: squidaio_queue_request: WARNING - Queue congestion O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não passam de 21% sob fogo cruzado (14mbps de link). Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no Brasil. Pergunto: Qual a melhor forma de aproveitar esse cache? Realmente esse congestioamento é por I/O lento? Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? Ats, Ademir Peixoto - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > Prezados, > >Estamos com um servidor Quad 6600 com 8Gb de ram. >Temos 2 HDs Satas2 de 500Gb cada. >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >Então criei 56 diretórios pra cache no SQUID.: >cache_dir aufs /cache1 7770 16 128 >cache_dir aufs /cache2 7770 16 128 >cache_dir aufs /cache3 7770 16 128 >cache_dir aufs /cache4 7770 16 128 >... >cache_dir aufs /cache55 7770 16 128 >cache_dir aufs /cache56 7770 16 128 Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para sistema e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache montado sobre um unico ponto, a io pode ser baixa mais os disco podem estar na capacidade maxima, Outra coisa interessante é se caso tiver dois discos Iguais, poderia implementar RAID 1, pois aumentaria consideravelmente a performace, só que aconselho usar controladoras off-board, pois RAID por software pelo que já li o FreeBSD não encara bem, ainda bem. :D > > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos começa > a ter os famigerados: >squidaio_queue_request: WARNING - Queue congestion > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não passam > de 21% sob fogo cruzado (14mbps de link). >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > Brasil. > >Pergunto: > >Qual a melhor forma de aproveitar esse cache? > >Realmente esse congestioamento é por I/O lento? > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > > >Ats, > >Ademir Peixoto > > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Bom fica ai a dica, até mais. -- Atenciosamente Paulo Henrique. "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, não teremos tudo que queremos, contudo não veremos mais o que não queremos." "A real definição sobre deus se dá pelo fato do ser humano ser covarde o suficiente, colocando a culpa em algo que não existe para manter a conciência "limpa"". - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
wiki.squid-cache.org em algum lugar la.. fala que.. eh melhor por ex.. 10 hds de 120gb ... do que 2 de 500gb... (obviamente que sim) nao seis e o hd aguenta voce criar mais de 2 cache_dir por hd.. vai ocasionar esses "congestion" ai porque o hd nao vai dar conta de atender.. o squid considera cada cache_dir sendo um "hd" .. para cada cache_dir ele cria N threads... 2008/9/21 Paulo Henrique <[EMAIL PROTECTED]>: > 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > >> Prezados, >> >>Estamos com um servidor Quad 6600 com 8Gb de ram. >>Temos 2 HDs Satas2 de 500Gb cada. >>Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 >> partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >>Então criei 56 diretórios pra cache no SQUID.: >>cache_dir aufs /cache1 7770 16 128 >>cache_dir aufs /cache2 7770 16 128 >>cache_dir aufs /cache3 7770 16 128 >>cache_dir aufs /cache4 7770 16 128 >>... >>cache_dir aufs /cache55 7770 16 128 >>cache_dir aufs /cache56 7770 16 128 > > > Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para sistema > e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache > montado sobre um unico ponto, a io pode ser baixa mais os disco podem estar > na capacidade maxima, > Outra coisa interessante é se caso tiver dois discos Iguais, poderia > implementar RAID 1, pois aumentaria consideravelmente a performace, só que > aconselho usar controladoras off-board, pois RAID por software pelo que já > li o FreeBSD não encara bem, ainda bem. :D > > > >> >> >>Tá funcionando bem mas mesmo com o cache zerado em poucos minutos começa >> a ter os famigerados: >>squidaio_queue_request: WARNING - Queue congestion >> >>O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não passam >> de 21% sob fogo cruzado (14mbps de link). >>Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. >> >>Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa >> capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no >> Brasil. >> >>Pergunto: >> >>Qual a melhor forma de aproveitar esse cache? >> >>Realmente esse congestioamento é por I/O lento? >> >>Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? >> >> >> >>Ats, >> >>Ademir Peixoto >> >> >> >> - >> Histórico: http://www.fug.com.br/historico/html/freebsd/ >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd >> > Bom fica ai a dica, até mais. > > > -- > Atenciosamente Paulo Henrique. > "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" > "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, > não teremos tudo que queremos, contudo não veremos mais o que não queremos." > "A real definição sobre deus se dá pelo fato do ser humano ser covarde o > suficiente, > colocando a culpa em algo que não existe para manter a conciência "limpa"". > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Sds. Alexandre J. Correa Onda Internet / OPinguim.net http://www.ondainternet.com.br http://www.opinguim.net - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
Olá Paulo, Na verdade esse 1Tb é apenas de cache. O FreeBSD e seus acessórios estão em outro HD em separado. É que sempre lemos que partições acima de 10Gb perdem rendimento no FreeBSD. (por isso que queria tentar o XFS) Estou pensando em dividir o cache em várias instâncias e amarrá-los em modo pai-filho pra aproveitar o SMP do Quad. Alguém tem alguma documentação de Squid Intanciado que aceite o modo transparente do IPFW? Ats, Ademir Peixoto - Original Message - From: "Paulo Henrique" <[EMAIL PROTECTED]> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" Sent: Sunday, September 21, 2008 6:01 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > Prezados, > >Estamos com um servidor Quad 6600 com 8Gb de ram. >Temos 2 HDs Satas2 de 500Gb cada. >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >Então criei 56 diretórios pra cache no SQUID.: >cache_dir aufs /cache1 7770 16 128 >cache_dir aufs /cache2 7770 16 128 >cache_dir aufs /cache3 7770 16 128 >cache_dir aufs /cache4 7770 16 128 >... >cache_dir aufs /cache55 7770 16 128 >cache_dir aufs /cache56 7770 16 128 Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para sistema e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache montado sobre um unico ponto, a io pode ser baixa mais os disco podem estar na capacidade maxima, Outra coisa interessante é se caso tiver dois discos Iguais, poderia implementar RAID 1, pois aumentaria consideravelmente a performace, só que aconselho usar controladoras off-board, pois RAID por software pelo que já li o FreeBSD não encara bem, ainda bem. :D > > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > começa > a ter os famigerados: >squidaio_queue_request: WARNING - Queue congestion > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > passam > de 21% sob fogo cruzado (14mbps de link). >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > Brasil. > >Pergunto: > >Qual a melhor forma de aproveitar esse cache? > >Realmente esse congestioamento é por I/O lento? > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > > >Ats, > >Ademir Peixoto > > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Bom fica ai a dica, até mais. -- Atenciosamente Paulo Henrique. "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, não teremos tudo que queremos, contudo não veremos mais o que não queremos." "A real definição sobre deus se dá pelo fato do ser humano ser covarde o suficiente, colocando a culpa em algo que não existe para manter a conciência "limpa"". - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
Olá Ademir, Como o Alexandre disse, o problema é a quantidade de partição no mesmo disco, resultando no congestionamento pois o squid irá acessar simultaneamente as partições criadas e sabemos que isso não funciona muito bem, a não ser que inventem um HD com uns 200 braços de acesso ao disco. O interessante ai na sua situação é fazer o RAID 0 (stripping) para obter a velocidade deste recurso e dividir estes 1 TB em no maximo 4 partições. Vale mais perder um pouco de desempenho pelos tamanhos das partições do que ficar gerando congestionamento ;-) Abraços. -- Atenciosamente, Victor Gustavo Volpe Diretor Executivo Grupo Total Serviços de Internet LTDA - ME CNPJ: 08.776.401/0001-40 (17) 3227-0686 / 9105-5392 - Original Message - From: "Ademir Costa Peixoto" <[EMAIL PROTECTED]> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" Sent: Sunday, September 21, 2008 6:25 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb Olá Paulo, Na verdade esse 1Tb é apenas de cache. O FreeBSD e seus acessórios estão em outro HD em separado. É que sempre lemos que partições acima de 10Gb perdem rendimento no FreeBSD. (por isso que queria tentar o XFS) Estou pensando em dividir o cache em várias instâncias e amarrá-los em modo pai-filho pra aproveitar o SMP do Quad. Alguém tem alguma documentação de Squid Intanciado que aceite o modo transparente do IPFW? Ats, Ademir Peixoto - Original Message - From: "Paulo Henrique" <[EMAIL PROTECTED]> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" Sent: Sunday, September 21, 2008 6:01 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > Prezados, > >Estamos com um servidor Quad 6600 com 8Gb de ram. >Temos 2 HDs Satas2 de 500Gb cada. >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >Então criei 56 diretórios pra cache no SQUID.: >cache_dir aufs /cache1 7770 16 128 >cache_dir aufs /cache2 7770 16 128 >cache_dir aufs /cache3 7770 16 128 >cache_dir aufs /cache4 7770 16 128 >... >cache_dir aufs /cache55 7770 16 128 >cache_dir aufs /cache56 7770 16 128 Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para sistema e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache montado sobre um unico ponto, a io pode ser baixa mais os disco podem estar na capacidade maxima, Outra coisa interessante é se caso tiver dois discos Iguais, poderia implementar RAID 1, pois aumentaria consideravelmente a performace, só que aconselho usar controladoras off-board, pois RAID por software pelo que já li o FreeBSD não encara bem, ainda bem. :D > > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > começa > a ter os famigerados: >squidaio_queue_request: WARNING - Queue congestion > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > passam > de 21% sob fogo cruzado (14mbps de link). >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > Brasil. > >Pergunto: > >Qual a melhor forma de aproveitar esse cache? > >Realmente esse congestioamento é por I/O lento? > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > > >Ats, > >Ademir Peixoto > > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > Bom fica ai a dica, até mais. -- Atenciosamente Paulo Henrique. "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, não teremos tudo que queremos, contudo não veremos mais o que não queremos." "A real definição sobre deus se dá pelo fato do ser humano ser covarde o suficiente, colocando a culpa em algo que não existe para manter a conciência "limpa"". - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd __ NOD32 3458 (20080921) Information __ This message was checked by NOD32 antivirus system. http://www.eset.com - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
Já testou usar ZFS ele não é ainda suportado no raiz mais para o que você quer eh excelente, e pelo que li é de otima performace. Compreendo, mais o Alexandre Correa passou uns pontos legais para se pensar. 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > Olá Paulo, > >Na verdade esse 1Tb é apenas de cache. O FreeBSD e seus acessórios estão > em outro HD em separado. >É que sempre lemos que partições acima de 10Gb perdem rendimento no > FreeBSD. (por isso que queria tentar o XFS) Onde está essa documentação pois não me lembro de ter lido sobre tal problema. > >Estou pensando em dividir o cache em várias instâncias e amarrá-los em > modo pai-filho pra aproveitar o SMP do Quad. Creio ser desnecessáio pois o Squid ele suporta Ptreads pelo que lembro de ter lido, eh dessa forma que ele trabalha com multiprocessamento simetrico. > >Alguém tem alguma documentação de Squid Intanciado que aceite o modo > transparente do IPFW? Parece que XFS ainda é experimental no FreeBSD. > > > > >Ats, > >Ademir Peixoto > > > - Original Message - > From: "Paulo Henrique" <[EMAIL PROTECTED]> > To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" > > Sent: Sunday, September 21, 2008 6:01 PM > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > > 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > > > Prezados, > > > >Estamos com um servidor Quad 6600 com 8Gb de ram. > >Temos 2 HDs Satas2 de 500Gb cada. > >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. > >Então criei 56 diretórios pra cache no SQUID.: > >cache_dir aufs /cache1 7770 16 128 > >cache_dir aufs /cache2 7770 16 128 > >cache_dir aufs /cache3 7770 16 128 > >cache_dir aufs /cache4 7770 16 128 > >... > >cache_dir aufs /cache55 7770 16 128 > >cache_dir aufs /cache56 7770 16 128 > > > Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para > sistema > e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache > montado sobre um unico ponto, a io pode ser baixa mais os disco podem estar > na capacidade maxima, > Outra coisa interessante é se caso tiver dois discos Iguais, poderia > implementar RAID 1, pois aumentaria consideravelmente a performace, só que > aconselho usar controladoras off-board, pois RAID por software pelo que já > li o FreeBSD não encara bem, ainda bem. :D > > > > > > > > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > > começa > > a ter os famigerados: > >squidaio_queue_request: WARNING - Queue congestion > > > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > > passam > > de 21% sob fogo cruzado (14mbps de link). > >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. > > > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > > Brasil. > > > >Pergunto: > > > >Qual a melhor forma de aproveitar esse cache? > > > >Realmente esse congestioamento é por I/O lento? > > > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > > > > > > >Ats, > > > >Ademir Peixoto > > > > > > > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > Bom fica ai a dica, até mais. > > > -- > Atenciosamente Paulo Henrique. > "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" > "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, > não teremos tudo que queremos, contudo não veremos mais o que não > queremos." > "A real definição sobre deus se dá pelo fato do ser humano ser covarde o > suficiente, > colocando a culpa em algo que não existe para manter a conciência "limpa"". > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Atenciosamente Paulo Henrique. "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, não teremos tudo que queremos, contudo não veremos mais o que não queremos." "A real definição sobre deus se dá pelo fato do ser humano ser covarde o suficiente, colocando a culpa em algo que não existe para manter a conciência "limpa"". - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
2008/9/21 Victor <[EMAIL PROTECTED]> > Olá Ademir, > > Como o Alexandre disse, o problema é a quantidade de partição no mesmo > disco, resultando no congestionamento pois o squid irá acessar > simultaneamente as partições criadas e sabemos que isso não funciona muito > bem, a não ser que inventem um HD com uns 200 braços de acesso ao disco. O > interessante ai na sua situação é fazer o RAID 0 (stripping) Pelo que me lembro de ter lido RAID 0 não é mirror, e RAID 1 que é Stripping ? > para obter a > velocidade deste recurso e dividir estes 1 TB em no maximo 4 partições. > Vale > mais perder um pouco de desempenho pelos tamanhos das partições do que > ficar > gerando congestionamento ;-) > > Abraços. > > > -- > Atenciosamente, > Victor Gustavo Volpe > Diretor Executivo > Grupo Total Serviços de Internet LTDA - ME > CNPJ: 08.776.401/0001-40 > (17) 3227-0686 / 9105-5392 > > - Original Message - > From: "Ademir Costa Peixoto" <[EMAIL PROTECTED]> > To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" > > Sent: Sunday, September 21, 2008 6:25 PM > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > > Olá Paulo, > >Na verdade esse 1Tb é apenas de cache. O FreeBSD e seus acessórios estão > em outro HD em separado. >É que sempre lemos que partições acima de 10Gb perdem rendimento no > FreeBSD. (por isso que queria tentar o XFS) >Estou pensando em dividir o cache em várias instâncias e amarrá-los em > modo pai-filho pra aproveitar o SMP do Quad. >Alguém tem alguma documentação de Squid Intanciado que aceite o modo > transparente do IPFW? > > > >Ats, > >Ademir Peixoto > > > - Original Message - > From: "Paulo Henrique" <[EMAIL PROTECTED]> > To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" > > Sent: Sunday, September 21, 2008 6:01 PM > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > > 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > > > Prezados, > > > >Estamos com um servidor Quad 6600 com 8Gb de ram. > >Temos 2 HDs Satas2 de 500Gb cada. > >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. > >Então criei 56 diretórios pra cache no SQUID.: > >cache_dir aufs /cache1 7770 16 128 > >cache_dir aufs /cache2 7770 16 128 > >cache_dir aufs /cache3 7770 16 128 > >cache_dir aufs /cache4 7770 16 128 > >... > >cache_dir aufs /cache55 7770 16 128 > >cache_dir aufs /cache56 7770 16 128 > > > Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para > sistema > e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache > montado sobre um unico ponto, a io pode ser baixa mais os disco podem estar > na capacidade maxima, > Outra coisa interessante é se caso tiver dois discos Iguais, poderia > implementar RAID 1, pois aumentaria consideravelmente a performace, só que > aconselho usar controladoras off-board, pois RAID por software pelo que já > li o FreeBSD não encara bem, ainda bem. :D > > > > > > > > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > > começa > > a ter os famigerados: > >squidaio_queue_request: WARNING - Queue congestion > > > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > > passam > > de 21% sob fogo cruzado (14mbps de link). > >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. > > > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > > Brasil. > > > >Pergunto: > > > >Qual a melhor forma de aproveitar esse cache? > > > >Realmente esse congestioamento é por I/O lento? > > > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > > > > > > >Ats, > > > >Ademir Peixoto > > > > > > > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > Bom fica ai a dica, até mais. > > > -- > Atenciosamente Paulo Henrique. > "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" > "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, > não teremos tudo que queremos, contudo não veremos mais o que não > queremos." > "A real definição sobre deus se
Re: [FUG-BR] Cache squid de 1 Tb
.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > Bom fica ai a dica, até mais. > > > -- > Atenciosamente Paulo Henrique. > "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" > "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, > não teremos tudo que queremos, contudo não veremos mais o que não > queremos." > "A real definição sobre deus se dá pelo fato do ser humano ser covarde o > suficiente, > colocando a culpa em algo que não existe para manter a conciência > "limpa"". > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > __ NOD32 3458 (20080921) Information __ > > This message was checked by NOD32 antivirus system. > http://www.eset.com > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Atenciosamente Paulo Henrique. "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, não teremos tudo que queremos, contudo não veremos mais o que não queremos." "A real definição sobre deus se dá pelo fato do ser humano ser covarde o suficiente, colocando a culpa em algo que não existe para manter a conciência "limpa"". - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd __ NOD32 3458 (20080921) Information __ This message was checked by NOD32 antivirus system. http://www.eset.com - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
Olá Alexandre, No caso em especial é melhor voltar ao DISKD ou o AUFS está mais eficiente na versão 3.0x? Ats, Ademir Peixoto - Original Message - From: "Alexandre Correa" <[EMAIL PROTECTED]> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" Sent: Sunday, September 21, 2008 6:23 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb wiki.squid-cache.org em algum lugar la.. fala que.. eh melhor por ex.. 10 hds de 120gb ... do que 2 de 500gb... (obviamente que sim) nao seis e o hd aguenta voce criar mais de 2 cache_dir por hd.. vai ocasionar esses "congestion" ai porque o hd nao vai dar conta de atender.. o squid considera cada cache_dir sendo um "hd" .. para cada cache_dir ele cria N threads... 2008/9/21 Paulo Henrique <[EMAIL PROTECTED]>: > 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > >> Prezados, >> >>Estamos com um servidor Quad 6600 com 8Gb de ram. >>Temos 2 HDs Satas2 de 500Gb cada. >>Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 >> partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >>Então criei 56 diretórios pra cache no SQUID.: >>cache_dir aufs /cache1 7770 16 128 >>cache_dir aufs /cache2 7770 16 128 >>cache_dir aufs /cache3 7770 16 128 >>cache_dir aufs /cache4 7770 16 128 >>... >>cache_dir aufs /cache55 7770 16 128 >>cache_dir aufs /cache56 7770 16 128 > > > Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para > sistema > e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache > montado sobre um unico ponto, a io pode ser baixa mais os disco podem > estar > na capacidade maxima, > Outra coisa interessante é se caso tiver dois discos Iguais, poderia > implementar RAID 1, pois aumentaria consideravelmente a performace, só que > aconselho usar controladoras off-board, pois RAID por software pelo que já > li o FreeBSD não encara bem, ainda bem. :D > > > >> >> >>Tá funcionando bem mas mesmo com o cache zerado em poucos minutos >> começa >> a ter os famigerados: >>squidaio_queue_request: WARNING - Queue congestion >> >>O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não >> passam >> de 21% sob fogo cruzado (14mbps de link). >>Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. >> >>Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa >> capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no >> Brasil. >> >>Pergunto: >> >>Qual a melhor forma de aproveitar esse cache? >> >>Realmente esse congestioamento é por I/O lento? >> >>Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? >> >> >> >>Ats, >> >>Ademir Peixoto >> >> >> >> - >> Histórico: http://www.fug.com.br/historico/html/freebsd/ >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd >> > Bom fica ai a dica, até mais. > > > -- > Atenciosamente Paulo Henrique. > "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" > "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, > não teremos tudo que queremos, contudo não veremos mais o que não > queremos." > "A real definição sobre deus se dá pelo fato do ser humano ser covarde o > suficiente, > colocando a culpa em algo que não existe para manter a conciência > "limpa"". > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Sds. Alexandre J. Correa Onda Internet / OPinguim.net http://www.ondainternet.com.br http://www.opinguim.net - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
Paulo, Era isso que estava tentando. Onde acho documentação do ZFS no Free (será usado apenas nos 2 HDs de cache)? Ats, Ademir Peixoto - Original Message - From: "Paulo Henrique" <[EMAIL PROTECTED]> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" Sent: Sunday, September 21, 2008 6:41 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb Já testou usar ZFS ele não é ainda suportado no raiz mais para o que você quer eh excelente, e pelo que li é de otima performace. Compreendo, mais o Alexandre Correa passou uns pontos legais para se pensar. 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > Olá Paulo, > >Na verdade esse 1Tb é apenas de cache. O FreeBSD e seus acessórios > estão > em outro HD em separado. >É que sempre lemos que partições acima de 10Gb perdem rendimento no > FreeBSD. (por isso que queria tentar o XFS) Onde está essa documentação pois não me lembro de ter lido sobre tal problema. > >Estou pensando em dividir o cache em várias instâncias e amarrá-los em > modo pai-filho pra aproveitar o SMP do Quad. Creio ser desnecessáio pois o Squid ele suporta Ptreads pelo que lembro de ter lido, eh dessa forma que ele trabalha com multiprocessamento simetrico. > >Alguém tem alguma documentação de Squid Intanciado que aceite o modo > transparente do IPFW? Parece que XFS ainda é experimental no FreeBSD. > > > > >Ats, > >Ademir Peixoto > > > - Original Message - > From: "Paulo Henrique" <[EMAIL PROTECTED]> > To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" > > Sent: Sunday, September 21, 2008 6:01 PM > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > > 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > > > Prezados, > > > >Estamos com um servidor Quad 6600 com 8Gb de ram. > >Temos 2 HDs Satas2 de 500Gb cada. > >Fui particionar ele ontem pra ter slices menores e só consegui fazer > > 4 > > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. > >Então criei 56 diretórios pra cache no SQUID.: > >cache_dir aufs /cache1 7770 16 128 > >cache_dir aufs /cache2 7770 16 128 > >cache_dir aufs /cache3 7770 16 128 > >cache_dir aufs /cache4 7770 16 128 > >... > >cache_dir aufs /cache55 7770 16 128 > >cache_dir aufs /cache56 7770 16 128 > > > Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para > sistema > e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache > montado sobre um unico ponto, a io pode ser baixa mais os disco podem > estar > na capacidade maxima, > Outra coisa interessante é se caso tiver dois discos Iguais, poderia > implementar RAID 1, pois aumentaria consideravelmente a performace, só que > aconselho usar controladoras off-board, pois RAID por software pelo que já > li o FreeBSD não encara bem, ainda bem. :D > > > > > > > > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > > começa > > a ter os famigerados: > >squidaio_queue_request: WARNING - Queue congestion > > > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > > passam > > de 21% sob fogo cruzado (14mbps de link). > >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. > > > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > > Brasil. > > > >Pergunto: > > > >Qual a melhor forma de aproveitar esse cache? > > > >Realmente esse congestioamento é por I/O lento? > > > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > > > > > > >Ats, > > > >Ademir Peixoto > > > > > > > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > Bom fica ai a dica, até mais. > > > -- > Atenciosamente Paulo Henrique. > "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" > "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, > não teremos tudo que queremos, contudo não veremos mais o que não > queremos." > "A real definição sobre deus se dá pelo fato do ser humano ser covarde o > suficiente, > colocando a culpa em algo que não existe para manter a conciência > "limpa"". > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Atenciosamente Paulo Henrique. "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, não teremos tudo que queremos, contudo não veremos mais o que não queremos." "A real definição sobre deus se dá pelo fato do ser humano ser covarde o suficiente, colocando a culpa em algo que não existe pa
Re: [FUG-BR] Cache squid de 1 Tb
Vitor Obrigado, me confundi ... Bom creio eu que as informações que deseja se encontra nesse sitio.. e seus links. http://wiki.freebsd.org/ZFS Até mais. 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > Paulo, > >Era isso que estava tentando. >Onde acho documentação do ZFS no Free (será usado apenas nos 2 HDs de > cache)? > >Ats, > >Ademir Peixoto > > > > - Original Message - > From: "Paulo Henrique" <[EMAIL PROTECTED]> > To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" > > Sent: Sunday, September 21, 2008 6:41 PM > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > > Já testou usar ZFS ele não é ainda suportado no raiz mais para o que você > quer eh excelente, e pelo que li é de otima performace. > > Compreendo, mais o Alexandre Correa passou uns pontos legais para se > pensar. > > 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > > > Olá Paulo, > > > >Na verdade esse 1Tb é apenas de cache. O FreeBSD e seus acessórios > > estão > > em outro HD em separado. > >É que sempre lemos que partições acima de 10Gb perdem rendimento no > > FreeBSD. (por isso que queria tentar o XFS) > > Onde está essa documentação pois não me lembro de ter lido sobre tal > problema. > > > > >Estou pensando em dividir o cache em várias instâncias e amarrá-los em > > modo pai-filho pra aproveitar o SMP do Quad. > > Creio ser desnecessáio pois o Squid ele suporta Ptreads pelo que lembro de > ter lido, > eh dessa forma que ele trabalha com multiprocessamento simetrico. > > > > >Alguém tem alguma documentação de Squid Intanciado que aceite o modo > > transparente do IPFW? > > Parece que XFS ainda é experimental no FreeBSD. > > > > > > > > > > >Ats, > > > >Ademir Peixoto > > > > > > - Original Message - > > From: "Paulo Henrique" <[EMAIL PROTECTED]> > > To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" > > > > Sent: Sunday, September 21, 2008 6:01 PM > > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > > > > > 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]> > > > > > Prezados, > > > > > >Estamos com um servidor Quad 6600 com 8Gb de ram. > > >Temos 2 HDs Satas2 de 500Gb cada. > > >Fui particionar ele ontem pra ter slices menores e só consegui fazer > > > 4 > > > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. > > >Então criei 56 diretórios pra cache no SQUID.: > > >cache_dir aufs /cache1 7770 16 128 > > >cache_dir aufs /cache2 7770 16 128 > > >cache_dir aufs /cache3 7770 16 128 > > >cache_dir aufs /cache4 7770 16 128 > > >... > > >cache_dir aufs /cache55 7770 16 128 > > >cache_dir aufs /cache56 7770 16 128 > > > > > > Já pensou e jogar tudo em uma unica partição, tipo coloca 20Gbs para > > sistema > > e afins, uns 30 Gbs para logs, caso o use, e o restante todo para o Cache > > montado sobre um unico ponto, a io pode ser baixa mais os disco podem > > estar > > na capacidade maxima, > > Outra coisa interessante é se caso tiver dois discos Iguais, poderia > > implementar RAID 1, pois aumentaria consideravelmente a performace, só > que > > aconselho usar controladoras off-board, pois RAID por software pelo que > já > > li o FreeBSD não encara bem, ainda bem. :D > > > > > > > > > > > > > > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > > > começa > > > a ter os famigerados: > > >squidaio_queue_request: WARNING - Queue congestion > > > > > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > > > passam > > > de 21% sob fogo cruzado (14mbps de link). > > >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. > > > > > >Antes que alguém fale de SCSI eu já respondo que não exitem hds > dessa > > > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > > > Brasil. > > > > > >Pergunto: > > > > > >Qual a melhor forma de aproveitar esse cache? > > > > > >Realmente esse congestioamento é por I/O lento? > > > > > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > > > > > > > > > > >Ats, > > > > > >Ademir Peixoto > > > > > > > > > > > > - > > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > > Bom fica ai a dica, até mais. > > > > > > -- > > Atenciosamente Paulo Henrique. > > "Obrigado não, que é do Diabo Capital. Agradecido, que é de bom saber" > > "A unica forma de todos sentirem-se bem é adotanto o Regime Socialista, > > não teremos tudo que queremos, contudo não veremos mais o que não > > queremos." > > "A real definição sobre deus se dá pelo fato do ser humano ser covarde o > > suficiente, > > colocando a culpa em algo que não existe para manter a conciência > > "limpa"". > > - > > Histórico: http://www.fug.com.br/historico/html/freebsd/ > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > > > - > > Histórico:
Re: [FUG-BR] Cache squid de 1 Tb
2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]>: > Prezados, > >Estamos com um servidor Quad 6600 com 8Gb de ram. >Temos 2 HDs Satas2 de 500Gb cada. >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >Então criei 56 diretórios pra cache no SQUID.: >cache_dir aufs /cache1 7770 16 128 >cache_dir aufs /cache2 7770 16 128 >cache_dir aufs /cache3 7770 16 128 >cache_dir aufs /cache4 7770 16 128 >... >cache_dir aufs /cache55 7770 16 128 >cache_dir aufs /cache56 7770 16 128 Não faça isto. Monte somente 2 sistemas de arquivos, um pra cada HD. Aumentará a eficiência de uso, e terá somente uma tabela de i-nodes, que estará no inicio do disco, se não me engano, onde o acesso é mais eficiente. Com tantos sistemas de arquivos que você fez, o acesso a eles não será eficiente. O squid possivelmente distribuirá a carga bem melhor entro 2 sistemas de arquivos do que entre tantos, que pode, dependendo do algoritmo dele, saturar um disco, e dois o outro, alternadamente. Se for aceitar objetos grandes no cache, tipo 100 MB, sugiro usar a opção "-i 20480" no newfs. Se for bem menores, use a opção "-i 13000". Não aumente a cache toda de uma vez. Aumente aos poucos, tipo 100GB, e depois veja o comportamento. A minha experiência diz que o disco pode ficar muito ocupado com caches de 63 GB. > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos começa > a ter os famigerados: >squidaio_queue_request: WARNING - Queue congestion Pode ser o que eu falei, e a quantidade de seeks que os discos estão tendo de fazer, por causa da quantidade de tabelas de i-nodes espalhadas pelo disco. Tente a minha sugestão acima, Outra coisa, o uso de memória do squid é proporcional ao tamanho da cache em disco, portanto, mais um motivo para fazê-la crescer devagar, e ver como se comporta. > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não passam > de 21% sob fogo cruzado (14mbps de link). >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. É o disco físico que está saturando. Ele que não está conseguindo acompanhar a quantidade de requisições que está recebendo. > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no Brasil. Não adianta um cache grande se o disco não puder acompanhar a quantidade de requisições que recai sobre ele. Dois discos de 143 GB com 15 KRPM pode dar mais desempenho total do que dois discos de 500 GB de 7200 RPM. > >Pergunto: > >Qual a melhor forma de aproveitar esse cache? > >Realmente esse congestioamento é por I/O lento? > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? Experimente 2 sistemas de arquivos somente, com Soft Update, sem sequer tabela de partições. Não esqueça da opção de noatime no /etc/fstab. Se quiser ser paranóico, rw,noatime,noexec,nosuid,nosymfollow. Use um terceiro disco para o sistema. Faça os dois discos exclusivos pro cache. Li a sugestão do RAID 1. Ele vai melhorar a leitura, mas poderá piorar um pouco a escrita. No início a sua cache fará muitas escritas. Acho que 2 discos separados pode melhorar mais ainda o desempenho. Ao invés de dividir em várias istâncias, por que não usa aufs, que faz multi tarefa? João Rocha. PS: Se tentar a minha sugestão, e de vários adiante também, conte como foi o resultado. > > > >Ats, > >Ademir Peixoto > > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
Olá João, Refiz a minha tabela de slices, deixei apenas 2 em cada uma das 4 partições em cada disco sata2 de 500g. Não monto filesystem de squid em fstab. Faço por script como esse: mount -o noexec,async,noatime,nosuid /dev/ad14s1d /cache1 mount -o noexec,async,noatime,nosuid /dev/ad14s1e /cache2 mount -o noexec,async,noatime,nosuid /dev/ad14s2d /cache3 mount -o noexec,async,noatime,nosuid /dev/ad14s2e /cache4 mount -o noexec,async,noatime,nosuid /dev/ad14s3d /cache5 mount -o noexec,async,noatime,nosuid /dev/ad14s3e /cache6 mount -o noexec,async,noatime,nosuid /dev/ad14s4d /cache7 mount -o noexec,async,noatime,nosuid /dev/ad14s4e /cache8 mount -o noexec,async,noatime,nosuid /dev/ad16s1d /cache9 mount -o noexec,async,noatime,nosuid /dev/ad16s1e /cache10 mount -o noexec,async,noatime,nosuid /dev/ad16s2d /cache11 mount -o noexec,async,noatime,nosuid /dev/ad16s2e /cache12 mount -o noexec,async,noatime,nosuid /dev/ad16s3d /cache13 mount -o noexec,async,noatime,nosuid /dev/ad16s3e /cache14 mount -o noexec,async,noatime,nosuid /dev/ad16s4d /cache15 mount -o noexec,async,noatime,nosuid /dev/ad16s4e /cache16 Assim tenho 16 cache_dir com 56G cada. Voltei ao velho DISKD. Até o momento está bem. Tem 2 horas de uptime. O problema acontece quando o cache começa a ter mais de 200Gb de dados... aí é que a coisa começa a tropeçar. O micro tem 8Gb de ram, não faz nada além de proxy + dns (Bind 9). Estava tudo na paz, eu estava usando 10 cache_dirs com AUFS mas quando ele atingiu 480Gb de cache começou a dizer: 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:31:34|/cache2/1A/38/001A38BC 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:31:34|/cache9/1E/03/001E035E 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:10|/cache2/1A/38/001A38BC 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:10|/cache9/1E/03/001E035E 2008/09/20 08:32:40| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:40|/cache2/1A/38/001A38BC 2008/09/20 08:32:40| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:40|/cache9/1E/03/001E035E 2008/09/20 08:33:07| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:33:07|/cache2/1A/38/001A38BC 2008/09/20 08:33:07| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:33:07|/cache9/1E/03/001E035E PS: Já fiz muitos testes com os HDs e eles nunca tropeçaram em um bit sequer (os erros se referem aos 2 hds ao mesmo tempo) Aí e picotei em 56 cache_dirs mas deu erro de "squidaio_queue_request: WARNING - Queue congestion" Agora voltei ao DISKD (como citei no início) em 16 daemons e vamos ver no que dá. Tem horas que parece que o squid foi feito pra cache de 10Gb no máximo... é tanta aberração que aparece quando vc turbina que dá vontade de desistir e partir pra uma outra coisa qualquer. O pior é que é praticamente um monopólio.. Ninguém fala de outro Proxy.. todos vivemos a mercê do squid e de seus bugs. Obrigado a todos. Sei que essa cruzada é pra todos e se eu puder servir de cobaia, estou de pé e a órdem. Ats, Ademir Peixoto - Original Message - From: "Joao Rocha Braga Filho" <[EMAIL PROTECTED]> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" Sent: Sunday, September 21, 2008 9:13 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]>: > Prezados, > >Estamos com um servidor Quad 6600 com 8Gb de ram. >Temos 2 HDs Satas2 de 500Gb cada. >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >Então criei 56 diretórios pra cache no SQUID.: >cache_dir aufs /cache1 7770 16 128 >cache_dir aufs /cache2 7770 16 128 >cache_dir aufs /cache3 7770 16 128 >cache_dir aufs /cache4 7770 16 128 >... >cache_dir aufs /cache55 7770 16 128 >cache_dir aufs /cache56 7770 16 128 Não faça isto. Monte somente 2 sistemas de arquivos, um pra cada HD. Aumentará a eficiência de uso, e terá somente uma tabela de i-nodes, que estará no inicio do disco, se não me engano, onde o acesso é mais eficiente. Com tantos sistemas de arquivos que você fez, o acesso a eles não será eficiente. O squid possivelmente distribuirá a carga bem melhor entro 2 sistemas de arquivos do que entre tantos, que pode, dependendo do algoritmo dele, saturar um disco, e dois o outro, alternadamente. Se for aceitar objetos grandes no cache, tipo 100 MB, sugiro usar a opção "-i 20480" no newfs. Se for bem menores, use a opção "-i 13000". Não aumente a cache toda de uma vez. Aumente aos poucos, tipo 100GB, e depois veja o comportamento. A minha experiê
Re: [FUG-BR] Cache squid de 1 Tb
nodes, que estará no inicio do disco, se não me engano, onde o acesso é mais eficiente. Com tantos sistemas de arquivos que você fez, o acesso a eles não será eficiente. O squid possivelmente distribuirá a carga bem melhor entro 2 sistemas de arquivos do que entre tantos, que pode, dependendo do algoritmo dele, saturar um disco, e dois o outro, alternadamente. Se for aceitar objetos grandes no cache, tipo 100 MB, sugiro usar a opção "-i 20480" no newfs. Se for bem menores, use a opção "-i 13000". Não aumente a cache toda de uma vez. Aumente aos poucos, tipo 100GB, e depois veja o comportamento. A minha experiência diz que o disco pode ficar muito ocupado com caches de 63 GB. > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > começa > a ter os famigerados: >squidaio_queue_request: WARNING - Queue congestion Pode ser o que eu falei, e a quantidade de seeks que os discos estão tendo de fazer, por causa da quantidade de tabelas de i-nodes espalhadas pelo disco. Tente a minha sugestão acima, Outra coisa, o uso de memória do squid é proporcional ao tamanho da cache em disco, portanto, mais um motivo para fazê-la crescer devagar, e ver como se comporta. > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > passam > de 21% sob fogo cruzado (14mbps de link). >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. É o disco físico que está saturando. Ele que não está conseguindo acompanhar a quantidade de requisições que está recebendo. > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > Brasil. Não adianta um cache grande se o disco não puder acompanhar a quantidade de requisições que recai sobre ele. Dois discos de 143 GB com 15 KRPM pode dar mais desempenho total do que dois discos de 500 GB de 7200 RPM. > >Pergunto: > >Qual a melhor forma de aproveitar esse cache? > >Realmente esse congestioamento é por I/O lento? > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? Experimente 2 sistemas de arquivos somente, com Soft Update, sem sequer tabela de partições. Não esqueça da opção de noatime no /etc/fstab. Se quiser ser paranóico, rw,noatime,noexec,nosuid,nosymfollow. Use um terceiro disco para o sistema. Faça os dois discos exclusivos pro cache. Li a sugestão do RAID 1. Ele vai melhorar a leitura, mas poderá piorar um pouco a escrita. No início a sua cache fará muitas escritas. Acho que 2 discos separados pode melhorar mais ainda o desempenho. Ao invés de dividir em várias istâncias, por que não usa aufs, que faz multi tarefa? João Rocha. PS: Se tentar a minha sugestão, e de vários adiante também, conte como foi o resultado. > > > >Ats, > >Ademir Peixoto > > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd __ NOD32 3458 (20080921) Information __ This message was checked by NOD32 antivirus system. http://www.eset.com - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
articionar ele ontem pra ter slices menores e só consegui fazer 4 > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >Então criei 56 diretórios pra cache no SQUID.: >cache_dir aufs /cache1 7770 16 128 >cache_dir aufs /cache2 7770 16 128 >cache_dir aufs /cache3 7770 16 128 >cache_dir aufs /cache4 7770 16 128 >... >cache_dir aufs /cache55 7770 16 128 >cache_dir aufs /cache56 7770 16 128 Não faça isto. Monte somente 2 sistemas de arquivos, um pra cada HD. Aumentará a eficiência de uso, e terá somente uma tabela de i-nodes, que estará no inicio do disco, se não me engano, onde o acesso é mais eficiente. Com tantos sistemas de arquivos que você fez, o acesso a eles não será eficiente. O squid possivelmente distribuirá a carga bem melhor entro 2 sistemas de arquivos do que entre tantos, que pode, dependendo do algoritmo dele, saturar um disco, e dois o outro, alternadamente. Se for aceitar objetos grandes no cache, tipo 100 MB, sugiro usar a opção "-i 20480" no newfs. Se for bem menores, use a opção "-i 13000". Não aumente a cache toda de uma vez. Aumente aos poucos, tipo 100GB, e depois veja o comportamento. A minha experiência diz que o disco pode ficar muito ocupado com caches de 63 GB. > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > começa > a ter os famigerados: >squidaio_queue_request: WARNING - Queue congestion Pode ser o que eu falei, e a quantidade de seeks que os discos estão tendo de fazer, por causa da quantidade de tabelas de i-nodes espalhadas pelo disco. Tente a minha sugestão acima, Outra coisa, o uso de memória do squid é proporcional ao tamanho da cache em disco, portanto, mais um motivo para fazê-la crescer devagar, e ver como se comporta. > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > passam > de 21% sob fogo cruzado (14mbps de link). >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. É o disco físico que está saturando. Ele que não está conseguindo acompanhar a quantidade de requisições que está recebendo. > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > Brasil. Não adianta um cache grande se o disco não puder acompanhar a quantidade de requisições que recai sobre ele. Dois discos de 143 GB com 15 KRPM pode dar mais desempenho total do que dois discos de 500 GB de 7200 RPM. > >Pergunto: > >Qual a melhor forma de aproveitar esse cache? > >Realmente esse congestioamento é por I/O lento? > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? Experimente 2 sistemas de arquivos somente, com Soft Update, sem sequer tabela de partições. Não esqueça da opção de noatime no /etc/fstab. Se quiser ser paranóico, rw,noatime,noexec,nosuid,nosymfollow. Use um terceiro disco para o sistema. Faça os dois discos exclusivos pro cache. Li a sugestão do RAID 1. Ele vai melhorar a leitura, mas poderá piorar um pouco a escrita. No início a sua cache fará muitas escritas. Acho que 2 discos separados pode melhorar mais ainda o desempenho. Ao invés de dividir em várias istâncias, por que não usa aufs, que faz multi tarefa? João Rocha. PS: Se tentar a minha sugestão, e de vários adiante também, conte como foi o resultado. > > > >Ats, > >Ademir Peixoto > > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd __ NOD32 3458 (20080921) Information __ This message was checked by NOD32 antivirus system. http://www.eset.com - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
Já tentou utilizar COSS ? Tente utilizar ele DIRETAMENTE na partição, sem nenhum sistema de arquivos. cache_dir coss /dev/sdf1 34500 max-size=524288 max-stripe-waste=32768 block-size=4096 maxfullbufs=10 # This will use the /dev/sdf1 partition # The cache_dir will store up to 34500MB worth of data # The block size is 4096 bytes # Objects that are up to 524288 bytes long will be stored. # If a given stripe has less than 524288 bytes available, this cache_dir will only accept smaller objects until there is less than 32768 bytes available in the stripe. # If the default stripe size of 1MB is not changed, up to 10MB will be used for stripes that are waiting to be written to disk. Mais informações em: http://wiki.squid-cache.org/SquidFaq/CyclicObjectStorageSystem 8. Examples Lembrando que para utilizar DISKD / AUFS / COSS, você deve compular o kernel com a opção: options VFS_AIO Caso já tenha compilado o kernel sem a opção, carregue como módulo: kldload aio Abraços. -- From: "Victor" <[EMAIL PROTECTED]> Subject: Re: [FUG-BR] Cache squid de 1 Tb Olá Ademir, Desculpe a pergunta, mas voce continua usando mais de 2 particionamentos por disco ? Acredito que seja esse seu problema. Abraços. -- Atenciosamente, Victor Gustavo Volpe Diretor Executivo Grupo Total Serviços de Internet LTDA - ME CNPJ: 08.776.401/0001-40 (17) 3227-0686 / 9105-5392 - Original Message - From: "Ademir Costa Peixoto" <[EMAIL PROTECTED]> Sent: Sunday, September 21, 2008 9:53 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb Olá João, Refiz a minha tabela de slices, deixei apenas 2 em cada uma das 4 partições em cada disco sata2 de 500g. Não monto filesystem de squid em fstab. Faço por script como esse: mount -o noexec,async,noatime,nosuid /dev/ad14s1d /cache1 mount -o noexec,async,noatime,nosuid /dev/ad14s1e /cache2 mount -o noexec,async,noatime,nosuid /dev/ad14s2d /cache3 mount -o noexec,async,noatime,nosuid /dev/ad14s2e /cache4 mount -o noexec,async,noatime,nosuid /dev/ad14s3d /cache5 mount -o noexec,async,noatime,nosuid /dev/ad14s3e /cache6 mount -o noexec,async,noatime,nosuid /dev/ad14s4d /cache7 mount -o noexec,async,noatime,nosuid /dev/ad14s4e /cache8 mount -o noexec,async,noatime,nosuid /dev/ad16s1d /cache9 mount -o noexec,async,noatime,nosuid /dev/ad16s1e /cache10 mount -o noexec,async,noatime,nosuid /dev/ad16s2d /cache11 mount -o noexec,async,noatime,nosuid /dev/ad16s2e /cache12 mount -o noexec,async,noatime,nosuid /dev/ad16s3d /cache13 mount -o noexec,async,noatime,nosuid /dev/ad16s3e /cache14 mount -o noexec,async,noatime,nosuid /dev/ad16s4d /cache15 mount -o noexec,async,noatime,nosuid /dev/ad16s4e /cache16 Assim tenho 16 cache_dir com 56G cada. Voltei ao velho DISKD. Até o momento está bem. Tem 2 horas de uptime. O problema acontece quando o cache começa a ter mais de 200Gb de dados... aí é que a coisa começa a tropeçar. O micro tem 8Gb de ram, não faz nada além de proxy + dns (Bind 9). Estava tudo na paz, eu estava usando 10 cache_dirs com AUFS mas quando ele atingiu 480Gb de cache começou a dizer: 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:31:34|/cache2/1A/38/001A38BC 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:31:34|/cache9/1E/03/001E035E 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:10|/cache2/1A/38/001A38BC 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:10|/cache9/1E/03/001E035E 2008/09/20 08:32:40| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:40|/cache2/1A/38/001A38BC 2008/09/20 08:32:40| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:32:40|/cache9/1E/03/001E035E 2008/09/20 08:33:07| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:33:07|/cache2/1A/38/001A38BC 2008/09/20 08:33:07| DiskThreadsDiskFile::openDone: (2) No such file or directory 2008/09/20 08:33:07|/cache9/1E/03/001E035E PS: Já fiz muitos testes com os HDs e eles nunca tropeçaram em um bit sequer (os erros se referem aos 2 hds ao mesmo tempo) Aí e picotei em 56 cache_dirs mas deu erro de "squidaio_queue_request: WARNING - Queue congestion" Agora voltei ao DISKD (como citei no início) em 16 daemons e vamos ver no que dá. Tem horas que parece que o squid foi feito pra cache de 10Gb no máximo... é tanta aberração que aparece quando vc turbina que dá vontade de desistir e partir pra uma outra coisa qualquer. O pior é que é praticamente um monopólio.. Ninguém fala de outro Proxy.. todos vivemos a mercê do squid e de seus bugs. Obrigado a todos. Sei que essa cruzada é pra todos e se eu puder servir de cobaia, estou de pé e a órdem. Ats, Ademir Peixoto --
Re: [FUG-BR] Cache squid de 1 Tb
e quando vc turbina que dá vontade de desistir e partir pra uma outra coisa qualquer. O pior é que é praticamente um monopólio.. Ninguém fala de outro Proxy.. todos vivemos a mercê do squid e de seus bugs. Obrigado a todos. Sei que essa cruzada é pra todos e se eu puder servir de cobaia, estou de pé e a órdem. Ats, Ademir Peixoto - Original Message - From: "Joao Rocha Braga Filho" <[EMAIL PROTECTED]> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" Sent: Sunday, September 21, 2008 9:13 PM Subject: Re: [FUG-BR] Cache squid de 1 Tb 2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]>: > Prezados, > >Estamos com um servidor Quad 6600 com 8Gb de ram. >Temos 2 HDs Satas2 de 500Gb cada. >Fui particionar ele ontem pra ter slices menores e só consegui fazer 4 > partições FreeBSD com 7 slices cada. Totalizando 28 filesystens por HD. >Então criei 56 diretórios pra cache no SQUID.: >cache_dir aufs /cache1 7770 16 128 >cache_dir aufs /cache2 7770 16 128 >cache_dir aufs /cache3 7770 16 128 >cache_dir aufs /cache4 7770 16 128 >... >cache_dir aufs /cache55 7770 16 128 >cache_dir aufs /cache56 7770 16 128 Não faça isto. Monte somente 2 sistemas de arquivos, um pra cada HD. Aumentará a eficiência de uso, e terá somente uma tabela de i-nodes, que estará no inicio do disco, se não me engano, onde o acesso é mais eficiente. Com tantos sistemas de arquivos que você fez, o acesso a eles não será eficiente. O squid possivelmente distribuirá a carga bem melhor entro 2 sistemas de arquivos do que entre tantos, que pode, dependendo do algoritmo dele, saturar um disco, e dois o outro, alternadamente. Se for aceitar objetos grandes no cache, tipo 100 MB, sugiro usar a opção "-i 20480" no newfs. Se for bem menores, use a opção "-i 13000". Não aumente a cache toda de uma vez. Aumente aos poucos, tipo 100GB, e depois veja o comportamento. A minha experiência diz que o disco pode ficar muito ocupado com caches de 63 GB. > >Tá funcionando bem mas mesmo com o cache zerado em poucos minutos > começa > a ter os famigerados: >squidaio_queue_request: WARNING - Queue congestion Pode ser o que eu falei, e a quantidade de seeks que os discos estão tendo de fazer, por causa da quantidade de tabelas de i-nodes espalhadas pelo disco. Tente a minha sugestão acima, Outra coisa, o uso de memória do squid é proporcional ao tamanho da cache em disco, portanto, mais um motivo para fazê-la crescer devagar, e ver como se comporta. > >O Micro é todo intel. O average fica em 0.09 e o buzy dos HDs não > passam > de 21% sob fogo cruzado (14mbps de link). >Tentei usar DISKD mas ele não abre mais que 8 daemons simultâneos. É o disco físico que está saturando. Ele que não está conseguindo acompanhar a quantidade de requisições que está recebendo. > >Antes que alguém fale de SCSI eu já respondo que não exitem hds dessa > capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no > Brasil. Não adianta um cache grande se o disco não puder acompanhar a quantidade de requisições que recai sobre ele. Dois discos de 143 GB com 15 KRPM pode dar mais desempenho total do que dois discos de 500 GB de 7200 RPM. > >Pergunto: > >Qual a melhor forma de aproveitar esse cache? > >Realmente esse congestioamento é por I/O lento? > >Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? Experimente 2 sistemas de arquivos somente, com Soft Update, sem sequer tabela de partições. Não esqueça da opção de noatime no /etc/fstab. Se quiser ser paranóico, rw,noatime,noexec,nosuid,nosymfollow. Use um terceiro disco para o sistema. Faça os dois discos exclusivos pro cache. Li a sugestão do RAID 1. Ele vai melhorar a leitura, mas poderá piorar um pouco a escrita. No início a sua cache fará muitas escritas. Acho que 2 discos separados pode melhorar mais ainda o desempenho. Ao invés de dividir em várias istâncias, por que não usa aufs, que faz multi tarefa? João Rocha. PS: Se tentar a minha sugestão, e de vários adiante também, conte como foi o resultado. > > > >Ats, > >Ademir Peixoto > > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] ----- Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd __ NOD32 3458 (20080921) Information __ This message was checked by NOD32 antiviru
Re: [FUG-BR] Cache squid de 1 Tb
esse cache? >> >>Realmente esse congestioamento é por I/O lento? >> >>Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > Experimente 2 sistemas de arquivos somente, com Soft Update, sem sequer > tabela de partições. Não esqueça da opção de noatime no /etc/fstab. Se > quiser ser paranóico, rw,noatime,noexec,nosuid,nosymfollow. > > Use um terceiro disco para o sistema. Faça os dois discos exclusivos pro > cache. > > Li a sugestão do RAID 1. Ele vai melhorar a leitura, mas poderá piorar um > pouco a escrita. No início a sua cache fará muitas escritas. Acho que 2 > discos separados pode melhorar mais ainda o desempenho. > > Ao invés de dividir em várias istâncias, por que não usa aufs, que faz multi > tarefa? > > > João Rocha. > > PS: Se tentar a minha sugestão, e de vários adiante também, conte como > foi o resultado. > > > >> >> >> >>Ats, >> >>Ademir Peixoto >> >> >> >> - >> Histórico: http://www.fug.com.br/historico/html/freebsd/ >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd >> > > > > -- > "Sempre se apanha mais com as menores besteiras. Experiência própria." > > [EMAIL PROTECTED] > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > __ NOD32 3458 (20080921) Information __ > > This message was checked by NOD32 antivirus system. > http://www.eset.com > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > __ NOD32 3458 (20080921) Information __ > > This message was checked by NOD32 antivirus system. > http://www.eset.com > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- Sds. Alexandre J. Correa Onda Internet / OPinguim.net http://www.ondainternet.com.br http://www.opinguim.net - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Cache squid de 1 Tb
2008/9/21 Ademir Costa Peixoto <[EMAIL PROTECTED]>: > Olá João, > > >Refiz a minha tabela de slices, deixei apenas 2 em cada uma das 4 > partições em cada disco sata2 de 500g. >Não monto filesystem de squid em fstab. Faço por script como esse: > > mount -o noexec,async,noatime,nosuid /dev/ad14s1d /cache1 > mount -o noexec,async,noatime,nosuid /dev/ad14s1e /cache2 > mount -o noexec,async,noatime,nosuid /dev/ad14s2d /cache3 > mount -o noexec,async,noatime,nosuid /dev/ad14s2e /cache4 > mount -o noexec,async,noatime,nosuid /dev/ad14s3d /cache5 > mount -o noexec,async,noatime,nosuid /dev/ad14s3e /cache6 > mount -o noexec,async,noatime,nosuid /dev/ad14s4d /cache7 > mount -o noexec,async,noatime,nosuid /dev/ad14s4e /cache8 > mount -o noexec,async,noatime,nosuid /dev/ad16s1d /cache9 > mount -o noexec,async,noatime,nosuid /dev/ad16s1e /cache10 > mount -o noexec,async,noatime,nosuid /dev/ad16s2d /cache11 > mount -o noexec,async,noatime,nosuid /dev/ad16s2e /cache12 > mount -o noexec,async,noatime,nosuid /dev/ad16s3d /cache13 > mount -o noexec,async,noatime,nosuid /dev/ad16s3e /cache14 > mount -o noexec,async,noatime,nosuid /dev/ad16s4d /cache15 > mount -o noexec,async,noatime,nosuid /dev/ad16s4e /cache16 Coloque na fstab com noauto,rw,noatime,noexec,nosuid,nosymfollow. Para moutar fica muito mais fácil mountar. Basta um mount /cache se estiver no fstab, e ainda facilita a vida do fsck. Ainda acho que tem que tem SOMENTE UM (1) File System em cada disco. Qualquer outro é manter informações de sistemas de arquivos espalhadas pelo disco, o que obriga muitos seeks (posicionamento das cabeças de leitura e gravação). Nem sequer faça slices. Faça o modo DD do disco, o que o sysintall fala que é perigosamente dedicado. Usar async é meio roleta russa. Se acontecer uma parada brusca, como uma falta de luz, o sistema de arquivos poderá se danificar facilmente. > >Assim tenho 16 cache_dir com 56G cada. >Voltei ao velho DISKD. >Até o momento está bem. Tem 2 horas de uptime. >O problema acontece quando o cache começa a ter mais de 200Gb de > dados... aí é que a coisa começa a tropeçar. O micro tem 8Gb de ram, não faz > nada além de proxy + dns (Bind 9). Não libere todo o cache de uma vez. Limite em 50 GB por cada um dos dois sistemas de arquivos que sugeri. Veja como reage, e depois aumente. Os parâmetros a serem observados são o uso de memória do squid, que pode ser visto no top, e ainda observe o iostat, e veja quanto IO está sendo feito. o iostat vai dar uma idéia se o disco está sobrecarregado. > >Estava tudo na paz, eu estava usando 10 cache_dirs com AUFS mas quando > ele atingiu 480Gb de cache começou a dizer: > > 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:31:34|/cache2/1A/38/001A38BC > 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:31:34|/cache9/1E/03/001E035E > 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:32:10|/cache2/1A/38/001A38BC > 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:32:10|/cache9/1E/03/001E035E > 2008/09/20 08:32:40| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:32:40|/cache2/1A/38/001A38BC > 2008/09/20 08:32:40| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:32:40|/cache9/1E/03/001E035E > 2008/09/20 08:33:07| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:33:07|/cache2/1A/38/001A38BC > 2008/09/20 08:33:07| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:33:07|/cache9/1E/03/001E035E Dá a impressão que dois sistemas de arquivos se corromperam. Isto é estranho. > >PS: Já fiz muitos testes com os HDs e eles nunca tropeçaram em um bit > sequer (os erros se referem aos 2 hds ao mesmo tempo) > > >Aí e picotei em 56 cache_dirs mas deu erro de "squidaio_queue_request: > WARNING - Queue congestion" Você sobrecarregou os discos. Imagine ficar acessando muitas tabelas de i-nodes e árvores de diretórios espalhadas pelo disco. Por isto que estou falando para fazer SOMENTE um sistema de arquivos por disco. Você só vai ter uma tabela de i-nodes e uma árvore de diretórios, e no início do disco, onde a taxa de transferência é maior e a quantidade de seeks é menor. > > >Agora voltei ao DISKD (como citei no início) em 16 daemons e vamos ver > no que dá. >Tem horas que parece que o squid foi feito pra cache de 10Gb no > máximo... é tanta aberração que aparece quando vc turbina que dá vontade de > desistir e partir pra uma outra coisa qualquer. Estou operando a 2 anos com 63 GB de cache, em um disco de 80 GB, sem problemas. Só o desempenho deu um pulo recentemente quando fiz o upgrade para a versão 2.7 do squid. >O pior é que é praticamente um monopólio.. Ninguém fala de outro Pr
Re: [FUG-BR] Cache squid de 1 Tb
2008/9/21 Eduardo Schoedler <[EMAIL PROTECTED]>: > Já tentou utilizar COSS ? > Tente utilizar ele DIRETAMENTE na partição, sem nenhum sistema de arquivos. > > cache_dir coss /dev/sdf1 34500 max-size=524288 max-stripe-waste=32768 > block-size=4096 maxfullbufs=10 > # This will use the /dev/sdf1 partition > # The cache_dir will store up to 34500MB worth of data > # The block size is 4096 bytes > # Objects that are up to 524288 bytes long will be stored. > # If a given stripe has less than 524288 bytes available, this cache_dir > will only accept smaller objects until there is less than 32768 bytes > available in the stripe. > # If the default stripe size of 1MB is not changed, up to 10MB will be > used for stripes that are waiting to be written to disk. Isto parece ser interessante. Tira todo o overhead criado pelo sistema de arquivos. O squid passa a lidar diretamente com o disco. Espero que ele seja eficiente com isto, mas vale fazer uma tentativa. Mas lendo: " # block-size=n defines the "block size" for COSS cache_dir's. # Squid uses file numbers as block numbers. Since file numbers # are limited to 24 bits, the block size determines the maximum # size of the COSS partition. The default is 512 bytes, which # leads to a maximum cache_dir size of 512<<24, or 8 GB. Note # you should not change the COSS block size after Squid # has written some objects to the cache_dir. " Com block-size de 4098, o tamanho máximo da cache é de 64 GB. Lendo mais, me pareceu que o formato COSS é muito limitado, e pode deixar de armazear muitas coisas grandes que merecem ser guardadas. Ele parece só armazernar arquivos contínuos - se não tiver uma seqüência de blocos grande suficiente para caber o arquivo, ele pode não guardá-lo - e ainda pode duplicar os arquivos armazenados. Acho que deveriam ter criado algo melhor. > > Mais informações em: > http://wiki.squid-cache.org/SquidFaq/CyclicObjectStorageSystem > 8. Examples Vou dar uma olhada. João Rocha. > > > Lembrando que para utilizar DISKD / AUFS / COSS, você deve compular o kernel > com a opção: > options VFS_AIO > > Caso já tenha compilado o kernel sem a opção, carregue como módulo: > kldload aio > > > Abraços. > > > -- > From: "Victor" <[EMAIL PROTECTED]> > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > Olá Ademir, > > Desculpe a pergunta, mas voce continua usando mais de 2 particionamentos por > disco ? Acredito que seja esse seu problema. > > Abraços. > > > -- > Atenciosamente, > Victor Gustavo Volpe > Diretor Executivo > Grupo Total Serviços de Internet LTDA - ME > CNPJ: 08.776.401/0001-40 > (17) 3227-0686 / 9105-5392 > > - Original Message - > From: "Ademir Costa Peixoto" <[EMAIL PROTECTED]> > Sent: Sunday, September 21, 2008 9:53 PM > Subject: Re: [FUG-BR] Cache squid de 1 Tb > > Olá João, > > >Refiz a minha tabela de slices, deixei apenas 2 em cada uma das 4 > partições em cada disco sata2 de 500g. >Não monto filesystem de squid em fstab. Faço por script como esse: > > mount -o noexec,async,noatime,nosuid /dev/ad14s1d /cache1 > mount -o noexec,async,noatime,nosuid /dev/ad14s1e /cache2 > mount -o noexec,async,noatime,nosuid /dev/ad14s2d /cache3 > mount -o noexec,async,noatime,nosuid /dev/ad14s2e /cache4 > mount -o noexec,async,noatime,nosuid /dev/ad14s3d /cache5 > mount -o noexec,async,noatime,nosuid /dev/ad14s3e /cache6 > mount -o noexec,async,noatime,nosuid /dev/ad14s4d /cache7 > mount -o noexec,async,noatime,nosuid /dev/ad14s4e /cache8 > mount -o noexec,async,noatime,nosuid /dev/ad16s1d /cache9 > mount -o noexec,async,noatime,nosuid /dev/ad16s1e /cache10 > mount -o noexec,async,noatime,nosuid /dev/ad16s2d /cache11 > mount -o noexec,async,noatime,nosuid /dev/ad16s2e /cache12 > mount -o noexec,async,noatime,nosuid /dev/ad16s3d /cache13 > mount -o noexec,async,noatime,nosuid /dev/ad16s3e /cache14 > mount -o noexec,async,noatime,nosuid /dev/ad16s4d /cache15 > mount -o noexec,async,noatime,nosuid /dev/ad16s4e /cache16 > >Assim tenho 16 cache_dir com 56G cada. >Voltei ao velho DISKD. >Até o momento está bem. Tem 2 horas de uptime. >O problema acontece quando o cache começa a ter mais de 200Gb de > dados... aí é que a coisa começa a tropeçar. O micro tem 8Gb de ram, não faz > nada além de proxy + dns (Bind 9). > >Estava tudo na paz, eu estava usando 10 cache_dirs com AUFS mas quando > ele atingiu 480Gb de cache começou a dizer: > > 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:31:34|/cache2/1A/38/001A38BC > 2008/09/20 08:31:34| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:31:34|/cache9/1E/03/001E035E > 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or > directory > 2008/09/20 08:32:10|/cache2/1A/38/001A38BC > 2008/09/20 08:32:10| DiskThreadsDiskFile::openDone: (2) No such file or > di
Re: [FUG-BR] Cache squid de 1 Tb
já respondo que não exitem hds dessa >> capacidade a valores abaixo de U$ 1.000,00 e acho que não tem nem no >> Brasil. > > Não adianta um cache grande se o disco não puder acompanhar a quantidade > de requisições que recai sobre ele. Dois discos de 143 GB com 15 KRPM pode > dar mais desempenho total do que dois discos de 500 GB de 7200 RPM. > > >> >>Pergunto: >> >>Qual a melhor forma de aproveitar esse cache? >> >>Realmente esse congestioamento é por I/O lento? >> >>Tem como usar XFS no FreeBsd 7.0 e Squid 3.0 Stable8? > > Experimente 2 sistemas de arquivos somente, com Soft Update, sem sequer > tabela de partições. Não esqueça da opção de noatime no /etc/fstab. Se > quiser ser paranóico, rw,noatime,noexec,nosuid,nosymfollow. > > Use um terceiro disco para o sistema. Faça os dois discos exclusivos pro > cache. > > Li a sugestão do RAID 1. Ele vai melhorar a leitura, mas poderá piorar um > pouco a escrita. No início a sua cache fará muitas escritas. Acho que 2 > discos separados pode melhorar mais ainda o desempenho. > > Ao invés de dividir em várias istâncias, por que não usa aufs, que faz multi > tarefa? > > > João Rocha. > > PS: Se tentar a minha sugestão, e de vários adiante também, conte como > foi o resultado. > > > >> >> >> >>Ats, >> >>Ademir Peixoto >> >> >> >> - >> Histórico: http://www.fug.com.br/historico/html/freebsd/ >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd >> > > > > -- > "Sempre se apanha mais com as menores besteiras. Experiência própria." > > [EMAIL PROTECTED] > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > __ NOD32 3458 (20080921) Information __ > > This message was checked by NOD32 antivirus system. > http://www.eset.com > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > > __ NOD32 3458 (20080921) Information __ > > This message was checked by NOD32 antivirus system. > http://www.eset.com > > > - > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
