[FUG-BR] Fwd: unexpected {rsync2, cvsup4, ftp6}.br.freebsd.org issues.

[Vinícius Zavam]

-- Forwarded message --
From: Vinícius Zavam 
Date: 2012/7/11
Subject: unexpected {rsync2,cvsup4,ftp6}.br.freebsd.org issues.
To: freebsd-hubs@


gentlemen,
"good" morning.

unfortunately I'm here to inform you about some issues regarding one
of the *.br.freebsd.org servers.
this server is responsible for three different services under...
rsync2.br.freebsd.org
cvsup4.br.freebsd.org
ftp6.br.freebsd.org

as seems it was really unexpected I can't tell you how many time do I
need to fix it and put the services back online.
I'm very sorry about all this situation ;\


--
Vinícius Zavam
profiles.google.com/egypcio
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

[FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Pessoal,

Peguei uma base mysql rodando no FreeBSD e setei o max_connection para 
4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após 
rodar o tuning-primer o memory usage simplesmente estoura. Conforme abaixo:

MEMORY USAGE
Max Memory Ever Allocated : 438 M
Configured Max Per-thread Buffers : 48.46 G
Configured Max Global Buffers : 426 M
Configured Max Memory Limit : 48.87 G
Physical Memory : 13.00 G

Max memory limit exceeds 90% of physical memory

Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava 
bastante ram mesmo assim.
Quando eu faço a mesma coisa em uma máquina equivalente, com mais 
memória, só que com Linux, usando os 4000 em max_connections a coisa 
fica boa conforme abaixo:

MEMORY USAGE
Max Memory Ever Allocated : 10.10 G
Configured Max Per-thread Buffers : 11.71 G
Configured Max Global Buffers : 2.13 G
Configured Max Memory Limit : 13.85 G
Physical Memory : 23.53 G
Max memory limit seem to be within acceptable norms

Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o 
"Configured Max Memory Limit" não estouraram a ram disponível. O que 
poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi 
lugar pra tentar resolver e a única coisa que eu havia visto é que no 
Linux suportaria as 4000 conexões mas em outras plataformas não.

Quem puder fazer esses testes e comprovar é só dizer.  :)
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 11:25, Thiago Rodrigues escreveu:
> Caro, Marcelo,
>
> Primeiramente tu tem que verificar se ambas as variaveis do mysql são 
> indeticas, pois o mysql separa variaveis globais, e variaveis por 
> conexões, se as variaveis por conexões do mysql do freebsd tiverem um 
> valor alto elas serão multiplicadas, pelo numero maximo de conexões.

Sim estão certas. Tente você colocar 4000 conexões no seu MySQL do 
FreeBSD. Pode mexer no que for vai estourar.  :(

>
> Outro fator, o kernel do seu freebsd esta para 64 bits correto?

Sim lógico.  :)  senão não conseguiria nem ver os 12Gb de ram

FreeBSD xxx.xxx.br 9.0-STABLE FreeBSD 9.0-STABLE #25: Mon Jul  9 
12:22:33 BRT 2012 r...@xxx.xxx.br:/usr/obj/usr/src/sys/GONDIM amd64

>
> Verifique isso por favor.
>
> Atenciosamente,
>
> Thiago Cesar
>
> Em 11 de julho de 2012 10:36, Marcelo Gondim  > escreveu:
>
> Pessoal,
>
> Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
> 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)
>  após
> rodar o tuning-primer o memory usage simplesmente estoura.
> Conforme abaixo:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 438 M
> Configured Max Per-thread Buffers : 48.46 G
> Configured Max Global Buffers : 426 M
> Configured Max Memory Limit : 48.87 G
> Physical Memory : 13.00 G
>
> Max memory limit exceeds 90% of physical memory
>
> Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
> bastante ram mesmo assim.
> Quando eu faço a mesma coisa em uma máquina equivalente, com mais
> memória, só que com Linux, usando os 4000 em max_connections a coisa
> fica boa conforme abaixo:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 10.10 G
> Configured Max Per-thread Buffers : 11.71 G
> Configured Max Global Buffers : 2.13 G
> Configured Max Memory Limit : 13.85 G
> Physical Memory : 23.53 G
> Max memory limit seem to be within acceptable norms
>
> Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
> "Configured Max Memory Limit" não estouraram a ram disponível. O que
> poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
> lugar pra tentar resolver e a única coisa que eu havia visto é que no
> Linux suportaria as 4000 conexões mas em outras plataformas não.
>
> Quem puder fazer esses testes e comprovar é só dizer.  :)
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
>
>
>
> -- 
> *
> "A entrada de seus negócios para o mundo virtual"
> Thiago Cesar
> Diretor TI
> MSN:thiago_rodrig...@hotmail.com  
>
> Skype: thiago_ceor
> ---
> http://www.kionux.com.br
> Kionux Soluções em Internet LTDA.
> Av. Garibalde, 1114 - Sala 15 - Vila A CEP 85861-550 - Foz do Iguaçu - PR
>
> Telefone: +55 (45) 3572-5000
> *


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 10:36, Marcelo Gondim  escreveu:
> Pessoal,
>
> Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
> 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após
> rodar o tuning-primer o memory usage simplesmente estoura. Conforme abaixo:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 438 M
> Configured Max Per-thread Buffers : 48.46 G
> Configured Max Global Buffers : 426 M
> Configured Max Memory Limit : 48.87 G
> Physical Memory : 13.00 G
>
> Max memory limit exceeds 90% of physical memory
>
> Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
> bastante ram mesmo assim.
> Quando eu faço a mesma coisa em uma máquina equivalente, com mais
> memória, só que com Linux, usando os 4000 em max_connections a coisa
> fica boa conforme abaixo:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 10.10 G
> Configured Max Per-thread Buffers : 11.71 G
> Configured Max Global Buffers : 2.13 G
> Configured Max Memory Limit : 13.85 G
> Physical Memory : 23.53 G
> Max memory limit seem to be within acceptable norms
>
> Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
> "Configured Max Memory Limit" não estouraram a ram disponível. O que
> poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
> lugar pra tentar resolver e a única coisa que eu havia visto é que no
> Linux suportaria as 4000 conexões mas em outras plataformas não.
>
> Quem puder fazer esses testes e comprovar é só dizer.  :)

Marcelo,

Antes de palpitar, me diga uma coisa...

O seu FreeBSD roda em 32 ou 64 Bits? O seu mysqld é 32 ou 64 bits?

Como está o seu kern.maxdsiz ? Pelos numero me parece que sua maquina
ainda está usando o tamanho default de 512 Mb como sendo o segmento
máximo de memoria que pode ser alocada por um processo, esse é o
primeiro problema que eu vejo...

Cada thread do mysql vai consumir no minimo uns 200k de memoria, para
4000 conexões/threads vc precisa permitir no minimo 1.5 Gb de memoria
alocada por processo.

De uma olhada nos demais limites do seu sistema com o ulimit-a , vc
pode precisar mexer em outros items...

Como estão os parâmetros da sessão [mysqld] do seu my.cnf na sua
instalação FreeBSD e na sua instalação Linux? Eles estão iguais?
Existem uma série de itens de configuração que mudam radicalmente o
consumo de memoria do seu servidor, e a comparação pra ser justa tem
que ser feita em cenários iguais.

Se tiver tempo, recomendo a leitura do artigo
http://mysql.rjweb.org/doc.php/memory , vai ajudar a entender melhor
como o mysql trata o uso de memoria.

[ ]´s Brandi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Leonardo Augusto]

hehe isso do mysql ta virando pessoal ja.
vamos dar um jeito nisso.
eu so nao posso fazer mais testes em funcao da minha condicao de deitado
temporariamenre.

passa as configs do kernel e o my.cnf que usou, o sysctl -a grep kern tb e
interessante.

acho que tem muita gente aqui que tem interesse no caso e com condicoes de
ajudar.

sera que nao tem a ver com o tipo do scheduke usado? ja testou com is dois
tipos?

faz o teste de rodar o binario do linux no bsd. e so baixar o tgz e rodar
via um comando la de emulacao de linux que nao lembro agora.

quando eu ficar bom, vou pegar um dell quad com raid e 8g que ta parado e
vou instalar esse 8 ou 9 pra testar

ate la so posdo dar palpite, hehe
Em 11/07/2012 10:37, "Marcelo Gondim"  escreveu:

> Pessoal,
>
> Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
> 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após
> rodar o tuning-primer o memory usage simplesmente estoura. Conforme abaixo:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 438 M
> Configured Max Per-thread Buffers : 48.46 G
> Configured Max Global Buffers : 426 M
> Configured Max Memory Limit : 48.87 G
> Physical Memory : 13.00 G
>
> Max memory limit exceeds 90% of physical memory
>
> Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
> bastante ram mesmo assim.
> Quando eu faço a mesma coisa em uma máquina equivalente, com mais
> memória, só que com Linux, usando os 4000 em max_connections a coisa
> fica boa conforme abaixo:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 10.10 G
> Configured Max Per-thread Buffers : 11.71 G
> Configured Max Global Buffers : 2.13 G
> Configured Max Memory Limit : 13.85 G
> Physical Memory : 23.53 G
> Max memory limit seem to be within acceptable norms
>
> Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
> "Configured Max Memory Limit" não estouraram a ram disponível. O que
> poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
> lugar pra tentar resolver e a única coisa que eu havia visto é que no
> Linux suportaria as 4000 conexões mas em outras plataformas não.
>
> Quem puder fazer esses testes e comprovar é só dizer.  :)
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] freebsd x aix ibm

[Francisco Cardoso]

Em 9 de julho de 2012 21:03, Cleiton Alves  escreveu:
> marcelo , tudo bom
>
> entao acho que minha duvida nao foi clara , mais vou ser mais direto
>
> 1- tudo isso que voce falou eu ja sei , eu trabalho na ibm , sou analista
> unix , trabalho na analise e tuning de s.o  do aix e solaris .
> 2 - vou ser mais claro na minha pergunta , existe alguma versão semelhante
> ou parecida do freebsd com  o aix 5.3 ou de versao inferior ?
>
>
> abraços
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Cleiton,

não mexo com AIX e, portanto, não posso ajudar, mas acho que você
conceituar o que quer dizer com "parecida" pode fazer toda diferença!
"Parecida" em qual aspecto? Design do kernel? Userland? Alguém pode te
ajudar mas o primeiro passo pra isso é que sejas mais preciso.


Abraço,

-- 

Francisco Ricardo
___
Administrador de Redes e Sistemas Unix/Linux
Profissional Certificado RedHat | Entusiasta FreeBSD
Natal/RN | (84)9461-4801   | frica...@bsd.com.br
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 11:49, Edson Brandi escreveu:
> Em 11 de julho de 2012 10:36, Marcelo Gondim  escreveu:
>> Pessoal,
>>
>> Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
>> 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após
>> rodar o tuning-primer o memory usage simplesmente estoura. Conforme abaixo:
>>
>> MEMORY USAGE
>> Max Memory Ever Allocated : 438 M
>> Configured Max Per-thread Buffers : 48.46 G
>> Configured Max Global Buffers : 426 M
>> Configured Max Memory Limit : 48.87 G
>> Physical Memory : 13.00 G
>>
>> Max memory limit exceeds 90% of physical memory
>>
>> Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
>> bastante ram mesmo assim.
>> Quando eu faço a mesma coisa em uma máquina equivalente, com mais
>> memória, só que com Linux, usando os 4000 em max_connections a coisa
>> fica boa conforme abaixo:
>>
>> MEMORY USAGE
>> Max Memory Ever Allocated : 10.10 G
>> Configured Max Per-thread Buffers : 11.71 G
>> Configured Max Global Buffers : 2.13 G
>> Configured Max Memory Limit : 13.85 G
>> Physical Memory : 23.53 G
>> Max memory limit seem to be within acceptable norms
>>
>> Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
>> "Configured Max Memory Limit" não estouraram a ram disponível. O que
>> poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
>> lugar pra tentar resolver e a única coisa que eu havia visto é que no
>> Linux suportaria as 4000 conexões mas em outras plataformas não.
>>
>> Quem puder fazer esses testes e comprovar é só dizer.  :)
> Marcelo,
>
> Antes de palpitar, me diga uma coisa...
>
> O seu FreeBSD roda em 32 ou 64 Bits? O seu mysqld é 32 ou 64 bits?

Opa Edson blz?

64 bits. Tudo compilado, nada instalado por pacote. Toda instalação 
feita via ports em amd64.  :)

>
> Como está o seu kern.maxdsiz ? Pelos numero me parece que sua maquina
> ainda está usando o tamanho default de 512 Mb como sendo o segmento
> máximo de memoria que pode ser alocada por um processo, esse é o
> primeiro problema que eu vejo...
# sysctl kern.maxdsiz
kern.maxdsiz: 34359738368


> Cada thread do mysql vai consumir no minimo uns 200k de memoria, para
> 4000 conexões/threads vc precisa permitir no minimo 1.5 Gb de memoria
> alocada por processo.
>
> De uma olhada nos demais limites do seu sistema com o ulimit-a , vc
> pode precisar mexer em outros items...
# ulimit -a
socket buffer size   (bytes, -b) unlimited
core file size  (blocks, -c) unlimited
data seg size   (kbytes, -d) 33554432
file size   (blocks, -f) unlimited
max locked memory   (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files  (-n) 20
pipe size(512 bytes, -p) 1
stack size  (kbytes, -s) 524288
cpu time   (seconds, -t) unlimited
max user processes  (-u) 5547
virtual memory  (kbytes, -v) unlimited
swap size   (kbytes, -w) unlimited

Pois é Edson estou tentando descobrir mas tá complicado. :)

>
> Como estão os parâmetros da sessão [mysqld] do seu my.cnf na sua
> instalação FreeBSD e na sua instalação Linux? Eles estão iguais?
> Existem uma série de itens de configuração que mudam radicalmente o
> consumo de memoria do seu servidor, e a comparação pra ser justa tem
> que ser feita em cenários iguais.

Estão iguais sim. Fiz só para efeito de testes. O que acontece é que não 
importa o quanto eu acerte os outros parâmetros no my.cnf, colocar 4000 
em max_connections vai tudo pro ralo.
Se você tentar fazer aí acredito que vá ocorrer o mesmo resultado. Isso 
surgiu por causa do nosso site de torrents que devido ao announce e 
quantidade de peers o número de conexões chegam em 4000.

>
> Se tiver tempo, recomendo a leitura do artigo
> http://mysql.rjweb.org/doc.php/memory , vai ajudar a entender melhor
> como o mysql trata o uso de memoria.

Vou ler sim. Mas realmente está muito estranho isso. Como está gritante 
essa diferença.

>
> [ ]´s Brandi
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Ricardo Carlini Sperandio]

Em 11 de julho de 2012 12:14, Marcelo Gondim escreveu:

> Em 11/07/2012 11:49, Edson Brandi escreveu:
> > Em 11 de julho de 2012 10:36, Marcelo Gondim 
> escreveu:
> >> Pessoal,
> >>
> >> Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
> >> 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após
> >> rodar o tuning-primer o memory usage simplesmente estoura. Conforme
> abaixo:
> >>
> >> MEMORY USAGE
> >> Max Memory Ever Allocated : 438 M
> >> Configured Max Per-thread Buffers : 48.46 G
> >> Configured Max Global Buffers : 426 M
> >> Configured Max Memory Limit : 48.87 G
> >> Physical Memory : 13.00 G
> >>
> >> Max memory limit exceeds 90% of physical memory
> >>
> >> Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
> >> bastante ram mesmo assim.
> >> Quando eu faço a mesma coisa em uma máquina equivalente, com mais
> >> memória, só que com Linux, usando os 4000 em max_connections a coisa
> >> fica boa conforme abaixo:
> >>
> >> MEMORY USAGE
> >> Max Memory Ever Allocated : 10.10 G
> >> Configured Max Per-thread Buffers : 11.71 G
> >> Configured Max Global Buffers : 2.13 G
> >> Configured Max Memory Limit : 13.85 G
> >> Physical Memory : 23.53 G
> >> Max memory limit seem to be within acceptable norms
> >>
> >> Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
> >> "Configured Max Memory Limit" não estouraram a ram disponível. O que
> >> poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
> >> lugar pra tentar resolver e a única coisa que eu havia visto é que no
> >> Linux suportaria as 4000 conexões mas em outras plataformas não.
> >>
> >> Quem puder fazer esses testes e comprovar é só dizer.  :)
> > Marcelo,
> >
> > Antes de palpitar, me diga uma coisa...
> >
> > O seu FreeBSD roda em 32 ou 64 Bits? O seu mysqld é 32 ou 64 bits?
>
> Opa Edson blz?
>
> 64 bits. Tudo compilado, nada instalado por pacote. Toda instalação
> feita via ports em amd64.  :)
>
> >
> > Como está o seu kern.maxdsiz ? Pelos numero me parece que sua maquina
> > ainda está usando o tamanho default de 512 Mb como sendo o segmento
> > máximo de memoria que pode ser alocada por um processo, esse é o
> > primeiro problema que eu vejo...
> # sysctl kern.maxdsiz
> kern.maxdsiz: 34359738368
>
>
> > Cada thread do mysql vai consumir no minimo uns 200k de memoria, para
> > 4000 conexões/threads vc precisa permitir no minimo 1.5 Gb de memoria
> > alocada por processo.
> >
> > De uma olhada nos demais limites do seu sistema com o ulimit-a , vc
> > pode precisar mexer em outros items...
> # ulimit -a
> socket buffer size   (bytes, -b) unlimited
> core file size  (blocks, -c) unlimited
> data seg size   (kbytes, -d) 33554432
> file size   (blocks, -f) unlimited
> max locked memory   (kbytes, -l) unlimited
> max memory size (kbytes, -m) unlimited
> open files  (-n) 20
> pipe size(512 bytes, -p) 1
> stack size  (kbytes, -s) 524288
> cpu time   (seconds, -t) unlimited
> max user processes  (-u) 5547
> virtual memory  (kbytes, -v) unlimited
> swap size   (kbytes, -w) unlimited
>
> Pois é Edson estou tentando descobrir mas tá complicado. :)
>
> >
> > Como estão os parâmetros da sessão [mysqld] do seu my.cnf na sua
> > instalação FreeBSD e na sua instalação Linux? Eles estão iguais?
> > Existem uma série de itens de configuração que mudam radicalmente o
> > consumo de memoria do seu servidor, e a comparação pra ser justa tem
> > que ser feita em cenários iguais.
>
> Estão iguais sim. Fiz só para efeito de testes. O que acontece é que não
> importa o quanto eu acerte os outros parâmetros no my.cnf, colocar 4000
> em max_connections vai tudo pro ralo.
> Se você tentar fazer aí acredito que vá ocorrer o mesmo resultado. Isso
> surgiu por causa do nosso site de torrents que devido ao announce e
> quantidade de peers o número de conexões chegam em 4000.
>
> >
> > Se tiver tempo, recomendo a leitura do artigo
> > http://mysql.rjweb.org/doc.php/memory , vai ajudar a entender melhor
> > como o mysql trata o uso de memoria.
>
> Vou ler sim. Mas realmente está muito estranho isso. Como está gritante
> essa diferença.
>
> >
> > [ ]´s Brandi
> > -
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >
>
>
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Qual a versão do teu FreeBSD ?

-- 
Ricardo Carlini Sperandio
Analista/Consultor Linux Sênior  LPIC-3
Connectcom - GISUT / CEF
GEDEL: Grupo Especializado em Desenvolvimento Linux
VIPLAB/PUC-MG mestrando em informática
DCC/UFMG  - Bacharel em Ciência da Computação

Computers are like air conditioners.
They don't work when you open Windows.
-
Histórico: http://www

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 12:14, Marcelo Gondim  escreveu:
>> Como está o seu kern.maxdsiz ? Pelos numero me parece que sua maquina
>> ainda está usando o tamanho default de 512 Mb como sendo o segmento
>> máximo de memoria que pode ser alocada por um processo, esse é o
>> primeiro problema que eu vejo...
> # sysctl kern.maxdsiz
> kern.maxdsiz: 34359738368

Estranho... Pelo sintoma é como se o mysql não estivesse conseguindo
alocar a memoria mesmo com o seu kernel permitindo isso :\

Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
os parâmetros abaixo no seu Freebsd?

kern.maxssiz
kern.dflssiz
kern.maxdsiz
kern.dfldsiz
kern.maxtsiz

Vc mencionou que chegou a rodar com até 1.000 no numero de conexões,
como ficou o report dos parâmetros de MEMORY USAGE neste cenário?

[]´s Brandi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 11:50, Leonardo Augusto escreveu:
> hehe isso do mysql ta virando pessoal ja.
> vamos dar um jeito nisso.
não é? rsrsrsr

> eu so nao posso fazer mais testes em funcao da minha condicao de deitado
> temporariamenre.
>
> passa as configs do kernel e o my.cnf que usou, o sysctl -a grep kern tb e
> interessante.
Pra testar eu peguei  my-huge mesmo e só adicionei o max_connections sem 
acessos à base. Só pra efeito de teste mesmo. Agora o do Linux que tá em 
produção é esse aqui:

[mysqld]
open-files-limit = 20
user= mysql
pid-file= /var/run/mysqld/mysqld.pid
socket  = /var/run/mysqld/mysqld.sock
port= 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir  = /tmp
language= /usr/share/mysql/english
skip-external-locking
bind-address= 127.0.0.1
low_priority_updates= 1
concurrent_insert   = 2
key_buffer_size = 2G
max_allowed_packet  = 512M
thread_stack= 512K
thread_cache_size   = 128
myisam-recover = BACKUP
max_connections= 4000
table_cache= 5000
thread_concurrency = 24
query_cache_limit   = 16M
query_cache_size= 128M
expire_logs_days= 10
max_binlog_size = 100M


> acho que tem muita gente aqui que tem interesse no caso e com condicoes de
> ajudar.
>
> sera que nao tem a ver com o tipo do scheduke usado? ja testou com is dois
> tipos?

Estou usando o ULE mas você acha que ficaria melhor o 4BSD?

# SCHED_4BSD is the historical, proven, BSD scheduler.  It has a global run
# queue and no CPU affinity which makes it suboptimal for SMP.  It has very
# good interactivity and priority selection.

# SCHED_ULE provides significant performance advantages over 4BSD on many
# workloads on SMP machines.  It supports cpu-affinity, per-cpu runqueues
# and scheduler locks.  It also has a stronger notion of interactivity
# which leads to better responsiveness even on uniprocessor machines.  This
# is the default scheduler.

Teoricamente o ULE seria melhor ao meu ver.

>
> faz o teste de rodar o binario do linux no bsd. e so baixar o tgz e rodar
> via um comando la de emulacao de linux que nao lembro agora.
>
> quando eu ficar bom, vou pegar um dell quad com raid e 8g que ta parado e
> vou instalar esse 8 ou 9 pra testar

Show vamos desbagaçar esse pepino hahahahaha

>
> ate la so posdo dar palpite, hehe
> Em 11/07/2012 10:37, "Marcelo Gondim"  escreveu:

Cara o memcache já foi um puta palpite que hoje em dia tá muto bom 
lá no site. O site que tem a quantidade de acessos, mais de 400mil 
peers, quase 100mil users, pra mais de 70.000 torrents e as páginas de 
consulta estão sendo geradas em 0,00... segundos. Valeu pela dica e 
consegui convencer o programador à implementar. rsrsrs

>
>> Pessoal,
>>
>> Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
>> 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após
>> rodar o tuning-primer o memory usage simplesmente estoura. Conforme abaixo:
>>
>> MEMORY USAGE
>> Max Memory Ever Allocated : 438 M
>> Configured Max Per-thread Buffers : 48.46 G
>> Configured Max Global Buffers : 426 M
>> Configured Max Memory Limit : 48.87 G
>> Physical Memory : 13.00 G
>>
>> Max memory limit exceeds 90% of physical memory
>>
>> Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
>> bastante ram mesmo assim.
>> Quando eu faço a mesma coisa em uma máquina equivalente, com mais
>> memória, só que com Linux, usando os 4000 em max_connections a coisa
>> fica boa conforme abaixo:
>>
>> MEMORY USAGE
>> Max Memory Ever Allocated : 10.10 G
>> Configured Max Per-thread Buffers : 11.71 G
>> Configured Max Global Buffers : 2.13 G
>> Configured Max Memory Limit : 13.85 G
>> Physical Memory : 23.53 G
>> Max memory limit seem to be within acceptable norms
>>
>> Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
>> "Configured Max Memory Limit" não estouraram a ram disponível. O que
>> poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
>> lugar pra tentar resolver e a única coisa que eu havia visto é que no
>> Linux suportaria as 4000 conexões mas em outras plataformas não.
>>
>> Quem puder fazer esses testes e comprovar é só dizer.  :)
>> -
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 12:23, Ricardo Carlini Sperandio escreveu:
> Em 11 de julho de 2012 12:14, Marcelo Gondim escreveu:
>
>> Em 11/07/2012 11:49, Edson Brandi escreveu:
>>> Em 11 de julho de 2012 10:36, Marcelo Gondim 
>> escreveu:
 Pessoal,

 Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após
 rodar o tuning-primer o memory usage simplesmente estoura. Conforme
>> abaixo:
 MEMORY USAGE
 Max Memory Ever Allocated : 438 M
 Configured Max Per-thread Buffers : 48.46 G
 Configured Max Global Buffers : 426 M
 Configured Max Memory Limit : 48.87 G
 Physical Memory : 13.00 G

 Max memory limit exceeds 90% of physical memory

 Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
 bastante ram mesmo assim.
 Quando eu faço a mesma coisa em uma máquina equivalente, com mais
 memória, só que com Linux, usando os 4000 em max_connections a coisa
 fica boa conforme abaixo:

 MEMORY USAGE
 Max Memory Ever Allocated : 10.10 G
 Configured Max Per-thread Buffers : 11.71 G
 Configured Max Global Buffers : 2.13 G
 Configured Max Memory Limit : 13.85 G
 Physical Memory : 23.53 G
 Max memory limit seem to be within acceptable norms

 Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
 "Configured Max Memory Limit" não estouraram a ram disponível. O que
 poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
 lugar pra tentar resolver e a única coisa que eu havia visto é que no
 Linux suportaria as 4000 conexões mas em outras plataformas não.

 Quem puder fazer esses testes e comprovar é só dizer.  :)
>>> Marcelo,
>>>
>>> Antes de palpitar, me diga uma coisa...
>>>
>>> O seu FreeBSD roda em 32 ou 64 Bits? O seu mysqld é 32 ou 64 bits?
>> Opa Edson blz?
>>
>> 64 bits. Tudo compilado, nada instalado por pacote. Toda instalação
>> feita via ports em amd64.  :)
>>
>>> Como está o seu kern.maxdsiz ? Pelos numero me parece que sua maquina
>>> ainda está usando o tamanho default de 512 Mb como sendo o segmento
>>> máximo de memoria que pode ser alocada por um processo, esse é o
>>> primeiro problema que eu vejo...
>> # sysctl kern.maxdsiz
>> kern.maxdsiz: 34359738368
>>
>>
>>> Cada thread do mysql vai consumir no minimo uns 200k de memoria, para
>>> 4000 conexões/threads vc precisa permitir no minimo 1.5 Gb de memoria
>>> alocada por processo.
>>>
>>> De uma olhada nos demais limites do seu sistema com o ulimit-a , vc
>>> pode precisar mexer em outros items...
>> # ulimit -a
>> socket buffer size   (bytes, -b) unlimited
>> core file size  (blocks, -c) unlimited
>> data seg size   (kbytes, -d) 33554432
>> file size   (blocks, -f) unlimited
>> max locked memory   (kbytes, -l) unlimited
>> max memory size (kbytes, -m) unlimited
>> open files  (-n) 20
>> pipe size(512 bytes, -p) 1
>> stack size  (kbytes, -s) 524288
>> cpu time   (seconds, -t) unlimited
>> max user processes  (-u) 5547
>> virtual memory  (kbytes, -v) unlimited
>> swap size   (kbytes, -w) unlimited
>>
>> Pois é Edson estou tentando descobrir mas tá complicado. :)
>>
>>> Como estão os parâmetros da sessão [mysqld] do seu my.cnf na sua
>>> instalação FreeBSD e na sua instalação Linux? Eles estão iguais?
>>> Existem uma série de itens de configuração que mudam radicalmente o
>>> consumo de memoria do seu servidor, e a comparação pra ser justa tem
>>> que ser feita em cenários iguais.
>> Estão iguais sim. Fiz só para efeito de testes. O que acontece é que não
>> importa o quanto eu acerte os outros parâmetros no my.cnf, colocar 4000
>> em max_connections vai tudo pro ralo.
>> Se você tentar fazer aí acredito que vá ocorrer o mesmo resultado. Isso
>> surgiu por causa do nosso site de torrents que devido ao announce e
>> quantidade de peers o número de conexões chegam em 4000.
>>
>>> Se tiver tempo, recomendo a leitura do artigo
>>> http://mysql.rjweb.org/doc.php/memory , vai ajudar a entender melhor
>>> como o mysql trata o uso de memoria.
>> Vou ler sim. Mas realmente está muito estranho isso. Como está gritante
>> essa diferença.
>>
>>> [ ]´s Brandi
>>> -
>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>>
>>
>> -
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
> Qual a versão do teu FreeBSD ?
>
Oi Ricardo, testei com o 9-Stable e com o 8.3-Stable ambos amd64.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 12:36, Edson Brandi escreveu:
> Em 11 de julho de 2012 12:14, Marcelo Gondim  escreveu:
>>> Como está o seu kern.maxdsiz ? Pelos numero me parece que sua maquina
>>> ainda está usando o tamanho default de 512 Mb como sendo o segmento
>>> máximo de memoria que pode ser alocada por um processo, esse é o
>>> primeiro problema que eu vejo...
>> # sysctl kern.maxdsiz
>> kern.maxdsiz: 34359738368
> Estranho... Pelo sintoma é como se o mysql não estivesse conseguindo
> alocar a memoria mesmo com o seu kernel permitindo isso :\

pois é. sinistro!

>
> Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
> os parâmetros abaixo no seu Freebsd?
>
> kern.maxssiz
> kern.dflssiz
> kern.maxdsiz
> kern.dfldsiz
> kern.maxtsiz
kern.maxssiz: 536870912
kern.dflssiz: 8388608
kern.maxdsiz: 34359738368
kern.dfldsiz: 134217728
kern.maxtsiz: 134217728


>
> Vc mencionou que chegou a rodar com até 1.000 no numero de conexões,
> como ficou o report dos parâmetros de MEMORY USAGE neste cenário?

Consegui mas praticamente estourando o uso. Olha só com 1000 em 
max_connections:

MEMORY USAGE
Max Memory Ever Allocated : 649 M
Configured Max Per-thread Buffers : 12.11 G
Configured Max Global Buffers : 426 M
Configured Max Memory Limit : 12.53 G
Physical Memory : 13.00 G

Max memory limit exceeds 90% of physical memory

Só se eu concluir que o FreeBSD precisa de muito mais memória que o 
Linux para rodar com o mesmo max_connections no MySQL. Se for isso por 
que seria tão diferente?


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

[FUG-BR] [fug-br] zabbix server

[Denis Granato]

Boa tarde pessoal,

Alguém da lista utiliza um servidor zabbix no Free ? Se sim, gostaria de
trocar algumas informações e dúvidas

abs
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 13:55, Marcelo Gondim escreveu:
> Em 11/07/2012 11:50, Leonardo Augusto escreveu:
>> hehe isso do mysql ta virando pessoal ja.
>> vamos dar um jeito nisso.
> não é? rsrsrsr
>
>> eu so nao posso fazer mais testes em funcao da minha condicao de deitado
>> temporariamenre.
>>
>> passa as configs do kernel e o my.cnf que usou, o sysctl -a grep kern tb e
>> interessante.
> Pra testar eu peguei  my-huge mesmo e só adicionei o max_connections sem
> acessos à base. Só pra efeito de teste mesmo. Agora o do Linux que tá em
> produção é esse aqui:
>
> [mysqld]
> open-files-limit = 20
> user= mysql
> pid-file= /var/run/mysqld/mysqld.pid
> socket  = /var/run/mysqld/mysqld.sock
> port= 3306
> basedir = /usr
> datadir = /var/lib/mysql
> tmpdir  = /tmp
> language= /usr/share/mysql/english
> skip-external-locking
> bind-address= 127.0.0.1
> low_priority_updates= 1
> concurrent_insert   = 2
> key_buffer_size = 2G
> max_allowed_packet  = 512M
> thread_stack= 512K
> thread_cache_size   = 128
> myisam-recover = BACKUP
> max_connections= 4000
> table_cache= 5000
> thread_concurrency = 24
> query_cache_limit   = 16M
> query_cache_size= 128M
> expire_logs_days= 10
> max_binlog_size = 100M

Esqueci de colocar o resultado dele:

MEMORY USAGE
Max Memory Ever Allocated : 10.10 G
Configured Max Per-thread Buffers : 11.71 G
Configured Max Global Buffers : 2.13 G
Configured Max Memory Limit : 13.85 G
Physical Memory : 23.53 G
Max memory limit seem to be within acceptable norms

Fico impressionado é que com 4000 ele usa bem menos memória que no 
FreeBSD. 11.71G e 13.85G



>
>> acho que tem muita gente aqui que tem interesse no caso e com condicoes de
>> ajudar.
>>
>> sera que nao tem a ver com o tipo do scheduke usado? ja testou com is dois
>> tipos?
> Estou usando o ULE mas você acha que ficaria melhor o 4BSD?
>
> # SCHED_4BSD is the historical, proven, BSD scheduler.  It has a global run
> # queue and no CPU affinity which makes it suboptimal for SMP.  It has very
> # good interactivity and priority selection.
>
> # SCHED_ULE provides significant performance advantages over 4BSD on many
> # workloads on SMP machines.  It supports cpu-affinity, per-cpu runqueues
> # and scheduler locks.  It also has a stronger notion of interactivity
> # which leads to better responsiveness even on uniprocessor machines.  This
> # is the default scheduler.
>
> Teoricamente o ULE seria melhor ao meu ver.
>
>> faz o teste de rodar o binario do linux no bsd. e so baixar o tgz e rodar
>> via um comando la de emulacao de linux que nao lembro agora.
>>
>> quando eu ficar bom, vou pegar um dell quad com raid e 8g que ta parado e
>> vou instalar esse 8 ou 9 pra testar
> Show vamos desbagaçar esse pepino hahahahaha
>
>> ate la so posdo dar palpite, hehe
>> Em 11/07/2012 10:37, "Marcelo Gondim"  escreveu:
> Cara o memcache já foi um puta palpite que hoje em dia tá muto bom
> lá no site. O site que tem a quantidade de acessos, mais de 400mil
> peers, quase 100mil users, pra mais de 70.000 torrents e as páginas de
> consulta estão sendo geradas em 0,00... segundos. Valeu pela dica e
> consegui convencer o programador à implementar. rsrsrs
>
>>> Pessoal,
>>>
>>> Peguei uma base mysql rodando no FreeBSD e setei o max_connection para
>>> 4000. Tenho 12Gb de ram nessa máquina que fiz o teste, meu i7. :)  após
>>> rodar o tuning-primer o memory usage simplesmente estoura. Conforme abaixo:
>>>
>>> MEMORY USAGE
>>> Max Memory Ever Allocated : 438 M
>>> Configured Max Per-thread Buffers : 48.46 G
>>> Configured Max Global Buffers : 426 M
>>> Configured Max Memory Limit : 48.87 G
>>> Physical Memory : 13.00 G
>>>
>>> Max memory limit exceeds 90% of physical memory
>>>
>>> Valores até 1000 eu consegui no FreeBSD, sem estourar, mas ocupava
>>> bastante ram mesmo assim.
>>> Quando eu faço a mesma coisa em uma máquina equivalente, com mais
>>> memória, só que com Linux, usando os 4000 em max_connections a coisa
>>> fica boa conforme abaixo:
>>>
>>> MEMORY USAGE
>>> Max Memory Ever Allocated : 10.10 G
>>> Configured Max Per-thread Buffers : 11.71 G
>>> Configured Max Global Buffers : 2.13 G
>>> Configured Max Memory Limit : 13.85 G
>>> Physical Memory : 23.53 G
>>> Max memory limit seem to be within acceptable norms
>>>
>>> Reparem que no caso do Linux o "Configured Max Per-thread Buffers" e o
>>> "Configured Max Memory Limit" não estouraram a ram disponível. O que
>>> poderia estar causando isso no FreeBSD? Já procurei em tudo quanto foi
>>> lugar pra tentar resolver e a única coisa que eu havia visto é que no
>>> Linux suportaria as 4000 conexões mas em outras plataformas não.
>>>
>>> Quem puder fazer esses testes e comprovar é só dizer.  :)
>>> -
>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>>> Sair da lista: https://www.fug.com.br/mailm

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 14:06, Marcelo Gondim  escreveu:
>> Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
>> os parâmetros abaixo no seu Freebsd?
>>
> kern.maxssiz: 536870912
> kern.dflssiz: 8388608
> kern.maxdsiz: 34359738368
> kern.dfldsiz: 134217728
> kern.maxtsiz: 134217728

Marcelo,

Faz uma juste ai no seu loader.conf, para:

kern.dflssiz="512M"
kern.maxdsiz="10G"
kern.dfldsiz="4G"
kern.maxssiz="10G"
kern.maxtsiz="4G"

Da um boot na maquina, seta o max_connection para 4.000, e roda o
report de novo.

Manda o resultado aqui pra gente :)

Edson
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Eduardo Schoedler]

Em 11 de julho de 2012 14:21, Edson Brandi  escreveu:

> Em 11 de julho de 2012 14:06, Marcelo Gondim 
> escreveu:
> >> Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
> >> os parâmetros abaixo no seu Freebsd?
> >>
> > kern.maxssiz: 536870912
> > kern.dflssiz: 8388608
> > kern.maxdsiz: 34359738368
> > kern.dfldsiz: 134217728
> > kern.maxtsiz: 134217728
>
> Marcelo,
>
> Faz uma juste ai no seu loader.conf, para:
>
> kern.dflssiz="512M"
> kern.maxdsiz="10G"
> kern.dfldsiz="4G"
> kern.maxssiz="10G"
> kern.maxtsiz="4G"
>
> Da um boot na maquina, seta o max_connection para 4.000, e roda o
> report de novo.
>
> Manda o resultado aqui pra gente :)


Tem um outro parâmetro que mudaram no 7.2 em diante, passou a aceitar 2GB+:

kern.ipc.shmmax=2147483648


Chegou a testar?

-- 
Eduardo Schoedler
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 14:21, Edson Brandi  escreveu:
> Em 11 de julho de 2012 14:06, Marcelo Gondim  escreveu:
>>> Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
>>> os parâmetros abaixo no seu Freebsd?
>>>
>> kern.maxssiz: 536870912
>> kern.dflssiz: 8388608
>> kern.maxdsiz: 34359738368
>> kern.dfldsiz: 134217728
>> kern.maxtsiz: 134217728
>
> Marcelo,
>
> Faz uma juste ai no seu loader.conf, para:
>
> kern.dflssiz="512M"
> kern.maxdsiz="10G"
> kern.dfldsiz="4G"
> kern.maxssiz="10G"
> kern.maxtsiz="4G"
>
> Da um boot na maquina, seta o max_connection para 4.000, e roda o
> report de novo.
>
> Manda o resultado aqui pra gente :)
>
> Edson

Marcelo,

Pergunta obvia que esqueci de fazer... o seu kern.ipc.somaxconn está
setado para mais de 4.000 , certo?

Edson
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 14:21, Edson Brandi escreveu:
> Em 11 de julho de 2012 14:06, Marcelo Gondim  escreveu:
>>> Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
>>> os parâmetros abaixo no seu Freebsd?
>>>
>> kern.maxssiz: 536870912
>> kern.dflssiz: 8388608
>> kern.maxdsiz: 34359738368
>> kern.dfldsiz: 134217728
>> kern.maxtsiz: 134217728
> Marcelo,
>
> Faz uma juste ai no seu loader.conf, para:
>
> kern.dflssiz="512M"
> kern.maxdsiz="10G"
> kern.dfldsiz="4G"
> kern.maxssiz="10G"
> kern.maxtsiz="4G"
>
> Da um boot na maquina, seta o max_connection para 4.000, e roda o
> report de novo.
>
> Manda o resultado aqui pra gente :)

Coloquei eles no loader.conf, bootei e joguei os 4000 lá e aqui está o 
resultado:

MEMORY USAGE
Max Memory Ever Allocated : 438 M
Configured Max Per-thread Buffers : 48.46 G
Configured Max Global Buffers : 426 M
Configured Max Memory Limit : 48.87 G
Physical Memory : 13.00 G

Max memory limit exceeds 90% of physical memory

Muito sinistro e tipo isso foi feito em mais de uma máquina e os valores 
são sempre altos.  :(
Creio que se eu jogasse uns 64Gb de ram na máquina funcionaria mas puts 
muita diferença.
Será que sem querer descobri algo interessante? rsrsrsrsrs


>
> Edson
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 14:32, Eduardo Schoedler escreveu:
> Em 11 de julho de 2012 14:21, Edson Brandi  escreveu:
>
>> Em 11 de julho de 2012 14:06, Marcelo Gondim 
>> escreveu:
 Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
 os parâmetros abaixo no seu Freebsd?

>>> kern.maxssiz: 536870912
>>> kern.dflssiz: 8388608
>>> kern.maxdsiz: 34359738368
>>> kern.dfldsiz: 134217728
>>> kern.maxtsiz: 134217728
>> Marcelo,
>>
>> Faz uma juste ai no seu loader.conf, para:
>>
>> kern.dflssiz="512M"
>> kern.maxdsiz="10G"
>> kern.dfldsiz="4G"
>> kern.maxssiz="10G"
>> kern.maxtsiz="4G"
>>
>> Da um boot na maquina, seta o max_connection para 4.000, e roda o
>> report de novo.
>>
>> Manda o resultado aqui pra gente :)
>
> Tem um outro parâmetro que mudaram no 7.2 em diante, passou a aceitar 2GB+:
>
> kern.ipc.shmmax=2147483648
>
>
> Chegou a testar?
>
O meu já estava em 2G, joguei pra 4G e 6G e não surtiu efeito.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 14:33, Edson Brandi escreveu:
> Em 11 de julho de 2012 14:21, Edson Brandi  escreveu:
>> Em 11 de julho de 2012 14:06, Marcelo Gondim  
>> escreveu:
 Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
 os parâmetros abaixo no seu Freebsd?

>>> kern.maxssiz: 536870912
>>> kern.dflssiz: 8388608
>>> kern.maxdsiz: 34359738368
>>> kern.dfldsiz: 134217728
>>> kern.maxtsiz: 134217728
>> Marcelo,
>>
>> Faz uma juste ai no seu loader.conf, para:
>>
>> kern.dflssiz="512M"
>> kern.maxdsiz="10G"
>> kern.dfldsiz="4G"
>> kern.maxssiz="10G"
>> kern.maxtsiz="4G"
>>
>> Da um boot na maquina, seta o max_connection para 4.000, e roda o
>> report de novo.
>>
>> Manda o resultado aqui pra gente :)
>>
>> Edson
> Marcelo,
>
> Pergunta obvia que esqueci de fazer... o seu kern.ipc.somaxconn está
> setado para mais de 4.000 , certo?

Sim. kern.ipc.somaxconn: 4096  sendo que testei até com valores mais 
altos também.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 14:39, Marcelo Gondim escreveu:
> Em 11/07/2012 14:33, Edson Brandi escreveu:
>> Em 11 de julho de 2012 14:21, Edson Brandi  escreveu:
>>> Em 11 de julho de 2012 14:06, Marcelo Gondim  
>>> escreveu:
> Vc mencionou que a sua maquina tem 12 Gb de memoria, certo? Como estão
> os parâmetros abaixo no seu Freebsd?
>
 kern.maxssiz: 536870912
 kern.dflssiz: 8388608
 kern.maxdsiz: 34359738368
 kern.dfldsiz: 134217728
 kern.maxtsiz: 134217728
>>> Marcelo,
>>>
>>> Faz uma juste ai no seu loader.conf, para:
>>>
>>> kern.dflssiz="512M"
>>> kern.maxdsiz="10G"
>>> kern.dfldsiz="4G"
>>> kern.maxssiz="10G"
>>> kern.maxtsiz="4G"
>>>
>>> Da um boot na maquina, seta o max_connection para 4.000, e roda o
>>> report de novo.
>>>
>>> Manda o resultado aqui pra gente :)
>>>
>>> Edson
>> Marcelo,
>>
>> Pergunta obvia que esqueci de fazer... o seu kern.ipc.somaxconn está
>> setado para mais de 4.000 , certo?
> Sim. kern.ipc.somaxconn: 4096  sendo que testei até com valores mais
> altos também.
>
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
Edson o meu sysctl.conf é esse aqui:

kern.ipc.somaxconn=4096
kern.ipc.shmmax=2147483648
kern.ipc.maxsockets=204800
kern.ipc.nmbclusters=262144
kern.ps_arg_cache_limit=4096
kern.maxfiles=204800
kern.maxfilesperproc=20
kern.maxvnodes=20
kern.timecounter.hardware=HPET
net.inet.tcp.rfc1323=1
net.inet.tcp.delayed_ack=0
net.inet.ip.portrange.first=1024
net.inet.ip.portrange.last=65535
net.inet.ip.rtminexpire=2
net.inet.ip.rtmaxcache=1024
net.inet.ip.redirect=0
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.icmp.maskrepl=0
net.inet.icmp.log_redirect=0
net.inet.icmp.drop_redirect=1
net.inet.tcp.drop_synfin=1
net.inet.udp.blackhole=1
net.inet.tcp.blackhole=2
net.inet6.icmp6.nodeinfo=0
net.inet6.ip6.use_tempaddr=1
net.inet6.ip6.prefer_tempaddr=1
net.inet6.icmp6.rediraccept=0
net.inet.ip.ttl=128
net.inet.tcp.msl=5000
net.inet.tcp.maxtcptw=20
net.inet.tcp.fast_finwait2_recycle=1
net.inet.ip.intr_queue_maxlen=4096
net.inet.ip.dummynet.io_fast=1
vfs.ufs.dirhash_maxmem=67108864
vfs.read_max=64
net.inet.tcp.ecn.enable=1
net.inet.ip.fw.dyn_buckets=65536
net.inet.ip.fw.dyn_max=65536
net.inet.ip.fw.dyn_ack_lifetime=120
net.inet.ip.fw.dyn_syn_lifetime=10
net.inet.ip.fw.dyn_fin_lifetime=2
net.inet.ip.fw.dyn_short_lifetime=10
net.link.ether.ipfw=1
machdep.panic_on_nmi=0

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 14:33, Marcelo Gondim  escreveu:
> Será que sem querer descobri algo interessante? rsrsrsrsrs

Marcelo,

Estava dando uma olhada em como o mysql tuning primer
(https://launchpad.net/mysql-tuning-primer/), chega nos números.

Pelo que vi ele não está usando nenhuma variavel do sistema
operacional, e esta fazendo praticamente todas as contas  tendo como
input variaveis do mysql.

Com base nesta lógica de calculo a unica explicação que vejo pros
numeros estarem diferentes é se estas variaveis forem diferentes entre
o seu mysql rodando no linux e o seu mysql rodando no FreeBSD. Não me
parece ser algo relacionado ao sistema operacional.

A unica informação que ele usa do sistema operacional é a quantidade de memoria:

get_system_info () {

export OS=$(uname)

# Get information for various UNIXes
if [ "$OS" = 'Darwin' ]; then
ps_socket=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9
}' | head -1)
found_socks=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9 }')
export physical_memory=$(sysctl -n hw.memsize)
export duflags=''
elif [ "$OS" = 'FreeBSD' ] || [ "$OS" = 'OpenBSD' ]; then
## On FreeBSD must be root to locate sockets.
ps_socket=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9
}' | head -1)
found_socks=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9 }')
export physical_memory=$(sysctl -n hw.realmem)
export duflags=''
elif [ "$OS" = 'Linux' ] ; then
## Includes SWAP
## export physical_memory=$(free -b | grep -v buffers |  awk
'{ s += $2 } END { printf("%.0f\n", s ) }')
ps_socket=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9
}' | head -1)
found_socks=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9 }')
export physical_memory=$(awk '/^MemTotal/ { printf("%.0f",
$2*1024 ) }' < /proc/meminfo)
export duflags='-b'
elif [ "$OS" = 'SunOS' ] ; then
ps_socket=$(netstat -an | awk '/mysql(.*)?.sock/ { print $5 }'
| head -1)
found_socks=$(netstat -an | awk '/mysql(.*)?.sock/ { print $5 }')
export physical_memory=$(prtconf | awk '/^Memory\ size:/ {
print $3*1048576 }')
fi
if [ -z $(which bc) ] ; then
echo "Error: Command line calculator 'bc' not found!"
exit
fi
}


Colei a função que calcula a alocação de memoria abaixo:

total_memory_used () {

## -- Total Memory Usage -- ##
cecho "MEMORY USAGE" boldblue

mysql_variable \'read_buffer_size\' read_buffer_size
mysql_variable \'read_rnd_buffer_size\' read_rnd_buffer_size
mysql_variable \'sort_buffer_size\' sort_buffer_size
mysql_variable \'thread_stack\' thread_stack
mysql_variable \'max_connections\' max_connections
mysql_variable \'join_buffer_size\' join_buffer_size
mysql_variable \'tmp_table_size\' tmp_table_size
mysql_variable \'max_heap_table_size\' max_heap_table_size
mysql_variable \'log_bin\' log_bin
mysql_status \'Max_used_connections\' max_used_connections

if [ "$major_version" = "3.23" ] ; then
mysql_variable \'record_buffer\' read_buffer_size
mysql_variable \'record_rnd_buffer\' read_rnd_buffer_size
mysql_variable \'sort_buffer\' sort_buffer_size
fi

if [ "$log_bin" = "ON" ] ; then
mysql_variable \'binlog_cache_size\' binlog_cache_size
else
binlog_cache_size=0
fi

if [ $max_heap_table_size -le $tmp_table_size ] ; then
effective_tmp_table_size=$max_heap_table_size
else
effective_tmp_table_size=$tmp_table_size
fi


per_thread_buffers=$(echo
"($read_buffer_size+$read_rnd_buffer_size+$sort_buffer_size+$thread_stack+$join_buffer_size+$binlog_cache_size)*$max_connections"
| bc -l)
per_thread_max_buffers=$(echo
"($read_buffer_size+$read_rnd_buffer_size+$sort_buffer_size+$thread_stack+$join_buffer_size+$binlog_cache_size)*$max_used_connections"
| bc -l)

mysql_variable \'innodb_buffer_pool_size\' innodb_buffer_pool_size
if [ -z $innodb_buffer_pool_size ] ; then
innodb_buffer_pool_size=0
fi

mysql_variable \'innodb_additional_mem_pool_size\'
innodb_additional_mem_pool_size
if [ -z $innodb_additional_mem_pool_size ] ; then
innodb_additional_mem_pool_size=0
fi

mysql_variable \'innodb_log_buffer_size\' innodb_log_buffer_size
if [ -z $innodb_log_buffer_size ] ; then
innodb_log_buffer_size=0
fi

mysql_variable \'key_buffer_size\' key_buffer_size

mysql_variable \'query_cache_size\' query_cache_size
if [ -z $query_cache_size ] ; then
query_cache_size=0
fi

global_buffers=$(echo
"$innodb_buffer_pool_size+$innodb_additional_mem_pool_size+$innodb_log_buffer_size+$key_buffer_size+$query_cache_size"
| bc -l)


max_memory=$

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 14:52, Edson Brandi escreveu:
> Em 11 de julho de 2012 14:33, Marcelo Gondim  escreveu:
>> Será que sem querer descobri algo interessante? rsrsrsrsrs
> Marcelo,
>
> Estava dando uma olhada em como o mysql tuning primer
> (https://launchpad.net/mysql-tuning-primer/), chega nos números.
>
> Pelo que vi ele não está usando nenhuma variavel do sistema
> operacional, e esta fazendo praticamente todas as contas  tendo como
> input variaveis do mysql.
>
> Com base nesta lógica de calculo a unica explicação que vejo pros
> numeros estarem diferentes é se estas variaveis forem diferentes entre
> o seu mysql rodando no linux e o seu mysql rodando no FreeBSD. Não me
> parece ser algo relacionado ao sistema operacional.

Pois é mas se pegar as confs copiar de um pra outro usando as mesmas 
variáveis e só mudando o max_connection já dá uma grande diferença.
Também quero encontrar uma solução para isso. Também pensei no seguinte: 
e se o tuning-primer não tivesse funcionando corretamente no FreeBSD, os 
valores estivesses errados e fossem proximos dos do Linux. Então tudo 
deveria funcionar normalmente mas não funciona. Quando estouro com o 
max_connection passa à dar esse erro aqui:

DATABASE: mysql_connect: Can't create a new thread (errno 35); if you
are not out of available memory, you can consult the manual for a
possible OS-dependent bug

Se procurar no google por esse erro vamos ver que muita gente tenta resolver 
isso mas tudo que li e tentei não consegui resolver. Só descobri que se tento 
usar os 4000 começa à dar os erros de acesso que postei acima.

Aí mais à frente descobri essa página:

http://dev.mysql.com/doc/refman/5.1/ja/too-many-connections.html

Onde no final está escrito assim:

The maximum number of connections MySQL can support depends on the quality of 
the thread library on a given platform. Linux or Solaris should be able to 
support 500-1000 simultaneous connections, depending on how much RAM you have 
and what your clients are doing. Static Linux binaries provided by MySQL AB can 
support up to 4000 connections.




>
> A unica informação que ele usa do sistema operacional é a quantidade de 
> memoria:
>
> get_system_info () {
>
>  export OS=$(uname)
>
>  # Get information for various UNIXes
>  if [ "$OS" = 'Darwin' ]; then
>  ps_socket=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9
> }' | head -1)
>  found_socks=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9 }')
>  export physical_memory=$(sysctl -n hw.memsize)
>  export duflags=''
>  elif [ "$OS" = 'FreeBSD' ] || [ "$OS" = 'OpenBSD' ]; then
>  ## On FreeBSD must be root to locate sockets.
>  ps_socket=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9
> }' | head -1)
>  found_socks=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9 }')
>  export physical_memory=$(sysctl -n hw.realmem)
>  export duflags=''
>  elif [ "$OS" = 'Linux' ] ; then
>  ## Includes SWAP
>  ## export physical_memory=$(free -b | grep -v buffers |  awk
> '{ s += $2 } END { printf("%.0f\n", s ) }')
>  ps_socket=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9
> }' | head -1)
>  found_socks=$(netstat -ln | awk '/mysql(.*)?\.sock/ { print $9 }')
>  export physical_memory=$(awk '/^MemTotal/ { printf("%.0f",
> $2*1024 ) }' < /proc/meminfo)
>  export duflags='-b'
>  elif [ "$OS" = 'SunOS' ] ; then
>  ps_socket=$(netstat -an | awk '/mysql(.*)?.sock/ { print $5 }'
> | head -1)
>  found_socks=$(netstat -an | awk '/mysql(.*)?.sock/ { print $5 }')
>  export physical_memory=$(prtconf | awk '/^Memory\ size:/ {
> print $3*1048576 }')
>  fi
>  if [ -z $(which bc) ] ; then
>  echo "Error: Command line calculator 'bc' not found!"
>  exit
>  fi
> }
>
>
> Colei a função que calcula a alocação de memoria abaixo:
>
> total_memory_used () {
>
> ## -- Total Memory Usage -- ##
>  cecho "MEMORY USAGE" boldblue
>
>  mysql_variable \'read_buffer_size\' read_buffer_size
>  mysql_variable \'read_rnd_buffer_size\' read_rnd_buffer_size
>  mysql_variable \'sort_buffer_size\' sort_buffer_size
>  mysql_variable \'thread_stack\' thread_stack
>  mysql_variable \'max_connections\' max_connections
>  mysql_variable \'join_buffer_size\' join_buffer_size
>  mysql_variable \'tmp_table_size\' tmp_table_size
>  mysql_variable \'max_heap_table_size\' max_heap_table_size
>  mysql_variable \'log_bin\' log_bin
>  mysql_status \'Max_used_connections\' max_used_connections
>
>  if [ "$major_version" = "3.23" ] ; then
>  mysql_variable \'record_buffer\' read_buffer_size
>  mysql_variable \'record_rnd_buffer\' read_rnd_buffer_size
>  mysql_variable \'sort_buffer\' sort_buffer_size
>  fi
>
>  if [ "$log_bin" = "ON" ] ; then
>  mysql_

Re: [FUG-BR] [fug-br] zabbix server

[Paulo Henrique]

Em 11 de julho de 2012 14:07, Denis Granato escreveu:

> Boa tarde pessoal,
>
> Alguém da lista utiliza um servidor zabbix no Free ? Se sim, gostaria de
> trocar algumas informações e dúvidas
>
> abs
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
Quais informações,
Possuo um em produção usando PostgreSQL.

Att.


-- 
:=)><(=:

Flamers > /dev/null !!!
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 15:16, Marcelo Gondim  escreveu:
> The maximum number of connections MySQL can support depends on the quality of 
> the thread library on a given platform. Linux or Solaris should be able to 
> support 500-1000 simultaneous connections, depending on how much RAM you have 
> and what your clients are doing. Static Linux binaries provided by MySQL AB 
> can support up to 4000 connections.

Marcelo,

Esses comportamentos exóticos são divertidos de se debugar rs ,
infelizmente nem sempre é rápido ;)

Bom, pelo que vc nos disse até agora o hardware é exatamente o mesmo,
rodando versões 64 bits do sistema operacional e do MySQL (mesmas
versões?), ambos com as mesmas configurações na sessão [mysqld] do
my.cnf. Correto?

O binário que você está usando no linux é pré compilado pela mySQL AB,
ou foi compilado manualmente por você?

Pode nos enviar a saida de um ldd no binário do mysqld em cada um dos
seus 2 ambientes?

[ ]'s Brandi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] [fug-br] zabbix server

[Denis Granato]

Boa tarde Paulo,

Uma delas era, se estava usando com postgre :)

Demais são:

Estou voltando ao mundo freebsd depois de muitos anos...

- Instalou tudo via ports ?
- Qual versao do free esta usando?
- qual a configuração de hardware do servidor e quantos devices esta
monitorando?
- Tem o passo a passo ai da instalaçao e configuraçào dele no Free?

Obrigado pela ajuda



2012/7/11 Paulo Henrique 

> Em 11 de julho de 2012 14:07, Denis Granato  >escreveu:
>
> > Boa tarde pessoal,
> >
> > Alguém da lista utiliza um servidor zabbix no Free ? Se sim, gostaria de
> > trocar algumas informações e dúvidas
> >
> > abs
> > -
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >
> Quais informações,
> Possuo um em produção usando PostgreSQL.
>
> Att.
>
>
> --
> :=)><(=:
>
> Flamers > /dev/null !!!
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] [fug-br] zabbix server

[Paulo Henrique]

Em 11 de julho de 2012 15:48, Denis Granato escreveu:

> Boa tarde Paulo,
>
> Uma delas era, se estava usando com postgre :)
>
> Demais são:
>
> Estou voltando ao mundo freebsd depois de muitos anos...
>
> Seja bem vindo.


> - Instalou tudo via ports ?
>

Sim

> - Qual versao do free esta usando?
>
FreeBSD 8.1 Stable -p8 ( na epoca da instalação estava no FreeBSD 8.1
stable -p4 )
Atualização do servidor marcado para dia 28/07 para a versão 8.3

- qual a configuração de hardware do servidor e quantos devices esta
> monitorando?
>
Quad-Core Q8400
8Gb de RAm ( kingston 1066mhz )
1 Array GEOM_MIRROR de 500Gb ( HDs WD Sata2 16Mb/cache)
1 Array GEOM_MIRROR de 1Tbs ( HDs WD Sata2 64Mb/cache)
1 Array GEOM_MIRROR de 2.2Tbs ( HDs WD Sata2 64Mb/cache)
Placa-mae: Intel Desktop Board DP43TF

A maquina ainda roda, Samba, OpenLDAP, PostgreSQL, Net-SNMP, Bind,
Apache22, JabberD, ProftpD,


> - Tem o passo a passo ai da instalaçao e configuraçào dele no Free?
>
Use a documentação do projeto.


>
> Obrigado pela ajuda
>
> Sem que precisar a lista de discussão estará aqui

>
>
> 2012/7/11 Paulo Henrique 
>
> > Em 11 de julho de 2012 14:07, Denis Granato  > >escreveu:
> >
> > > Boa tarde pessoal,
> > >
> > > Alguém da lista utiliza um servidor zabbix no Free ? Se sim, gostaria
> de
> > > trocar algumas informações e dúvidas
> > >
> > > abs
> > > -
> > > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> > >
> > Quais informações,
> > Possuo um em produção usando PostgreSQL.
> >
> > Att.
> >
> >
> > --
> > :=)><(=:
> >
> > Flamers > /dev/null !!!
>



-- 
:=)><(=:

Flamers > /dev/null !!!
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 15:38, Edson Brandi escreveu:
> Em 11 de julho de 2012 15:16, Marcelo Gondim  escreveu:
>> The maximum number of connections MySQL can support depends on the quality 
>> of the thread library on a given platform. Linux or Solaris should be able 
>> to support 500-1000 simultaneous connections, depending on how much RAM you 
>> have and what your clients are doing. Static Linux binaries provided by 
>> MySQL AB can support up to 4000 connections.
> Marcelo,
>
> Esses comportamentos exóticos são divertidos de se debugar rs ,
> infelizmente nem sempre é rápido ;)

rsrsr pois é, mas é legal descobrir esse tipo de coisa porque com 
certeza vai servir pra alguém algum dia. rsrsrs tipo no meu dia a dia 
nunca precisei usar valores de 1000 conexões na base. Aqui os sistemas 
são tranquilos. 1000 conexões concorrentes no mysql é muita coisa aqui 
pra gente. Mas no manicomio-share (site de torrents da gente) é 
diferente porque faz parte do tipo de acesso em sites de torrents 
fechados. Se fosse um site de torrent aberto não teríamos a necessidade 
de um announce mas também tudo que é muito liberal acaba perdendo a 
qualidade. :D

> Bom, pelo que vc nos disse até agora o hardware é exatamente o mesmo,
> rodando versões 64 bits do sistema operacional e do MySQL (mesmas
> versões?), ambos com as mesmas configurações na sessão [mysqld] do
> my.cnf. Correto?
Isso mesmo.

> O binário que você está usando no linux é pré compilado pela mySQL AB,
> ou foi compilado manualmente por você?

Quando preciso usar Linux eu uso o Debian, nesse caso instalei o pacote 
do mysql que vem na distro que é a versão 5.1.
Tentei no FreeBSD também com o MySQL 5.5 mas não adiantou, aconteceu a 
mesma coisa.

>
> Pode nos enviar a saida de um ldd no binário do mysqld em cada um dos
> seus 2 ambientes?
Sim lógico. :) o que precisarem pra gente tentar descobrir isso.

FreeBSD:

# ldd /usr/local/libexec/mysqld
/usr/local/libexec/mysqld:
 librt.so.1 => /usr/lib/librt.so.1 (0x280c4e000)
 libz.so.6 => /lib/libz.so.6 (0x280e53000)
 libwrap.so.6 => /usr/lib/libwrap.so.6 (0x28106f000)
 libcrypt.so.5 => /lib/libcrypt.so.5 (0x281278000)
 libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0x28149d000)
 libm.so.5 => /lib/libm.so.5 (0x2817be000)
 libgcc_s.so.1 => /lib/libgcc_s.so.1 (0x2819e1000)
 libthr.so.3 => /lib/libthr.so.3 (0x281bef000)
 libc.so.7 => /lib/libc.so.7 (0x281e13000)

Debian:

# ldd /usr/sbin/mysqld
 linux-vdso.so.1 =>  (0x7fff451b1000)
 libpthread.so.0 => /lib/libpthread.so.0 (0x7fc0e1698000)
 libz.so.1 => /usr/lib/libz.so.1 (0x7fc0e1481000)
 libwrap.so.0 => /lib/libwrap.so.0 (0x7fc0e1277000)
 libdl.so.2 => /lib/libdl.so.2 (0x7fc0e1073000)
 libcrypt.so.1 => /lib/libcrypt.so.1 (0x7fc0e0e3c000)
 libnsl.so.1 => /lib/libnsl.so.1 (0x7fc0e0c23000)
 libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0x7fc0e090f000)
 libm.so.6 => /lib/libm.so.6 (0x7fc0e068d000)
 libgcc_s.so.1 => /lib/libgcc_s.so.1 (0x7fc0e0476000)
 libc.so.6 => /lib/libc.so.6 (0x7fc0e0114000)
 /lib64/ld-linux-x86-64.so.2 (0x7fc0e2476000)


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Leonardo Augusto]

O Brandi é o cara... se ele nao ajudar a resolver essa bronca "tamo"
tudo lascado, ehehe
daí ate eu vou voltar pro linux, 

Eu na minha tosquice, acho que o tipo de thread usada tem que ser mais
testado...

outra coisa marcelo, vc compilou o mysql no ports com

BUILD_OPTIMIZED E BUILD_STATIC ?? essa do static é importante,

Faz o teste de rodar o bin do linux la no bsd..

uma pergunta que lembrei agora, la no linux, quando esta com as 4000
conexoes, e vc da um ps ax, aparecem
4000 processos de mysql ??? ou apenas um ou poucos

abs
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 16:07, Leonardo Augusto escreveu:
> O Brandi é o cara... se ele nao ajudar a resolver essa bronca "tamo"
> tudo lascado, ehehe
> daí ate eu vou voltar pro linux, 

hehehe to torcendo pra isso srsrrsrsrsrs

>
> Eu na minha tosquice, acho que o tipo de thread usada tem que ser mais
> testado...
>
> outra coisa marcelo, vc compilou o mysql no ports com
>
> BUILD_OPTIMIZED E BUILD_STATIC ?? essa do static é importante,

Sempre compilo com o BUILD_OPTIMIZED mas não testei com fazendo ele 
estático não.
Eu tentei até usar o WITH_LINUXTHREADS=yes mas ele está marcado no ports 
como não compilável mais.

>
> Faz o teste de rodar o bin do linux la no bsd..

Pior, vai que funciona mas tipo não gostaria de rodar o mysql assim não. 
Se posso rodar ele nativo prefiro ele nativo.  :)

>
> uma pergunta que lembrei agora, la no linux, quando esta com as 4000
> conexoes, e vc da um ps ax, aparecem
> 4000 processos de mysql ??? ou apenas um ou poucos

Sempre os mesmos processos. Nunca vi mais que esses aí não:

No Freeba:
3710 ??  Is 0:00.00 /bin/sh /usr/local/bin/mysqld_safe 
--defaults-extra-file=/var/db/mysql/my.cnf --user=mysql 
--datadir=/var/db/mysql --socket=/tmp/mysql.sock --p
3748 ??  I  0:02.59 /usr/local/libexec/mysqld 
--defaults-extra-file=/var/db/mysql/my.cnf --basedir=/usr/local 
--datadir=/var/db/mysql --user=mysql --pid-file=/var/

No Linux:
26731 ?S  0:00 /bin/sh /usr/bin/mysqld_safe
26864 ?Sl   2514:55  \_ /usr/sbin/mysqld --basedir=/usr 
--datadir=/var/lib/mysql --user=mysql 
--pid-file=/var/run/mysqld/mysqld.pid 
--socket=/var/run/mysqld/mysqld.sock --port=3306
26865 ?S  0:00  \_ logger -t mysqld -p daemon.error

>
> abs
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 16:18, Marcelo Gondim  escreveu:
> Em 11/07/2012 16:07, Leonardo Augusto escreveu:
>> O Brandi é o cara... se ele nao ajudar a resolver essa bronca "tamo"
>> tudo lascado, ehehe
>> daí ate eu vou voltar pro linux, 
>
> hehehe to torcendo pra isso srsrrsrsrsrs

Ta certo... :)
Eu vou subir um ambiente em casa para fazer alguns testes , o difícil
vai ser arrumar uma forma de estressar em laboratório estas 4.000
conexões :\

[ ]´s Brandi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 16:36, Edson Brandi escreveu:
> Em 11 de julho de 2012 16:18, Marcelo Gondim  escreveu:
>> Em 11/07/2012 16:07, Leonardo Augusto escreveu:
>>> O Brandi é o cara... se ele nao ajudar a resolver essa bronca "tamo"
>>> tudo lascado, ehehe
>>> daí ate eu vou voltar pro linux, 
>> hehehe to torcendo pra isso srsrrsrsrsrs
> Ta certo... :)
> Eu vou subir um ambiente em casa para fazer alguns testes , o difícil
> vai ser arrumar uma forma de estressar em laboratório estas 4.000
> conexões :\

ixi é mesmo. A gente conseguiu aqui porque nosso site consome isso aí. 
rsrsrsrs

Eu não programo mas tipo se fizer uma página index.php com uma consulta 
na base, poderia usar o "ab" do apache pra solicitar as 4000 conexões. 
Seria uma idéia.  ;)
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Luiz Otavio O Souza]

2012/7/11 Marcelo Gondim :
> Em 11/07/2012 11:50, Leonardo Augusto escreveu:
>> hehe isso do mysql ta virando pessoal ja.
>> vamos dar um jeito nisso.
> não é? rsrsrsr
>
>> eu so nao posso fazer mais testes em funcao da minha condicao de deitado
>> temporariamenre.
>>
>> passa as configs do kernel e o my.cnf que usou, o sysctl -a grep kern tb e
>> interessante.
> Pra testar eu peguei  my-huge mesmo e só adicionei o max_connections sem
> acessos à base. Só pra efeito de teste mesmo. Agora o do Linux que tá em
> produção é esse aqui:
>
> [mysqld]
> open-files-limit = 20
> user= mysql
> pid-file= /var/run/mysqld/mysqld.pid
> socket  = /var/run/mysqld/mysqld.sock
> port= 3306
> basedir = /usr
> datadir = /var/lib/mysql
> tmpdir  = /tmp
> language= /usr/share/mysql/english
> skip-external-locking
> bind-address= 127.0.0.1
> low_priority_updates= 1
> concurrent_insert   = 2
> key_buffer_size = 2G
> max_allowed_packet  = 512M
> thread_stack= 512K
> thread_cache_size   = 128
> myisam-recover = BACKUP
> max_connections= 4000
> table_cache= 5000
> thread_concurrency = 24
> query_cache_limit   = 16M
> query_cache_size= 128M
> expire_logs_days= 10
> max_binlog_size = 100M
>

Marcelo,

Use o mesmo my.cnf nos dois servidores pois são as configurações que
estão lá que determinam quanto cada thread (ou conexão) vai consumir.

Att.,
Luiz
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Antônio Pessoa]

2012/7/11 Luiz Otavio O Souza 
>
>
> Marcelo,
>
> Use o mesmo my.cnf nos dois servidores pois são as configurações que
> estão lá que determinam quanto cada thread (ou conexão) vai consumir.
>
> Att.,
> Luiz


Ele já fez isso.


--
Atenciosamente,

Antônio Pessoa
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 16:56, Luiz Otavio O Souza escreveu:
> 2012/7/11 Marcelo Gondim :
>> Em 11/07/2012 11:50, Leonardo Augusto escreveu:
>>> hehe isso do mysql ta virando pessoal ja.
>>> vamos dar um jeito nisso.
>> não é? rsrsrsr
>>
>>> eu so nao posso fazer mais testes em funcao da minha condicao de deitado
>>> temporariamenre.
>>>
>>> passa as configs do kernel e o my.cnf que usou, o sysctl -a grep kern tb e
>>> interessante.
>> Pra testar eu peguei  my-huge mesmo e só adicionei o max_connections sem
>> acessos à base. Só pra efeito de teste mesmo. Agora o do Linux que tá em
>> produção é esse aqui:
>>
>> [mysqld]
>> open-files-limit = 20
>> user= mysql
>> pid-file= /var/run/mysqld/mysqld.pid
>> socket  = /var/run/mysqld/mysqld.sock
>> port= 3306
>> basedir = /usr
>> datadir = /var/lib/mysql
>> tmpdir  = /tmp
>> language= /usr/share/mysql/english
>> skip-external-locking
>> bind-address= 127.0.0.1
>> low_priority_updates= 1
>> concurrent_insert   = 2
>> key_buffer_size = 2G
>> max_allowed_packet  = 512M
>> thread_stack= 512K
>> thread_cache_size   = 128
>> myisam-recover = BACKUP
>> max_connections= 4000
>> table_cache= 5000
>> thread_concurrency = 24
>> query_cache_limit   = 16M
>> query_cache_size= 128M
>> expire_logs_days= 10
>> max_binlog_size = 100M
>>
> Marcelo,
>
> Use o mesmo my.cnf nos dois servidores pois são as configurações que
> estão lá que determinam quanto cada thread (ou conexão) vai consumir.

Oi Luiz eu fiz isso também e mesmo usando as mesmas confs dava a 
diferença. Tentei usando as mesmas confs, tentei fazendo ajustes 
diferenciados e em ambos os casos o problema apareceu.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Luiz Otavio O Souza]

2012/7/11 Antônio Pessoa :
> 2012/7/11 Luiz Otavio O Souza 
>>
>>
>> Marcelo,
>>
>> Use o mesmo my.cnf nos dois servidores pois são as configurações que
>> estão lá que determinam quanto cada thread (ou conexão) vai consumir.
>>
>> Att.,
>> Luiz
>
>
> Ele já fez isso.
>

çey =)


# The MySQL server
[mysqld]
bind-address= 127.0.0.1
port= 3306
socket  = /tmp/mysql.sock
skip-locking
key_buffer = 16K
max_allowed_packet = 1M
table_cache = 4
sort_buffer_size = 64K
read_buffer_size = 256K
read_rnd_buffer_size = 256K
net_buffer_length = 2K
thread_stack = 64K
skip-innodb
#skip-networking
server-id   = 1
max_connection = 4000



MEMORY USAGE
Max Memory Ever Allocated : 1 M
Configured Max Per-thread Buffers : 3.17 G
Configured Max Global Buffers : 16 K
Configured Max Memory Limit : 3.17 G
Physical Memory : 1.99 G

Max memory limit exceeds 90% of physical memory


Claro que estoura o limite to meu pequeno servidor, mas com 12G ainda
sobra algum espaço pra brincar.

Agora a pergunta é, seu servidor realmente precisa aceitar 4000
conexões simultaneas ? não convém dividir uma carga dessas ?

Isso é puramente uma questão de configuração do MySQL e não tem
relação com o SO (FreeBSD).

Att.,
Luiz
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Luiz Otavio O Souza]

Lembrando que o arquivo 'my.cnf' no FreeBSD deve ficar no diretório
/var/db/mysql e não no /etc (e nem no /usr/local/etc).

Talves o mysql tenha ignorado o my.cnf se você não copiou ele no
diretório correto (e por isso você não viu diferença até agora).

Att.,
Luiz
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Bom,

Peguei 2 VMs aqui idênticas em termos de hardware virtual (rs),
rodando sobre VMWare ESXi 5.0, configuradas com 4 Gb de RAM...

Uma rodando:

FreeBSD keyserver.fug.com.br 9.0-RELEASE-p3 FreeBSD 9.0-RELEASE-p3 #0:
Tue Jun 12 01:47:53 UTC 2012
r...@i386-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  i386

e na outra:

Linux server01.ebrandi.eti.br 2.6.32-220.23.1.el6.x86_64 #1 SMP Mon
Jun 18 18:58:52 BST 2012 x86_64 x86_64 x86_64 GNU/Linux

Não tinha uma VM com o FreeBSD 64 Bits aqui para testar... A
configuração e a versão do mysql é a mesma nas 2 VMs.

Os cálculos do consumo teórico de memoria em cada uma delas informado
MySQL Tuning Primer está abaixo, os numeros são bem parecidos, e vai
de encontro com aquela impressão que eu tinha de que o calculo do
Tuning Primer não olha nada do sistema operacional.

O proximo passo vai ser fazer um teste real de carga...

### FreeBSD ###

* max_connections=1

MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 2 M
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 154 M
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=10
MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 26 M
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 178 M
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=100
MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 268 M
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 420 M
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=1000
MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 2.62 G
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 2.77 G
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=4000
MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 10.49 G
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 10.64 G
Physical Memory : 1.00 G

Max memory limit exceeds 90% of physical memory

 Linux 

* max_connections=1

MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 2 M
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 154 M
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=10

MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 27 M
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 179 M
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=100

MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 275 M
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 427 M
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=1000
MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 2.68 G
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 2.83 G
Physical Memory : 3.74 G
Max memory limit seem to be within acceptable norms

* max_connections=4000
MEMORY USAGE
Max Memory Ever Allocated : 157 M
Configured Max Per-thread Buffers : 10.74 G
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 10.89 G
Physical Memory : 3.74 G

Max memory limit exceeds 90% of physical memory


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 17:18, Luiz Otavio O Souza escreveu:
> 2012/7/11 Antônio Pessoa :
>> 2012/7/11 Luiz Otavio O Souza 
>>>
>>> Marcelo,
>>>
>>> Use o mesmo my.cnf nos dois servidores pois são as configurações que
>>> estão lá que determinam quanto cada thread (ou conexão) vai consumir.
>>>
>>> Att.,
>>> Luiz
>>
>> Ele já fez isso.
>>
> çey =)
>
>
> # The MySQL server
> [mysqld]
> bind-address= 127.0.0.1
> port= 3306
> socket  = /tmp/mysql.sock
> skip-locking
> key_buffer = 16K
> max_allowed_packet = 1M
> table_cache = 4
> sort_buffer_size = 64K
> read_buffer_size = 256K
> read_rnd_buffer_size = 256K
> net_buffer_length = 2K
> thread_stack = 64K
> skip-innodb
> #skip-networking
> server-id   = 1
> max_connection = 4000
>
>
>
> MEMORY USAGE
> Max Memory Ever Allocated : 1 M
> Configured Max Per-thread Buffers : 3.17 G
> Configured Max Global Buffers : 16 K
> Configured Max Memory Limit : 3.17 G
> Physical Memory : 1.99 G
>
> Max memory limit exceeds 90% of physical memory
>
>
> Claro que estoura o limite to meu pequeno servidor, mas com 12G ainda
> sobra algum espaço pra brincar.

O problema é que mesmo com 12Gb não sobra espaço.  :)  Se você fizer 
isso que você fez aí em um Linux, bem eu fiz num Debian, vai ver que vai 
sobrar muito mais que isso. rsrsrs
Você pode pegar a mesma conf aí em cima e socar nele que você vai ver.

>
> Agora a pergunta é, seu servidor realmente precisa aceitar 4000
> conexões simultaneas ? não convém dividir uma carga dessas ?

Não tem jeito. Faz idéia de um site de torrents fechado e grande? :)  
Nosso site tem quase 100mil users, mais de 400mil peers e pra lá de 
70mil torrents. Imagina uma pessoa compartilhando 30 torrents, isso por 
baixo. Quando esse cara abre o cliente de torrent dele, o mesmo conecta 
no site através do announce que faz uma série de updates e inserts na 
base de cada torrent dele que tem uma passkey dele. Agora você imagina a 
quantidade de gente fazendo esse acesso e mais ainda os acessos normais 
ao site.

Se fossem só selects o memcache faria a mágica. Hoje graças ao Leonardo 
com a idéia do memcache o site está muito mas muito mais rápido nas 
consultas porque implementamos o memcache mas os announces castigam a 
gente rsrsrsr. Tudo começou comigo tentando migrar o site para o 
FreeBSD, onde primeiramente peguei a mesma conf, o mesmo my.cnf e não 
rolava. No servidor antigo que era uma máquina bem inferior com apenas 
16Gb de ram rodava bem, já no novo com 24Gb de ram e usando a mesma conf 
dizia que não tinha ram suficiente. Foi aí que começou toda a bagaça.  :)

O restante só lendo a thread ahahah pq é muita coisa. rsrsrsrsr

>
> Isso é puramente uma questão de configuração do MySQL e não tem
> relação com o SO (FreeBSD).

Também achava isso na minha cabeça. Agora me explica então como na mesma 
máquina usando a mesma conf do mysql, obtive valores diferentes em SOs 
diferentes? Porque o que fiz apenas foi formatar a máquina, colocar o 
Debian, usar a mesma conf do mysql e pronto. No caso do freebsd além de 
informar um alto uso de ram com a mesma configuração do mysql, quando 
aumentava o uso das conexões já apresentava um erro de falta de memória.

Também quero encontrar uma solução para esse problema mas dizer que é 
apenas conf do mysql... isso tenho certeza, hoje, que não é. :)
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 17:35, Luiz Otavio O Souza escreveu:
> Lembrando que o arquivo 'my.cnf' no FreeBSD deve ficar no diretório
> /var/db/mysql e não no /etc (e nem no /usr/local/etc).

Sim. Isso também sei rsrsrs no freeba em /var/db/mysql/ e no Debian em 
/etc/mysql/

>
> Talves o mysql tenha ignorado o my.cnf se você não copiou ele no
> diretório correto (e por isso você não viu diferença até agora).

Queria muito que fosse isso.
Se fosse isso quando eu colocasse 4000 conexões não daria o erro que 
está dando.
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Paulo Henrique]

Em 11 de julho de 2012 17:55, Marcelo Gondim escreveu:

> Em 11/07/2012 17:35, Luiz Otavio O Souza escreveu:
> > Lembrando que o arquivo 'my.cnf' no FreeBSD deve ficar no diretório
> > /var/db/mysql e não no /etc (e nem no /usr/local/etc).
>
> Sim. Isso também sei rsrsrs no freeba em /var/db/mysql/ e no Debian em
> /etc/mysql/
>
> >
> > Talves o mysql tenha ignorado o my.cnf se você não copiou ele no
> > diretório correto (e por isso você não viu diferença até agora).
>
> Queria muito que fosse isso.
> Se fosse isso quando eu colocasse 4000 conexões não daria o erro que
> está dando.
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Será que clusterizar o mysql, distribuindo as conexões não teria um
rendimento melhor ?
Sei que não resolve o problema esposto na thread, mais ainda assim logo irá
chegar no limite de hardware mesmo no linux e hoje o linux aguenta as 4K de
conexões e depois disso qual será o OS a tolerar ?

Eu particularmente utilizo PostgreSQL e o no passado coloquei 2048 conexões
apenas para brincar e um script PHP com inserts em um quad-core com 4G de
ram e não tive problemas depois deixei de lado pois 2048 conexões já é algo
realmente grande para ver se a configs de tunings que utilizo irá
satisfazer minhas necessidades em algum projeto que venha a ter.

Está facil de manipular o db utilizado pela aplicação em questão para
trocar o DB ?

-- 
:=)><(=:

Flamers > /dev/null !!!
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Eduardo Schoedler]

Em 11 de julho de 2012 17:55, Marcelo Gondim escreveu:

> Em 11/07/2012 17:35, Luiz Otavio O Souza escreveu:
> > Lembrando que o arquivo 'my.cnf' no FreeBSD deve ficar no diretório
> > /var/db/mysql e não no /etc (e nem no /usr/local/etc).
>
> Sim. Isso também sei rsrsrs no freeba em /var/db/mysql/ e no Debian em
> /etc/mysql/
>
> > Talves o mysql tenha ignorado o my.cnf se você não copiou ele no
> > diretório correto (e por isso você não viu diferença até agora).
>
> Queria muito que fosse isso.
> Se fosse isso quando eu colocasse 4000 conexões não daria o erro que
> está dando.


Mas você está apavorado com o consumo de memória? É isso?

O script faz um cálculo em cima do máximo de conexões 4000 x
"per-thread" dará quanto ele poderá (não que irá) alocar de memória.
Não te apavora com isso, só se realmente chegar em 4000 aí sim você terá um
problemão... hehehe.

Veja:
max_conn=10  /  Max Per-thread Buffers : 26 MB / max total (per
thread*max_conn + global)=178M
max_conn=100  /  Max Per-thread Buffers : 268 MB / max total (per
thread*max_conn + global)=420M
max_conn=1000  /  Max Per-thread Buffers : 2,77 GB   / max total (per
thread*max_conn + global)=3,74GB

Eu tenho um servidor de um portal *bem* acessado rodando mysql com máximo
de  100 conexões, não preciso mais do que isso -- só quando há um lock em
alguma tabela que é lida por muitas consultas... aí sim dá problema de
conexão.


-- 
Eduardo Schoedler
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 18:05, Eduardo Schoedler  escreveu:
> Mas você está apavorado com o consumo de memória? É isso?

Eduardo,

Se eu entendi o problema do Marcelo, na pratica o que está acontecendo
é que o mysqld não está conseguindo alocar a memoria necessária para
ter 4.000 conexões ativas.

Para ajudar na confusão, o output do script  mysql tuning primer
(https://launchpad.net/mysql-tuning-primer/) no servidor FreeBSD do
Marcelo diz que para ter 4.000 conexões ele precisa de MUITO mais RAM
do que no Linux.

Eu fiz um teste com o script aqui rodando em VMs iguais com Linux e
FreeBSD (setup vanilla em ambas, sem nenhum tuning), e a quantidade de
memoria reportada é sempre semelhante entre os sistemas.

[ ]´s Brandi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Eduardo Schoedler]

Em 11 de julho de 2012 18:16, Edson Brandi  escreveu:

> Se eu entendi o problema do Marcelo, na pratica o que está acontecendo
> é que o mysqld não está conseguindo alocar a memoria necessária para
> ter 4.000 conexões ativas.
>

Se realmente precisar aguentar as 4000 conexões simultâneas, vai precisar
de mais memória -- ou então baixar alguns parâmetros que interferem
diretamente no consumo por thread, além dos valores globais.



> Para ajudar na confusão, o output do script  mysql tuning primer
> (https://launchpad.net/mysql-tuning-primer/) no servidor FreeBSD do
> Marcelo diz que para ter 4.000 conexões ele precisa de MUITO mais RAM
> do que no Linux.
>

Mesmo?


> Eu fiz um teste com o script aqui rodando em VMs iguais com Linux e
> FreeBSD (setup vanilla em ambas, sem nenhum tuning), e a quantidade de
> memoria reportada é sempre semelhante entre os sistemas.
>

Pois é, você eliminou a variável do sistema operacional nesse script.
Por isso fiquei sem entender...

-- 
Eduardo Schoedler
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Em 11 de julho de 2012 18:23, Eduardo Schoedler  escreveu:
> Se realmente precisar aguentar as 4000 conexões simultâneas, vai precisar
> de mais memória -- ou então baixar alguns parâmetros que interferem
> diretamente no consumo por thread, além dos valores globais.

A principio 12 Gb é suficiente para as 4.000 conexões

>> Para ajudar na confusão, o output do script  mysql tuning primer
>> (https://launchpad.net/mysql-tuning-primer/) no servidor FreeBSD do
>> Marcelo diz que para ter 4.000 conexões ele precisa de MUITO mais RAM
>> do que no Linux.
>>
> Mesmo?

Sim, ta la no primeiro email dele o output do script no FreeBSD dele
com o calculo para 4.000 conexões:

MEMORY USAGE
Max Memory Ever Allocated : 438 M
Configured Max Per-thread Buffers : 48.46 G
Configured Max Global Buffers : 426 M
Configured Max Memory Limit : 48.87 G
Physical Memory : 13.00 G

>> Eu fiz um teste com o script aqui rodando em VMs iguais com Linux e
>> FreeBSD (setup vanilla em ambas, sem nenhum tuning), e a quantidade de
>> memoria reportada é sempre semelhante entre os sistemas.
>>
>
> Pois é, você eliminou a variável do sistema operacional nesse script.
> Por isso fiquei sem entender...

Então, é o que eu disse antes, se pelo calculo teórico a maquina tem
memoria suficiente, o problema está em porque raios o mysqld não
consegue usar a memoria se teoricamente os parâmetros do kernel para
permitir o uso de mais de 512Mb estão corretos :)

Esse teste pratico eu ainda não tive tempo de fazer.

[ ]´s Brandi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Leonardo Augusto]

2012/7/11 Marcelo Gondim :
> Em 11/07/2012 16:07, Leonardo Augusto escreveu:
>> O Brandi é o cara... se ele nao ajudar a resolver essa bronca "tamo"
>> tudo lascado, ehehe
>> daí ate eu vou voltar pro linux, 
>
> hehehe to torcendo pra isso srsrrsrsrsrs
>
>>
>> Eu na minha tosquice, acho que o tipo de thread usada tem que ser mais
>> testado...
>>
>> outra coisa marcelo, vc compilou o mysql no ports com
>>
>> BUILD_OPTIMIZED E BUILD_STATIC ?? essa do static é importante,
>
> Sempre compilo com o BUILD_OPTIMIZED mas não testei com fazendo ele
> estático não.
> Eu tentei até usar o WITH_LINUXTHREADS=yes mas ele está marcado no ports
> como não compilável mais.
>
>>
>> Faz o teste de rodar o bin do linux la no bsd..
>
> Pior, vai que funciona mas tipo não gostaria de rodar o mysql assim não.
> Se posso rodar ele nativo prefiro ele nativo.  :)
>
>>
>> uma pergunta que lembrei agora, la no linux, quando esta com as 4000
>> conexoes, e vc da um ps ax, aparecem
>> 4000 processos de mysql ??? ou apenas um ou poucos
>
> Sempre os mesmos processos. Nunca vi mais que esses aí não:
>
> No Freeba:
> 3710 ??  Is 0:00.00 /bin/sh /usr/local/bin/mysqld_safe
> --defaults-extra-file=/var/db/mysql/my.cnf --user=mysql
> --datadir=/var/db/mysql --socket=/tmp/mysql.sock --p
> 3748 ??  I  0:02.59 /usr/local/libexec/mysqld
> --defaults-extra-file=/var/db/mysql/my.cnf --basedir=/usr/local
> --datadir=/var/db/mysql --user=mysql --pid-file=/var/
>
> No Linux:
> 26731 ?S  0:00 /bin/sh /usr/bin/mysqld_safe
> 26864 ?Sl   2514:55  \_ /usr/sbin/mysqld --basedir=/usr
> --datadir=/var/lib/mysql --user=mysql
> --pid-file=/var/run/mysqld/mysqld.pid
> --socket=/var/run/mysqld/mysqld.sock --port=3306
> 26865 ?S  0:00  \_ logger -t mysqld -p daemon.error
>
>>

Engracado isso, no meu tempo de linux, acho que era ate 1999, cada conexao
do mysql criava um novo processo, pq acho que as threads desse
lixo(kkk) eram tipo um fork
com memoria compartilhada, aí ficavam 300 mil processos la do mysql

Agora entao eles devem ter mudado isso, se no caso, fica apenas alguns
processos aparecendo :)

Sabe o que nao gosto no linux ?

se vc aprende a instalar configurar o centos por exemplo, ai pega um
debian, ou um slack ou sei la
o que, se ferra todo, pq sempre tem alguma coisa ou algum pacote que
fica num diretorio diferente
ou coisa do tipo, que raiva disso, vai se ferra linux xupeta maldito, 

a unica coisa que sinto saudade desse pinguim sem nocao é o IPTRAF,
aquilo era legal
os que chegam perto do bsd ainda nao sao legais como aquele.

pelo que li quando lancaram o freebsd 7 pra cima, a reformulacao das
threads foi muito boa,
melhorou muita das versoes anteriores e pelo que entendi bem melhor
que do linux,
nao entendo como pode estar dando esse xabu ai...

no fundo espero que seja problema de BIOS mesmo, eheh

pq aí é facil resolver, pega a 12 e pronto, kk

só rindo pra nao xorar
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Matheus Weber da Conceição]

Em 11 de julho de 2012 17:55, Marcelo Gondim escreveu:

> Em 11/07/2012 17:35, Luiz Otavio O Souza escreveu:
> > Lembrando que o arquivo 'my.cnf' no FreeBSD deve ficar no diretório
> > /var/db/mysql e não no /etc (e nem no /usr/local/etc).
>
> Sim. Isso também sei rsrsrs no freeba em /var/db/mysql/ e no Debian em
> /etc/mysql/
>
> >
> > Talves o mysql tenha ignorado o my.cnf se você não copiou ele no
> > diretório correto (e por isso você não viu diferença até agora).
>
> Queria muito que fosse isso.
> Se fosse isso quando eu colocasse 4000 conexões não daria o erro que
> está dando.
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


Opa!

To extremamente encucado com esse "causo".

Testou já compilar o mysql com BUILD_STATIC ?


-- 

Matheus Conceição
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

[FUG-BR] Destruir arquivos definitivamente

[Otacílio]

Olá

Existe algum parâmetro ao montar um sistema de arquivos de forma que
quando o arquivo for apagado o FreeBSD destrua todos os dados do arquivo
escrevendo (por exemplo)  zero nos blocos de forma automática?

[]'s
-Otacílio
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Destruir arquivos definitivamente

[Eduardo Schoedler]

Em 11 de julho de 2012 22:29, Otacílio  escreveu:

> Existe algum parâmetro ao montar um sistema de arquivos de forma que
> quando o arquivo for apagado o FreeBSD destrua todos os dados do arquivo
> escrevendo (por exemplo)  zero nos blocos de forma automática?
>

Você poderia tentar fazer um "wrapper" para o rm... chamando o dd
if=/dev/zero e só depois apagando o arquivo.

-- 
Eduardo Schoedler
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Destruir arquivos definitivamente

[Otacílio]

On 11/07/2012 22:43, Eduardo Schoedler wrote:
> Em 11 de julho de 2012 22:29, Otacílio  escreveu:
> 
>> Existe algum parâmetro ao montar um sistema de arquivos de forma que
>> quando o arquivo for apagado o FreeBSD destrua todos os dados do arquivo
>> escrevendo (por exemplo)  zero nos blocos de forma automática?
>>
> 
> Você poderia tentar fazer um "wrapper" para o rm... chamando o dd
> if=/dev/zero e só depois apagando o arquivo.
> 

Mas e quando o arquivo for apagado pelo gnome por exemplo?

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Destruir arquivos definitivamente

[Eduardo Schoedler]

Em 11 de julho de 2012 22:48, Otacílio  escreveu:

> On 11/07/2012 22:43, Eduardo Schoedler wrote:
> > Em 11 de julho de 2012 22:29, Otacílio 
> escreveu:
> >
> >> Existe algum parâmetro ao montar um sistema de arquivos de forma que
> >> quando o arquivo for apagado o FreeBSD destrua todos os dados do arquivo
> >> escrevendo (por exemplo)  zero nos blocos de forma automática?
> >>
> >
> > Você poderia tentar fazer um "wrapper" para o rm... chamando o dd
> > if=/dev/zero e só depois apagando o arquivo.
> >
>
> Mas e quando o arquivo for apagado pelo gnome por exemplo?


Putz, nem idéia como o gnome implementa isso...
Me baseei pelo meu uso, que é somente no ssh dos servidores :-).


-- 
Eduardo Schoedler
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 17:45, Edson Brandi escreveu:
> Bom,
>
> Peguei 2 VMs aqui idênticas em termos de hardware virtual (rs),
> rodando sobre VMWare ESXi 5.0, configuradas com 4 Gb de RAM...
>
> Uma rodando:
>
> FreeBSD keyserver.fug.com.br 9.0-RELEASE-p3 FreeBSD 9.0-RELEASE-p3 #0:
> Tue Jun 12 01:47:53 UTC 2012
> r...@i386-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  i386
>
> e na outra:
>
> Linux server01.ebrandi.eti.br 2.6.32-220.23.1.el6.x86_64 #1 SMP Mon
> Jun 18 18:58:52 BST 2012 x86_64 x86_64 x86_64 GNU/Linux
>
> Não tinha uma VM com o FreeBSD 64 Bits aqui para testar... A
> configuração e a versão do mysql é a mesma nas 2 VMs.
>
> Os cálculos do consumo teórico de memoria em cada uma delas informado
> MySQL Tuning Primer está abaixo, os numeros são bem parecidos, e vai
> de encontro com aquela impressão que eu tinha de que o calculo do
> Tuning Primer não olha nada do sistema operacional.
>
> O proximo passo vai ser fazer um teste real de carga...
>
> ### FreeBSD ###
>
> * max_connections=1
>
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 2 M
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 154 M
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=10
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 26 M
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 178 M
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=100
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 268 M
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 420 M
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=1000
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 2.62 G
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 2.77 G
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=4000
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 10.49 G
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 10.64 G
> Physical Memory : 1.00 G
>
> Max memory limit exceeds 90% of physical memory
>
>  Linux 
>
> * max_connections=1
>
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 2 M
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 154 M
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=10
>
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 27 M
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 179 M
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=100
>
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 275 M
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 427 M
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=1000
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 2.68 G
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 2.83 G
> Physical Memory : 3.74 G
> Max memory limit seem to be within acceptable norms
>
> * max_connections=4000
> MEMORY USAGE
> Max Memory Ever Allocated : 157 M
> Configured Max Per-thread Buffers : 10.74 G
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 10.89 G
> Physical Memory : 3.74 G
>
> Max memory limit exceeds 90% of physical memory
>
> 
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
Opa Edson,

Me manda o seu my.cnf de teste pra eu jogar na VM que fiz aqui de 64 
bits. Pra eu ver que bicho vai dar.  :)  Vai que o problema é por ser 64 
bits.
Bem temos que testar tudo e 32 bits tem que endereçar menos mesmo. :)

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 18:16, Edson Brandi escreveu:
> Em 11 de julho de 2012 18:05, Eduardo Schoedler  escreveu:
>> Mas você está apavorado com o consumo de memória? É isso?
> Eduardo,
>
> Se eu entendi o problema do Marcelo, na pratica o que está acontecendo
> é que o mysqld não está conseguindo alocar a memoria necessária para
> ter 4.000 conexões ativas.

Sim. A mesma conf que eu usava em um Linux 64 bits com 16Gb de ram não 
estourava nada. Mas quando peguei um FreeBSD 9 e 8.3 joguei a base e 
usei a mesma conf do outro servidor, o mesmo dizia que eu precisava de 
uns 70Gb pra ter as 4000 conexões e quando as conexões chegavam perto 
dos 4000 já dava erro de conexão no mysql dizendo que não tinha ram, 
sendo que no servidor novo haviam 24Gb de ram.

>
> Para ajudar na confusão, o output do script  mysql tuning primer
> (https://launchpad.net/mysql-tuning-primer/) no servidor FreeBSD do
> Marcelo diz que para ter 4.000 conexões ele precisa de MUITO mais RAM
> do que no Linux.

Isso mesmo.  :)

> Eu fiz um teste com o script aqui rodando em VMs iguais com Linux e
> FreeBSD (setup vanilla em ambas, sem nenhum tuning), e a quantidade de
> memoria reportada é sempre semelhante entre os sistemas.

Mas tem uma diferença no seu teste. Você tá usando um FreeBSD 32 bits e 
um Linux 64 bits. Só aí já existe uma diferença. ;)

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 18:23, Eduardo Schoedler escreveu:
> Em 11 de julho de 2012 18:16, Edson Brandi  escreveu:
>
>> Se eu entendi o problema do Marcelo, na pratica o que está acontecendo
>> é que o mysqld não está conseguindo alocar a memoria necessária para
>> ter 4.000 conexões ativas.
>>
> Se realmente precisar aguentar as 4000 conexões simultâneas, vai precisar
> de mais memória -- ou então baixar alguns parâmetros que interferem
> diretamente no consumo por thread, além dos valores globais.

Pois é eu tentei abaixar alguns valores mas não foi isso que me intrigou.

>
>
>
>> Para ajudar na confusão, o output do script  mysql tuning primer
>> (https://launchpad.net/mysql-tuning-primer/) no servidor FreeBSD do
>> Marcelo diz que para ter 4.000 conexões ele precisa de MUITO mais RAM
>> do que no Linux.
>>
> Mesmo?
>
>
>> Eu fiz um teste com o script aqui rodando em VMs iguais com Linux e
>> FreeBSD (setup vanilla em ambas, sem nenhum tuning), e a quantidade de
>> memoria reportada é sempre semelhante entre os sistemas.
>>
> Pois é, você eliminou a variável do sistema operacional nesse script.
> Por isso fiquei sem entender...
>


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 18:36, Edson Brandi escreveu:
> Em 11 de julho de 2012 18:23, Eduardo Schoedler  escreveu:
>> Se realmente precisar aguentar as 4000 conexões simultâneas, vai precisar
>> de mais memória -- ou então baixar alguns parâmetros que interferem
>> diretamente no consumo por thread, além dos valores globais.
> A principio 12 Gb é suficiente para as 4.000 conexões
>
>>> Para ajudar na confusão, o output do script  mysql tuning primer
>>> (https://launchpad.net/mysql-tuning-primer/) no servidor FreeBSD do
>>> Marcelo diz que para ter 4.000 conexões ele precisa de MUITO mais RAM
>>> do que no Linux.
>>>
>> Mesmo?
> Sim, ta la no primeiro email dele o output do script no FreeBSD dele
> com o calculo para 4.000 conexões:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 438 M
> Configured Max Per-thread Buffers : 48.46 G
> Configured Max Global Buffers : 426 M
> Configured Max Memory Limit : 48.87 G
> Physical Memory : 13.00 G
>
>>> Eu fiz um teste com o script aqui rodando em VMs iguais com Linux e
>>> FreeBSD (setup vanilla em ambas, sem nenhum tuning), e a quantidade de
>>> memoria reportada é sempre semelhante entre os sistemas.
>>>
>> Pois é, você eliminou a variável do sistema operacional nesse script.
>> Por isso fiquei sem entender...
> Então, é o que eu disse antes, se pelo calculo teórico a maquina tem
> memoria suficiente, o problema está em porque raios o mysqld não
> consegue usar a memoria se teoricamente os parâmetros do kernel para
> permitir o uso de mais de 512Mb estão corretos :)
>
> Esse teste pratico eu ainda não tive tempo de fazer.
>
> [ ]´s Brandi
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
Opa Edson,

Instalei uma VM aqui com o FreeBSD 9 amd64.
Copiei o my-huge.cnf como exemplo e só adicionei o max_connections = 4000
Rodei o tuning-primer e a saída é essa:

MEMORY USAGE
Max Memory Ever Allocated : 438 M
Configured Max Per-thread Buffers : 48.46 G
Configured Max Global Buffers : 426 M
Configured Max Memory Limit : 48.87 G
Physical Memory : 1023 M

Max memory limit exceeds 90% of physical memory

Vou pegar uma VM 32 bits e fazer a mesma coisa e aí posto novamente.


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Marcelo Gondim]

Em 11/07/2012 21:39, Matheus Weber da Conceição escreveu:
> Em 11 de julho de 2012 17:55, Marcelo Gondim escreveu:
>
>> Em 11/07/2012 17:35, Luiz Otavio O Souza escreveu:
>>> Lembrando que o arquivo 'my.cnf' no FreeBSD deve ficar no diretório
>>> /var/db/mysql e não no /etc (e nem no /usr/local/etc).
>> Sim. Isso também sei rsrsrs no freeba em /var/db/mysql/ e no Debian em
>> /etc/mysql/
>>
>>> Talves o mysql tenha ignorado o my.cnf se você não copiou ele no
>>> diretório correto (e por isso você não viu diferença até agora).
>> Queria muito que fosse isso.
>> Se fosse isso quando eu colocasse 4000 conexões não daria o erro que
>> está dando.
>> -
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
>
> Opa!
>
> To extremamente encucado com esse "causo".
>
> Testou já compilar o mysql com BUILD_STATIC ?
>
>
Ainda não mas vou testar também. Mas antes vou testar em uma VM de 32 bits.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Destruir arquivos definitivamente

[Paulo Henrique]

Em 11 de julho de 2012 22:57, Eduardo Schoedler escreveu:

> Em 11 de julho de 2012 22:48, Otacílio 
> escreveu:
>
> > On 11/07/2012 22:43, Eduardo Schoedler wrote:
> > > Em 11 de julho de 2012 22:29, Otacílio 
> > escreveu:
> > >
> > >> Existe algum parâmetro ao montar um sistema de arquivos de forma que
> > >> quando o arquivo for apagado o FreeBSD destrua todos os dados do
> arquivo
> > >> escrevendo (por exemplo)  zero nos blocos de forma automática?
> > >>
> > >
> > > Você poderia tentar fazer um "wrapper" para o rm... chamando o dd
> > > if=/dev/zero e só depois apagando o arquivo.
> > >
> >
> > Mas e quando o arquivo for apagado pelo gnome por exemplo?
>
>
> Putz, nem idéia como o gnome implementa isso...
> Me baseei pelo meu uso, que é somente no ssh dos servidores :-).
>
>
> --
> Eduardo Schoedler
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Se o problema é evitar acesso fisico aos discos,  configura o geli e seja
feliz !!!
Só que reboots remotos esqueça, a menos que tenha KVM IP.

Att.



-- 
:=)><(=:

Flamers > /dev/null !!!
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD

[Edson Brandi]

Marcelo,

O problema está nessa configuração ai do mysql que vc esta usando...

Refiz um teste aqui com o FreeBSD 64 bits...

Se eu uso o /usr/local/share/mysql/my-huge.cnf  como sendo o meu
/var/db/mysql/my.cnf e seto o max_connections=4000 , o output do
tunning primer é o que vc está obtendo:

MEMORY USAGE
Max Memory Ever Allocated : 572 M
Configured Max Per-thread Buffers : 48.21 G
Configured Max Global Buffers : 560 M
Configured Max Memory Limit : 48.76 G
Physical Memory : 3.74 G

Max memory limit exceeds 90% of physical memory



Se eu uso o mysqld com a configuração default (default = não existe o
my.cnf), e adiciono apenas o parâmetro para 4.000 conexões (o arquivo
vai ficar com apenas 2 linhas):

[mysqld]
max_connections=4000

O output do tuning-primer.sh é o que eu tinha enviado antes (muito
semelhante no linux e no FreeBSD):

MEMORY USAGE
Max Memory Ever Allocated : 154 M
Configured Max Per-thread Buffers : 10.49 G
Configured Max Global Buffers : 152 M
Configured Max Memory Limit : 10.64 G
Physical Memory : 3.74G

Max memory limit exceeds 90% of physical memory



Se eu uso o mesmo arquivo de configuração
(/usr/local/share/mysql/my-huge.cnf ) no servidor Linux, fazendo os
ajustes necessários para que o mysqld rode, visto que aqui no meu lab
o daemon no linux nem sobe com este arquivo de configuração copiado do
FreeBSD se vc não adicionar as linhas abaixo na sessão [mysqld]:

datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql

O resultado é o mesmo que no FreeBSD:

MEMORY USAGE
Max Memory Ever Allocated : 584 M
Configured Max Per-thread Buffers : 48.46 G
Configured Max Global Buffers : 560 M
Configured Max Memory Limit : 49.00 G
Physical Memory : 3.74 G

Max memory limit exceeds 90% of physical memory



Ou seja, acho pouco provável que o seu servidor Linux e o seu servidor
FreeBSD estejam rodando exatamente com a mesma configuração no MySQL
(este my-huge.cnf)...

Edson
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] FreeBSD com Ipsec

[Gustavo Freitas]

Pessoal,

eu não consegui colocar para rodar o VPN ipsec para iOS..
alquem que tem experiência em strongSwan no freebsd/linux
tem interesse de fazer esse serviço...

favor entre em contato em PVT com o valor do serviço..
pode ser até remoto.

gustavo.


Em 10 de maio de 2012 14:44, Gustavo Freitas  escreveu:
>
> Vou fazer uns testes com pfsense..
>
> é que o cliente já tem o freebsd instalado.. vou obter maiores
> informações sobre strongSwan
>
> obrigado.
>
> Em 10 de maio de 2012 14:42, mantunes  escreveu:
> > olhando bem.. tem sim..
> >
> > me enganei..
> >
> >
> >
> > Em 10 de maio de 2012 14:38, Lucas Dias  escreveu:
> >> Gustavo
> >>
> >> O Alessandro acabou enviado primeiro do que eu esses link. Bem, na minha
> >> Humilde opinião, acredito que sim, você terá que compilar o Kernel para
> >> trabalhar com IPSEC e suas tecnologias. Os links enviados pelo Alessandro
> >> ajudam nesse sentido.
> >>
> >> A Dica da galera em usar o pfSense é valida. A situações que o pfSense bem
> >> implementado, se torna tipo um Appliance pra essa finalidade.
> >>
> >> No final, com FreeBSD você poderá ter mais controle porque você fará tudo
> >> na unha. Com pfSense também, afinal é tudo FreeBSD
> >>
> >>
> >> Segue um link pra IPSec no pfSense
> >>
> >> http://doc.pfsense.org/index.php/VPN_Capability_IPsec
> >>
> >> Tente avaliar uma outra abordagem com o pfSense, pra atender a tua
> >> necessidade. Pode ser que você consiga e implemente em menos tempo a
> >> solução.
> >>
> >> Espero ter ajudado. Abraços
> >> --
> >> .:: Lucas Dias
> >> .:: OS3 Soluções em TI
> >> .:: (82) 8813-1494 / 8111-2288
> >> .:: Antes de imprimir, veja se realmente é necessário!!!
> >>
> >>
> >>
> >> 2012/5/10 Alessandro de Souza Rocha 
> >>
> >>> Em 10 de maio de 2012 14:25, Léo Damasceno 
> >>> escreveu:
> >>> > Apoiado! www.pfsense.org
> >>> >
> >>> > 2012/5/10 Luiz Gustavo 
> >>> >
> >>> >> Em Qui, 2012-05-10 às 13:57 -0300, Gustavo Freitas escreveu:
> >>> >> > Senhores,
> >>> >> >
> >>> >> > Irei implementar uma vpn numa empresa têxtil, a mesma deseja que seja
> >>> >> > Ipsec, estou vendo
> >>> >> > o strongswan. Vi que para funcionar tem que compilar o kernel. A
> >>> >> > versão 9.0 também ?
> >>> >> >
> >>> >> > http://wiki.strongswan.org/projects/strongswan/wiki/FreeBSD
> >>> >> >
> >>> >> > Alguem sugere com material para o freebsd.. aqui na lista usam ?
> >>> >> >
> >>> >>
> >>> >> Porque não usar o pfsense para isso ? simples, fácil e rápido.
> >>> >>
> >>> >> Abraços
> >>> >> --
> >>> >> Luiz Gustavo Costa (Powered by BSD)
> >>> >> *+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+*+
> >>> >> mundoUnix - Consultoria em Software Livre
> >>> >> http://www.mundounix.com.br
> >>> >> ICQ: 2890831 / MSN: cont...@mundounix.com.br
> >>> >> Tel: 55 (21) 4063-7110 / 8194-1905 / (11) 4063-0407
> >>> >> Blog: http://www.luizgustavo.pro.br
> >>> >>
> >>> >> -
> >>> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >>> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>> >>
> >>> >
> >>> >
> >>> >
> >>> > --
> >>> > Leonardo Damasceno
> >>> > Bacharel em Sistemas de Informação
> >>> > Pós graduando em Redes de Computadores
> >>> > Certificado LPIC-1
> >>> > Certificado Novell
> >>> > Consultor oficial Debian Gnu/Linux (www.debian.org/consultants)
> >>> > -
> >>> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> >>> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>>
> >>> olha se ajuda.
> >>> http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/ipsec.html
> >>> http://www.freebsddiary.org/ipsec-tunnel.php
> >>> http://blog.hongens.nl/guides/ipsec-vpn-using-freebsd/
> >>> http://www.primeirospassos.org/sessao10_8_b.html
> >>>
> >>> --
> >>> Alessandro de Souza Rocha
> >>> Administrador de Redes e Sistemas
> >>> FreeBSD-BR User #117
> >>>  Long live FreeBSD
> >>>
> >>>  Powered by 
> >>>
> >>>   (__)
> >>>\\\'',)
> >>>  \/  \ ^
> >>>  .\._/_)
> >>>
> >>>  www.FreeBSD.org
> >>> -
> >>> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>>
> >> -
> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >
> >
> >
> > --
> > Marcio Antunes
> > Powered by FreeBSD
> > ==
> > * Windows: "Where do you want to go tomorrow?"
> > * Linux: "Where do you want to go today?"
> > * FreeBSD: "Are you, guys, comming or what?"
> > -
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
>
>
> --
> Gus

Re: [FUG-BR] Diferença absurda do mysql no Linux para o do FreeBSD [RESOLVIDO]

[Marcelo Gondim]

Em 12/07/2012 00:24, Edson Brandi escreveu:
> Marcelo,
>
> O problema está nessa configuração ai do mysql que vc esta usando...
>
> Refiz um teste aqui com o FreeBSD 64 bits...
>
> Se eu uso o /usr/local/share/mysql/my-huge.cnf  como sendo o meu
> /var/db/mysql/my.cnf e seto o max_connections=4000 , o output do
> tunning primer é o que vc está obtendo:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 572 M
> Configured Max Per-thread Buffers : 48.21 G
> Configured Max Global Buffers : 560 M
> Configured Max Memory Limit : 48.76 G
> Physical Memory : 3.74 G
>
> Max memory limit exceeds 90% of physical memory
>
> 
>
> Se eu uso o mysqld com a configuração default (default = não existe o
> my.cnf), e adiciono apenas o parâmetro para 4.000 conexões (o arquivo
> vai ficar com apenas 2 linhas):
>
> [mysqld]
> max_connections=4000
>
> O output do tuning-primer.sh é o que eu tinha enviado antes (muito
> semelhante no linux e no FreeBSD):
>
> MEMORY USAGE
> Max Memory Ever Allocated : 154 M
> Configured Max Per-thread Buffers : 10.49 G
> Configured Max Global Buffers : 152 M
> Configured Max Memory Limit : 10.64 G
> Physical Memory : 3.74G
>
> Max memory limit exceeds 90% of physical memory
>
> 
>
> Se eu uso o mesmo arquivo de configuração
> (/usr/local/share/mysql/my-huge.cnf ) no servidor Linux, fazendo os
> ajustes necessários para que o mysqld rode, visto que aqui no meu lab
> o daemon no linux nem sobe com este arquivo de configuração copiado do
> FreeBSD se vc não adicionar as linhas abaixo na sessão [mysqld]:
>
> datadir=/var/lib/mysql
> socket=/var/lib/mysql/mysql.sock
> user=mysql
>
> O resultado é o mesmo que no FreeBSD:
>
> MEMORY USAGE
> Max Memory Ever Allocated : 584 M
> Configured Max Per-thread Buffers : 48.46 G
> Configured Max Global Buffers : 560 M
> Configured Max Memory Limit : 49.00 G
> Physical Memory : 3.74 G
>
> Max memory limit exceeds 90% of physical memory
>
> 
>
> Ou seja, acho pouco provável que o seu servidor Linux e o seu servidor
> FreeBSD estejam rodando exatamente com a mesma configuração no MySQL
> (este my-huge.cnf)...
>
> Edson
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
Achei o maldito. Interessante que na configuração original ele está em 
K. Em algum momento eu devo ter colocado esse cara pra M pra tunar algo.
Esse cara aqui que descacetou tudo: read_rnd_buffer_size = 8M
Quando adiciono ele tanto no Linux quanto no FreeBSD com valor alto tipo 
8M tudo sobe. Com valores em K ou sem ele o consumo é o esperado.
Ufa! Resolvido. Edson valeu mesmo e realmente está comprovado que não 
existe a diferença entre o Linux e o FreeBSD e sim foi um erro meu nos 
testes.
Agora já estou com esperanças novamente de migrar o servidor Linux para 
FreeBSD rsrsrsrsr

Galera vou abrir outra thread para discutirmos o tunning para esse tipo 
de servidor com muito acesso.  :)
Mas vou fazer isso mais tarde porque são 01:39 e não aguento mais por 
hoje ahhaahha

Obrigado à todos mais uma vez e me desculpem pelo erro de K e M rsrsrsrs
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd