OT: Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Friedel
On Wed, Feb 17, 2010 at 09:51:04PM +0100, Jan Pechanec wrote: > On Wed, 17 Feb 2010, Dan Lukes wrote: > > > On 02/17/10 21:01, Jan Pechanec: > >>pravdepodobnost, ze nahodne vybrane 2 soubory budou mit stejny MD5 > >> hash, je 1/2^128 > > > > Nase soubory ale nejsou tak uplne nahodne vybrane a

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Pechanec
On Wed, 17 Feb 2010, Dan Lukes wrote: > On 02/17/10 21:01, Jan Pechanec: >> pravdepodobnost, ze nahodne vybrane 2 soubory budou mit stejny MD5 >> hash, je 1/2^128 > > Nase soubory ale nejsou tak uplne nahodne vybrane a o jejich obsahu take > nevime > nic - mozna neni vzajemne nahodny. > >> m

Re: Rychly binarni diff

2010-02-17 Tema obsahu Dan Lukes
On 02/17/10 21:01, Jan Pechanec: pravdepodobnost, ze nahodne vybrane 2 soubory budou mit stejny MD5 hash, je 1/2^128 Nase soubory ale nejsou tak uplne nahodne vybrane a o jejich obsahu take nevime nic - mozna neni vzajemne nahodny. myslim, ze je to v uvazovanym pripade naprosto zbyt

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Pechanec
On Wed, 17 Feb 2010, Jozef Babjak wrote: >Btw, nepouziva bsd balickovaci system na kontrolu integrity archivov >zdrojakov od urciteho casu nielen MD5, ale kombinaciu MD5+SHA >kontrolnych suctov? Nac pak to, ked "spolahlivo" staci MD5? to ti vysvetlim - to je totiz uplne jina situace, tam

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Pechanec
On Wed, 17 Feb 2010, Dan Lukes wrote: > A jestli ne ? > > Zalezi jestli budou soubory casteji shodne nebo casteji ruzne. Pokud se da > ocekavat, ze budou vetsinou ruzne, pak si muzeme dovolit v pripade shodneho > hashe soubory skutecne 1:1 porovnat. Nebudeme to delat casto. > > Pokud se naopak da

Re: Rychly binarni diff

2010-02-17 Tema obsahu Dan Lukes
On 02/17/10 20:22, Jan Pechanec: MD5 ma 128 bitu, tj. tolik ruznych moznosti vystupu: 340282366920938463463374607431768211456 Tvoje argumentace je dvojsecna. md5 ma 128 bitu a tudiz hash skutecne muze nabyvat cca 3.4^38 ruznych moznych hodnot, na druhou stranu - je zrejme, ze toto mn

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
>        no, me to co rikas prijde v nasi situaci takovy nesmysl, ze ani > nevim, jak rozumne odpovedet. Pravdepodobnost, ze dva _rozdilny_ soubory ^-- Ale no tak, ja som si to nevymyslel. Linuxove jadro obsahuje mechanizmus deduplikacie stranok, ktory fungue presne tak, ako som opisal: porovnav

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Pechanec
On Wed, 17 Feb 2010, Dan Lukes wrote: >> ^-- Co mu sice spolahlivo identifikuje rozdielne subory, ale rovnake >> musi stale prehnat tym diffom, aby sa presvedcil, ze su skutocne >> rovnake. > > No, ja myslim, ze dokonce i na te dnes jiz prekonane md5 je pravdepodobnost > kolize natolik mala, ze

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Pechanec
On Wed, 17 Feb 2010, Jozef Babjak wrote: >>        nebo, coz muze byt levnejsi, to prohnat postupne tou md5 :-) > > ^-- Co mu sice spolahlivo identifikuje rozdielne subory, ale rovnake >musi stale prehnat tym diffom, aby sa presvedcil, ze su skutocne >rovnake. no, me to co rikas prijde v

Re: Rychly binarni diff

2010-02-17 Tema obsahu Dan Lukes
On 02/17/10 19:58, Jozef Babjak: nebo, coz muze byt levnejsi, to prohnat postupne tou md5 :-) Casove se tato metoda skutecne vyplati: dd if=/dev/ad4 of=/dev/stdout bs=1m count=400 | md5 419430400 bytes transferred in 18.584731 secs (22568548 bytes/sec) Takze spocitat u dvou soboru a p

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
>        nebo, coz muze byt levnejsi, to prohnat postupne tou md5 :-) ^-- Co mu sice spolahlivo identifikuje rozdielne subory, ale rovnake musi stale prehnat tym diffom, aby sa presvedcil, ze su skutocne rovnake. J. -- FreeBSD mailing list (users-l@freebsd.cz) http://www.freebsd.cz/listserv/li

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Pechanec
On Wed, 17 Feb 2010, Dan Lukes wrote: > Zkratka a dobre receno - ty nepotrebujes lepsi program na porovnani. Ty na > zadanou ulohu potrebujes vhodnejsi hardware. nebo, coz muze byt levnejsi, to prohnat postupne tou md5 :-) -- Jan Pechanec http://www.devnull.cz -- FreeBSD mailing list

Re: Rychly binarni diff

2010-02-17 Tema obsahu Dan Lukes
On 02/17/10 19:14, Kaminar: nerikej, ze kdybys to pustil tim diffem, ze nebudes mit vysledek driv, nez dostanes z konference rozumnou odpoved ;-) Nebylo. :) Asi 10GB trvalo diffem cca 1:20h. 20GB/80min to je asi 4MB/s Jestli je treba pri simultannim cteni tech dvou souboru neustale

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
> "--brief" je to same jako "-q"? ^-- Ze by to nebolo napisane ani v manuali ani tu: http://www.freebsd.org/cgi/man.cgi > A nemohl by ten casovy rozdil byt ve vykonu PC? Mam 2,4GHz Celeron > a bezi na nem FBSD 6.0. ^-- S pravdepodobnostou hraniciacou s istotou nie. Skor memory bandwidth. Al

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
>> To, co te zdrzuje neni diff, ale rychlost disku, ze ktereho ctes. > > To ale asi nezdrzuje. > > Kdyz jsem kopiroval tech 60GB z HDD (sifrovany) na externi HDD, > tak to trvalo cca 2h a to jsem to kopiroval ze zasifrovaneho disku. > > Kdyz jsem porovnaval 10GB (cast tech kopirovanych dat) na nesi

Re: Rychly binarni diff

2010-02-17 Tema obsahu Kaminar
> ^-- Ok, budeme radi, ak nas zoznamis s rychlejsou metodou. A to > vobec nemyslim ironicky - sam pouzivam zmienenu kombinaciu > > diff -r --brief "--brief" je to same jako "-q"? A nemohl by ten casovy rozdil byt ve vykonu PC? Mam 2,4GHz Celeron a bezi na nem FBSD 6.0. Karel -- FreeBSD maili

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
Well, viem si predstavit, ze nejaka implementacia moze fungovat menej efektivne, napr. ak je zalozena na citani riadkov a pod., co sa zda ako prirodzeny pristup, ak predpokladame textovy vstup. Akokolvek, ak su sobory rovnake, tak na tom az tak nezalezi, lebo sa oba porovnavane subory musia v kon

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
> Nebylo. :) Asi 10GB trvalo diffem cca 1:20h. ^-- To je ale iba latencia, ktoru si k procesu _pridal_, nie? J. -- FreeBSD mailing list (users-l@freebsd.cz) http://www.freebsd.cz/listserv/listinfo/users-l

Re: Rychly binarni diff

2010-02-17 Tema obsahu Kaminar
> je moc pomaly. Neni pod FreeBSD nejaky nastroj, ktery by to zvladl > rychleji, nez diff? Pokud k tomu '-r' pridas jeste '-q' tak ne. Protoze v takovem pripade se Pouzival jsem i "-q". nejprve porpvna delka (nesouhlasi-li pak soubory nejsou stejne) a pokud je delka stejna, tak se oba soubor

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
>>   ^-- Akoze "diff -r --brief this that" zabere cosi viac ako citanie >> tych suborov? > > V mem pripade zabyra docela hodne. ^-- Ok, budeme radi, ak nas zoznamis s rychlejsou metodou. A to vobec nemyslim ironicky - sam pouzivam zmienenu kombinaciu diff -r --brief niekolkokrat denne na porov

Re: Rychly binarni diff

2010-02-17 Tema obsahu Dan Lukes
On 02/17/10 19:16, Jozef Babjak: To, co te zdrzuje neni diff, ale rychlost disku, ze ktereho ctes. ^-- Dalo by sa na to odpovedat na meta-urovni: tazko najs na porovnanie suborov nieco lepsie, ako nastroj na ... surprise... porovnavanie suborov. No, to zase trochu pozor. diff neni od pocat

Re: Rychly binarni diff

2010-02-17 Tema obsahu Kaminar
> > prohnal pres md5 a diffnul vystupy. md5 je tak rychla, ze nejvic zabere > > cteni tech souboru. > > ^-- Akoze "diff -r --brief this that" zabere cosi viac ako citanie > tych suborov? V mem pripade zabyra docela hodne. Karel -- FreeBSD mailing list (users-l@freebsd.cz) http://www.freebsd.c

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
> To, co te zdrzuje neni diff, ale rychlost disku, ze ktereho ctes. ^-- Dalo by sa na to odpovedat na meta-urovni: tazko najs na porovnanie suborov nieco lepsie, ako nastroj na ... surprise... porovnavanie suborov. J. -- FreeBSD mailing list (users-l@freebsd.cz) http://www.freebsd.cz/listserv/

Re: Rychly binarni diff

2010-02-17 Tema obsahu Kaminar
> nerikej, ze kdybys to pustil tim diffem, ze nebudes mit vysledek > driv, nez dostanes z konference rozumnou odpoved ;-) Nebylo. :) Asi 10GB trvalo diffem cca 1:20h. Karel -- FreeBSD mailing list (users-l@freebsd.cz) http://www.freebsd.cz/listserv/listinfo/users-l

Re: Rychly binarni diff

2010-02-17 Tema obsahu Dan Lukes
On 02/17/10 17:42, Kaminar: potreboval bych binarne porovnat velky pocet souboru rekurzivnim prochazenim adresaru, celkem cca 60GB dat. Zkousel jsem diff -r, ale je moc pomaly. Neni pod FreeBSD nejaky nastroj, ktery by to zvladl rychleji, nez diff? Pokud k tomu '-r' pridas jeste '-q' tak ne. Pr

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jozef Babjak
> prohnal pres md5 a diffnul vystupy. md5 je tak rychla, ze nejvic zabere > cteni tech souboru. ^-- Akoze "diff -r --brief this that" zabere cosi viac ako citanie tych suborov? J. -- FreeBSD mailing list (users-l@freebsd.cz) http://www.freebsd.cz/listserv/listinfo/users-l

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jaroslav Klaus
On 17 Feb 2010, at 18:46, Jan Pechanec wrote: > On Wed, 17 Feb 2010, Kaminar wrote: > >> Zdravim, >> >> potreboval bych binarne porovnat velky pocet souboru rekurzivnim >> prochazenim adresaru, celkem cca 60GB dat. Zkousel jsem diff -r, ale >> je moc pomaly. Neni pod FreeBSD nejaky nastroj, kte

Re: Rychly binarni diff

2010-02-17 Tema obsahu Jan Pechanec
On Wed, 17 Feb 2010, Kaminar wrote: >Zdravim, > >potreboval bych binarne porovnat velky pocet souboru rekurzivnim >prochazenim adresaru, celkem cca 60GB dat. Zkousel jsem diff -r, ale >je moc pomaly. Neni pod FreeBSD nejaky nastroj, ktery by to zvladl >rychleji, nez diff? nerikej, ze kdyb

Rychly binarni diff

2010-02-17 Tema obsahu Kaminar
Zdravim, potreboval bych binarne porovnat velky pocet souboru rekurzivnim prochazenim adresaru, celkem cca 60GB dat. Zkousel jsem diff -r, ale je moc pomaly. Neni pod FreeBSD nejaky nastroj, ktery by to zvladl rychleji, nez diff? Karel -- FreeBSD mailing list (users-l@freebsd.cz) http://www.free