Hadoop, getmerge a .crc soubor

Příkaz getmerge (hdfs dfs -getmerge zdrojovy-adresar cilovy-soubor) v Hadoopu vezme všechny soubory v zadaném adresáři, sloučí je do jednoho lokálního souboru. Tento příkaz je podobný příkazu get (hdfs dfs -get zdrojovy-soubor cilovy-soubor) který provede kopii jednoho souboru. Na rozdíl od get, ale vytvoří skrytý soubor .nazev-ciloveho-souboru.crc. Soubor .crc obsahuje kontrolní součet.

Na toto chování upozorňuje issue ticket HADOOP-12643. Na tomto ticketu mě zaujalo, že vznikl 15. prosince 2015 18:23, komentář k němu přibyl ten samý den o dvě minuty později a pak nic. Tento ticket je stále ve stavu OPEN (aktuálně tedy více než dva roky).

hadoop-getmerge.crc-secret-file

Napsat komentář