Apache Pig 简明教程

Apache Pig - Cogroup Operator

COGROUP 运算符或多或少与 GROUP 运算符以相同的方式工作。这两个运算符之间的唯一区别是， group 运算符通常用于一个关系，而 cogroup 运算符用于涉及两个或更多关系的语句。

Grouping Two Relations using Cogroup

假设我们在 HDFS 目录 /pig_data/ 中有两个文件，名称分别是 student_details.txt 和 employee_details.txt ，如下所示。

student_details.txt

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

employee_details.txt

001,Robin,22,newyork
002,BOB,23,Kolkata
003,Maya,23,Tokyo
004,Sara,25,London
005,David,23,Bhuwaneshwar
006,Maggy,22,Chennai

并且我们已将这些文件加载到 Pig 中，关系名称分别是 student_details 和 employee_details ，如下所示。

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);

grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

现在，让我们使用键值 age 对关系 student_details 和 employee_details 的记录/元组进行分组，如下所示。

grunt> cogroup_data = COGROUP student_details by age, employee_details by age;

Verification

使用 DUMP 运算符验证关系 cogroup_data ，如下所示。

grunt> Dump cogroup_data;

Output

它将产生以下输出，显示关系 cogroup_data 的内容，如下所示。

(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)},
   {    })
(22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) },
   { (6,Maggy,22,Chennai),(1,Robin,22,newyork) })
(23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)},
   {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)})
(24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)},
   { })
(25,{   },
   {(4,Sara,25,London)})

cogroup 运算符根据年龄对每个关系的元组进行分组，其中每个组表示一个特定的年龄值。

例如，如果我们考虑结果的第 1 个元组，则它按年龄 21 分组。它包含两个包 −

  1. 第一个包保存了来自第一个关系（本例中为 student_details ）具有年龄 21 的所有元组，

  2. 第二个包包含来自第二个关系（本例中为 employee_details ）具有年龄 21 的所有元组。

如果关系没有元组具有年龄值 21，它将返回一个空包。