Portal | Manuals | References | Downloads | Info | Programs | JCLs | Master the Mainframes
IBM Mainframe Computers Forums Index
 
Register
 
IBM Mainframe Computers Forums Index Mainframe: Search IBM Mainframe Forum: FAQ Memberlist Usergroups Profile Log in to check your private messages Log in
 

 

"Subtracting" a dataset with duplicates on the key

 
Post new topic   Reply to topic    IBMMAINFRAMES.com Support Forums -> DFSORT/ICETOOL
View previous topic :: :: View next topic  
Author Message
Claes Norreen

Active User


Joined: 20 Dec 2005
Posts: 137
Location: Denmark

PostPosted: Wed Aug 25, 2010 12:02 pm    Post subject: "Subtracting" a dataset with duplicates on the key
Reply with quote

Hi,

I have a dataset (no 1) with customers (key: customerno) and their phone number(s), with one record per customer per phone number. Naturally, a customer can have 0-many phone numbers.

I have another dataset (no 2) with unique customerno's. If a match on customerno is found with dataset1, all records with this number must be removed from dataset1. How can I accomblish this? I tried several types of SPLICE, but the duplicates on customerno in dataset1 are teasing me...

Assume that input datasets are not sorted in the key order.

Sample input (dataset1):
Code:

CUST01PHONE01
CUST01PHONE02
CUST02PHONE03
CUST03PHONE04
CUST04PHONE05
CUST04PHONE06
CUST04PHONE07
CUST06PHONE08
CUST07PHONE09
CUST07PHONE10
CUST09PHONE11
CUST10PHONE12
CUST10PHONE13

Sample input (dataset2):
Code:

CUST00
CUST02
CUST03
CUST05
CUST07
CUST08
CUST10
CUST11


Sample output:
Code:

CUST01PHONE01
CUST01PHONE02
CUST04PHONE05
CUST04PHONE06
CUST04PHONE07
CUST06PHONE08
CUST09PHONE11


Thanks,
Claes
Back to top
View user's profile Send private message

Claes Norreen

Active User


Joined: 20 Dec 2005
Posts: 137
Location: Denmark

PostPosted: Wed Aug 25, 2010 12:46 pm    Post subject:
Reply with quote

Hmm, seems I didn't try this SPLICE:

Code:

//TOOLIN   DD *                                 
  COPY FROM(IN2) TO(T1) USING(CTL1)             
  COPY FROM(IN1) TO(T1) USING(CTL2)             
  SPLICE FROM(T1) TO(OUT) ON(1,6,CH) -         
    WITH(7,7) -                                 
    WITH(80,1) -                               
    WITHALL KEEPBASE KEEPNODUPS USING(CTL3)     
//CTL1CNTL DD *                                 
  OUTFIL OVERLAY=(79:C'BB')                     
//CTL2CNTL DD *                                 
  OUTFIL OVERLAY=(79:C'VV')                     
//CTL3CNTL DD *                                 
  OUTFIL FNAMES=OUT,INCLUDE=(79,2,CH,EQ,C'VV') 


...which works.. icon_cool.gif

(Where IN1 is dataset1 and IN2 is dataset2).

/Claes
Back to top
View user's profile Send private message
sqlcode1

Active Member


Joined: 08 Apr 2010
Posts: 578
Location: USA

PostPosted: Wed Aug 25, 2010 8:22 pm    Post subject:
Reply with quote

Claes Norreen,
Please check if below mentioned single pass solution works for you...I am assuming your both input files are 80 bytes FB.

Frank/Kolusu,
Since OP's 2nd file is unique for customerno, could below method be used as a single pass solution?

Code:
//SORT00   EXEC PGM=SORT                                               
//SYSOUT   DD SYSOUT=*                                                 
//SORTIN   DD *                                                         
//OUT      DD DSN=&&HDR,DISP=(,PASS),SPACE=(TRK,(1,0),RLSE)             
//SYSIN    DD *                                                         
  OPTION COPY                                                           
  OUTFIL FNAMES=OUT,REMOVECC,NODETAIL,TRAILER1=('HDR',80:X)             
/*                                                                     
//*                                                                     
//SORT01   EXEC PGM=SORT                                               
//SORTIN   DD DSN=&HDR,DISP=SHR,VOL=REF=*.SORT00.OUT                   
//         DD  *                                                       
CUST01PHONE01                                                           
CUST01PHONE02                                                           
CUST02PHONE03                                                           
CUST03PHONE04                                                           
CUST04PHONE05                                                           
CUST04PHONE06                                                           
CUST04PHONE07                                                           
CUST06PHONE08                                                           
CUST07PHONE09                                                           
CUST07PHONE10                                                           
CUST09PHONE11                                                           
CUST10PHONE12                                                           
CUST10PHONE13                                                           
/*                                                                     
//         DD DSN=&HDR,DISP=SHR,VOL=REF=*.SORT00.OUT                   
//         DD  *                                                       
CUST00                                                                 
CUST02                                                                 
CUST03                                                                 
CUST05                                                                 
CUST07                                                                 
CUST08                                                                 
CUST10                                                                 
CUST11                                                                 
/*                                                                     
//SORTOUT  DD  SYSOUT=*                                                 
//SYSIN    DD  *                                                       
 INREC IFTHEN=(WHEN=GROUP,BEGIN=(1,3,CH,EQ,C'HDR'),                     
               PUSH=(81:ID=1))                                         
 SORT FIELDS=(1,6,CH,A,81,1,ZD,D)                                       
 OUTREC IFTHEN=(WHEN=GROUP,BEGIN=(81,1,ZD,EQ,2),PUSH=(82:1,6))         
 OUTFIL INCLUDE=(1,6,CH,NE,82,6,CH),BUILD=(1,80)                       
//SYSOUT   DD  SYSOUT=*                                                 
//SYSPRINT DD  SYSOUT=*                                                 
//SYSUDUMP DD  SYSOUT=D                                                                                           


OUTPUT

Code:

CUST01PHONE01
CUST01PHONE02
CUST04PHONE05
CUST04PHONE06
CUST04PHONE07
CUST06PHONE08
CUST09PHONE11


Thanks,
Back to top
View user's profile Send private message
Skolusu

Senior Member


Joined: 07 Dec 2007
Posts: 2205
Location: San Jose

PostPosted: Wed Aug 25, 2010 11:03 pm    Post subject:
Reply with quote

Claes Norreen,

Ideally I would have used JOINKEYS for such requirement.

Code:

//STEP0010 EXEC PGM=SORT                                       
//SYSOUT   DD SYSOUT=*                                         
//INA      DD *                                                 
CUST01PHONE01                                                   
CUST01PHONE02                                                   
CUST02PHONE03                                                   
CUST03PHONE04                                                   
CUST04PHONE05                                                   
CUST04PHONE06                                                   
CUST04PHONE07                                                   
CUST06PHONE08                                                   
CUST07PHONE09                                                   
CUST07PHONE10                                                   
CUST09PHONE11                                                   
CUST10PHONE12                                                   
CUST10PHONE13                                                   
//INB      DD *                                                 
CUST00                                                         
CUST02                                                         
CUST03                                                         
CUST05                                                         
CUST07                                                         
CUST08                                                         
CUST10                                                         
CUST11                                                         
//SORTOUT  DD SYSOUT=*
//SYSIN    DD *                                                 
  OPTION COPY                                                   
  JOINKEYS F1=INA,FIELDS=(1,6,A)                               
  JOINKEYS F2=INB,FIELDS=(1,6,A)                               
  JOIN UNPAIRED,F1,ONLY                                         
//*


If Claes Norreen does not have the PTF which supports Joinkeys , then here is an alternative version of the job using WHEN=GROUP

Code:

//STEP0100 EXEC PGM=SORT                                     
//SYSOUT   DD SYSOUT=*                                       
//SORTIN   DD *                                             
//SORTOUT  DD DSN=&&HDR,DISP=(,PASS),SPACE=(TRK,(1,0),RLSE) 
//SYSIN    DD *                                             
  SORT FIELDS=COPY                                           
  OUTFIL REMOVECC,NODETAIL,BUILD=(80X),HEADER1=('$$$')       
//*                                                         
//STEP0200 EXEC PGM=SORT                                     
//SYSOUT   DD SYSOUT=*                                       
//SORTIN   DD DSN=&&HDR,DISP=SHR,VOL=REF=*.STEP0100.SORTOUT   
//         DD *                                               
CUST00                                                       
CUST02                                                       
CUST03                                                       
CUST05                                                       
CUST07                                                       
CUST08                                                       
CUST10                                                       
CUST11                                                       
//         DD DSN=&&HDR,DISP=SHR,VOL=REF=*.STEP0100.SORTOUT   
//         DD *                                               
CUST01PHONE01                                                 
CUST01PHONE02                                                 
CUST02PHONE03                                                 
CUST03PHONE04                                                 
CUST04PHONE05                                                 
CUST04PHONE06                                                 
CUST04PHONE07                                                 
CUST06PHONE08                                                 
CUST07PHONE09                                                 
CUST07PHONE10                                                 
CUST09PHONE11                                                 
CUST10PHONE12                                                 
CUST10PHONE13                                                 
//SORTOUT  DD SYSOUT=*
//SYSIN    DD *                                                     
  INREC IFTHEN=(WHEN=GROUP,BEGIN=(1,3,CH,EQ,C'$$$'),PUSH=(81:ID=1))
  SORT FIELDS=(1,6,CH,A),EQUALS                                     

  OUTREC IFTHEN=(WHEN=INIT,OVERLAY=(83:SEQNUM,8,ZD,RESTART=(1,6))),
  IFTHEN=(WHEN=GROUP,BEGIN=(83,8,ZD,EQ,1),PUSH=(82:81,1))           

  OUTFIL INCLUDE=(81,2,ZD,EQ,22),BUILD=(1,80)                       
//*



sqlcode1,

You don't have to sort on the indicator , if you concatenated the unique file first in the list.

By doing so you don't even to push down the key for all the records and then compare.
Back to top
View user's profile Send private message
sqlcode1

Active Member


Joined: 08 Apr 2010
Posts: 578
Location: USA

PostPosted: Wed Aug 25, 2010 11:12 pm    Post subject:
Reply with quote

Kolusu,
I tried using unique file as first one but I was trying to prevent an extra IFTHEN condition in the OUTREC.

Only, now I have understood that actually that was indeed more efficient way.

Thanks again for the feedback.

Thanks,
Back to top
View user's profile Send private message
Claes Norreen

Active User


Joined: 20 Dec 2005
Posts: 137
Location: Denmark

PostPosted: Thu Aug 26, 2010 12:25 am    Post subject:
Reply with quote

Thanks for the feedback. In my initial post, I should have noted, that the input files do not have the same LRECL in "the real world". Actually, as this is part of a PROC, dataset1's LRECL will vary - so I doubt I can use a single pass? You may use LRECL=13 for dataset1 and LRECL=6 for dataset2, if you want to have a go at it. icon_wink.gif

Unfortunately we do not have the PTF for JOINKEY at my site yet. icon_cry.gif
Back to top
View user's profile Send private message
Skolusu

Senior Member


Joined: 07 Dec 2007
Posts: 2205
Location: San Jose

PostPosted: Thu Aug 26, 2010 1:49 am    Post subject:
Reply with quote

Claes Norreen,

Use the following DFSORT JCL which will give you the desired results.


Code:

//STEP0100 EXEC PGM=SORT                                             
//SYSOUT   DD SYSOUT=*                                               
//SORTIN   DD DSN=Your input 6 byte FB file,DISP=SHR
//SORTOUT  DD DSN=&&TM13,DISP=(,PASS),SPACE=(CYL,(X,Y),RLSE)         
//SYSIN    DD *                                                       
  SORT FIELDS=COPY                                                   
  OUTFIL REMOVECC,BUILD=(1,6,13:X),                                   
  HEADER1=('$$$'),TRAILER1=('$$$')                                   
//*                                                                   
//STEP0200 EXEC PGM=SORT                                             
//SYSOUT   DD SYSOUT=*                                               
//SORTIN   DD DSN=&&TM13,DISP=SHR                                     
//         DD DSN=Your input 13 byte FB file,DISP=SHR
//SORTOUT  DD SYSOUT=*                                               
//SYSIN    DD *                                                       
  INREC IFTHEN=(WHEN=GROUP,BEGIN=(1,3,CH,EQ,C'$$$'),PUSH=(14:ID=1))   
  SORT FIELDS=(1,6,CH,A),EQUALS                                       
  OUTREC IFTHEN=(WHEN=INIT,OVERLAY=(16:SEQNUM,8,ZD,RESTART=(1,6))),   
  IFTHEN=(WHEN=GROUP,BEGIN=(16,8,ZD,EQ,1),PUSH=(15:14,1))             
  OUTFIL INCLUDE=(14,2,ZD,EQ,22),BUILD=(1,13)                         
//*
Back to top
View user's profile Send private message
Claes Norreen

Active User


Joined: 20 Dec 2005
Posts: 137
Location: Denmark

PostPosted: Thu Aug 26, 2010 1:20 pm    Post subject:
Reply with quote

Great stuff! Thank you. icon_cool.gif
Back to top
View user's profile Send private message
Claes Norreen

Active User


Joined: 20 Dec 2005
Posts: 137
Location: Denmark

PostPosted: Thu Aug 26, 2010 7:12 pm    Post subject:
Reply with quote

Ran a performance test on yours vs. mine, and it turns out that mine are 50% faster - despite the extra pass of dataset1..!? How come, I wonder?

Dataset1: approx. 6,6 mill. records (LRECL=78)
Dataset2: approx. 16,000 records (LRECL=40)

Total CPU used:
Mine: 10,08 secs
Yours: 15,45 secs
Back to top
View user's profile Send private message
Skolusu

Senior Member


Joined: 07 Dec 2007
Posts: 2205
Location: San Jose

PostPosted: Thu Aug 26, 2010 9:02 pm    Post subject:
Reply with quote

Claes Norreen wrote:
Ran a performance test on yours vs. mine, and it turns out that mine are 50% faster - despite the extra pass of dataset1..!? How come, I wonder?

Dataset1: approx. 6,6 mill. records (LRECL=78)
Dataset2: approx. 16,000 records (LRECL=40)

Total CPU used:
Mine: 10,08 secs
Yours: 15,45 secs


I would like to see the complete sysout from the 2 jobs.

Please run both jobs adding this statement to both jobs
Code:

//SORTDIAG DD DUMMY


And send me the complete sysout to skolusu@us.ibm.com
Back to top
View user's profile Send private message
Claes Norreen

Active User


Joined: 20 Dec 2005
Posts: 137
Location: Denmark

PostPosted: Thu Aug 26, 2010 9:45 pm    Post subject:
Reply with quote

Will do tomorrow - work is off for today. ;-)
Back to top
View user's profile Send private message
View previous topic :: :: View next topic  
Post new topic   Reply to topic    IBMMAINFRAMES.com Support Forums -> DFSORT/ICETOOL All times are GMT + 6 Hours
Page 1 of 1

 

Search our Forum:

Similar Topics
Topic Author Forum Replies Posted
No new posts Updating the counters after eliminati... PANDU1 DFSORT/ICETOOL 12 Mon Nov 21, 2016 9:47 am
No new posts FTP - JCL failed while passing FTP co... Suneetha1612 JCL & VSAM 12 Wed Nov 16, 2016 7:33 pm
No new posts Amount field is getting corrupted whe... thesumitk SYNCSORT 5 Tue Oct 18, 2016 8:20 pm
No new posts To trim spaces in a pipe delimited da... Nish84 COBOL Programming 16 Mon Oct 10, 2016 1:54 pm
No new posts Allocate dataset withour BLKSIZE Susanta CLIST & REXX 2 Thu Sep 22, 2016 11:51 am


Facebook
Back to Top
 
Mainframe Wiki | Forum Rules | Bookmarks | Subscriptions | FAQ | Tutorials | Contact Us