Data sorting and assignment

[AbhijeetChib]

Good Day I 

I have a requirement where there are 2 columns. 

1. Duplicate group 

2. Primary 

Duplicate group values are in pairs and are assigned to Primary. 

For example, duplicate group 207964 is assigned to Res A and Res B. 

207964	Res A
207964	Res B

I need to ensure that the pairs are assigned to only 1 resource. Expected output is below 

207964	Res B
207964	Res B

OR 

207964	Res A
207964	Res A

The catch is - Res A, Res B, Res C and Res D should be allocated equal number of records between them and their duplicate groups need to be the same. 

Thanks for any ideas. I have attached the data set 

Duplicate Group	Primary
207964	Res A
207964	Res B
207965	Res C
207965	Res D
207966	Res A
207966	Res B
207967	Res C
207967	Res D
207968	Res A
207968	Res C
207970	Res B
207970	Res D
207971	Res A
207971	Res B
207972	Res C
207972	Res D
207973	Res A
207973	Res B
207974	Res C
207974	Res D
207975	Res A
207975	Res B
207976	Res C
207976	Res D
207977	Res A
207977	Res B
207978	Res C
207978	Res D
207979	Res A
207979	Res B
207980	Res C
207980	Res D
207981	Res A
207981	Res B
207982	Res C
207982	Res D
207983	Res A
207983	Res B
207984	Res C
207984	Res D
207985	Res A
207985	Res B
207986	Res C
207986	Res D
207987	Res A
207987	Res B
207988	Res C
207988	Res A
207989	Res D
207989	Res B
207990	Res C
207990	Res D
207991	Res A
207991	Res B
207992	Res C
207992	Res D
207993	Res A
207993	Res B
207994	Res C
207994	Res D
207995	Res A
207995	Res B
207996	Res C
207996	Res D
207997	Res A
207997	Res B
207998	Res C
207998	Res A
207999	Res D
207999	Res B
208000	Res C
208000	Res D
208001	Res A
208001	Res B
208002	Res C
208002	Res A
208003	Res D
208003	Res B
208004	Res C
208004	Res D
208005	Res A
208005	Res B
208006	Res C
208006	Res D
208007	Res A
208007	Res B
208008	Res C
208008	Res D
208009	Res A
208009	Res B
208010	Res C
208010	Res D
208011	Res A
208011	Res B
208012	Res C
208012	Res A
208013	Res D
208013	Res B
208014	Res C
208014	Res D
208016	Res A
208016	Res B
208017	Res C
208017	Res D
208018	Res A
208018	Res B
208019	Res C
208019	Res D
208020	Res A
208020	Res B
208021	Res C
208021	Res D
208022	Res A
208022	Res B
208023	Res C
208023	Res D
208024	Res A
208024	Res B
208025	Res C
208025	Res D
208026	Res A
208026	Res B
208027	Res C
208027	Res D
208028	Res A
208028	Res B
208029	Res C
208029	Res D
208030	Res A
208030	Res B
208031	Res C
208031	Res D
208032	Res A
208032	Res B
208033	Res C
208033	Res D
208034	Res A
208034	Res B
208035	Res C
208035	Res D
208036	Res A
208036	Res B
208037	Res C
208037	Res D
208038	Res A
208038	Res B
208039	Res C
208039	Res D
208040	Res A
208040	Res B
208041	Res C
208041	Res A
208042	Res D
208042	Res B
208043	Res C
208043	Res D
208044	Res A
208044	Res B
208045	Res C
208045	Res D
208046	Res A
208046	Res B
208047	Res C
208047	Res D
208048	Res A
208048	Res B
208049	Res C
208049	Res D
208050	Res A
208050	Res B
208051	Res C
208051	Res D
208052	Res A
208052	Res B
208053	Res C
208053	Res D
208054	Res A
208054	Res B
208055	Res C
208055	Res D
208056	Res A
208056	Res B
208057	Res C
208057	Res D
208058	Res A
208058	Res B
208059	Res C
208059	Res D
208060	Res A
208060	Res B
208061	Res C
208061	Res D
208062	Res A
208062	Res B
208063	Res C
208063	Res D
208064	Res A
208064	Res C
208065	Res B
208065	Res D
208066	Res A
208066	Res B
208067	Res C
208067	Res A
208068	Res D
208068	Res B
208069	Res C
208069	Res D
208071	Res A
208071	Res B
208072	Res C
208072	Res D
208073	Res A
208073	Res C
208074	Res B
208074	Res D
208075	Res A
208075	Res B
208076	Res C
208076	Res D
208077	Res A
208077	Res B
208078	Res C
208078	Res D
208079	Res A
208079	Res B
208080	Res C
208080	Res D
208081	Res A
208081	Res B
208082	Res C
208082	Res D
208083	Res A
208083	Res B
208084	Res C
208084	Res D
208085	Res A
208085	Res B
208086	Res C
208086	Res D
208087	Res A
208087	Res B
208088	Res C
208088	Res D
208089	Res A
208089	Res B
208090	Res C
208090	Res D
208091	Res A
208091	Res B
208092	Res C
208092	Res D
208093	Res A
208093	Res B
208094	Res C
208094	Res D
208095	Res A
208095	Res B
208096	Res C
208096	Res D
208097	Res A
208097	Res B
208098	Res C
208098	Res D
208099	Res A
208099	Res B
208100	Res C
208100	Res D
208101	Res A
208101	Res B
208102	Res C
208102	Res D
208103	Res A
208103	Res B
208104	Res C
208104	Res D
208105	Res A
208105	Res B
208106	Res C
208106	Res A
208107	Res D
208107	Res B
208108	Res C
208108	Res D
208109	Res A
208109	Res B
208110	Res C
208110	Res D
208111	Res A
208111	Res B
208112	Res C
208112	Res D
208113	Res A
208113	Res B
208114	Res C
208114	Res D
208115	Res A
208115	Res B
208117	Res C
208117	Res D
208118	Res A
208118	Res B
208119	Res C
208119	Res D
208120	Res A
208120	Res B
208121	Res C
208121	Res D
208122	Res A
208122	Res B
208123	Res C
208123	Res D
208124	Res A
208124	Res B
208125	Res C
208125	Res D
208126	Res A
208126	Res B
208127	Res C
208127	Res D
208128	Res A
208128	Res B
208129	Res C
208129	Res D
208130	Res A
208130	Res B
208131	Res C
208131	Res D
208132	Res A
208132	Res B
208133	Res C
208133	Res D
208134	Res A
208134	Res B
208135	Res C
208135	Res D
208136	Res A
208136	Res B
208137	Res C
208137	Res D
208138	Res A
208138	Res B
208139	Res C
208139	Res D
208140	Res A
208140	Res B
208141	Res C
208141	Res D
208142	Res A
208142	Res B
208143	Res C
208143	Res A
208144	Res D
208144	Res B
208145	Res C
208145	Res D
208146	Res A
208146	Res B
208147	Res C
208147	Res D
208148	Res A
208148	Res B
208149	Res C
208149	Res D
208150	Res A
208150	Res B
208151	Res C
208151	Res D
208152	Res A
208152	Res B
208153	Res C
208153	Res D
208154	Res A
208154	Res B
208155	Res C
208155	Res D
208156	Res A
208156	Res B
208157	Res C
208157	Res D
208158	Res A
208158	Res B
208159	Res C
208159	Res D
208160	Res A
208160	Res C
208161	Res B
208161	Res D
208162	Res A
208162	Res B
208163	Res C
208163	Res D
208164	Res A
208164	Res B
208165	Res C
208165	Res D
208166	Res A
208166	Res B
208167	Res C
208167	Res D
208168	Res A
208168	Res B
208169	Res C
208169	Res D
208170	Res A
208170	Res B
208171	Res C
208171	Res D
208172	Res A
208172	Res B
208173	Res C
208173	Res D
208174	Res A
208174	Res B
208175	Res C
208175	Res D
208176	Res A
208176	Res B
208177	Res C
208177	Res D
208178	Res A
208178	Res C
208179	Res B
208179	Res D
208180	Res A
208180	Res B
208181	Res C
208181	Res D
208182	Res A
208182	Res B
208183	Res C
208183	Res D
208184	Res A
208184	Res C
208185	Res B
208185	Res D
208186	Res A
208186	Res B
208187	Res C
208187	Res D
208188	Res A
208188	Res B
208189	Res C
208189	Res D
208190	Res A
208190	Res B
208191	Res C
208191	Res D
208192	Res A
208192	Res B
208193	Res C
208193	Res D
208194	Res A
208194	Res B
208195	Res C
208195	Res D
208196	Res A
208196	Res B
208197	Res C
208197	Res D
208198	Res A
208198	Res B
208199	Res C
208199	Res D
208200	Res A
208200	Res B
208201	Res C
208201	Res D
208202	Res A
208202	Res B
208203	Res C
208203	Res D
208204	Res A
208204	Res B
208205	Res C
208205	Res D
208206	Res A
208206	Res B
208207	Res C
208207	Res D
208208	Res A
208208	Res B
208209	Res C
208209	Res D
208210	Res A
208210	Res B
208211	Res C
208211	Res D
208212	Res A
208212	Res B
208213	Res C
208213	Res D
208214	Res A
208214	Res B
208215	Res C
208215	Res D
208216	Res A
208216	Res B
208217	Res C
208217	Res D
208218	Res A
208218	Res B
208219	Res C
208219	Res D
208220	Res A
208220	Res B
208221	Res C
208221	Res D
208222	Res A
208222	Res B
208223	Res C
208223	Res D
208224	Res A
208224	Res B
208225	Res C
208225	Res D
208226	Res A
208226	Res B
208227	Res C
208227	Res D
208228	Res A
208228	Res B
208229	Res C
208229	Res D
208230	Res A
208230	Res B
208231	Res C
208231	Res D
208232	Res A
208232	Res B
208233	Res C
208233	Res D
208234	Res A
208234	Res B
208235	Res C
208235	Res D
208236	Res A
208236	Res B
208237	Res C
208237	Res D
208238	Res A
208238	Res B
208239	Res C
208239	Res D
208240	Res A
208240	Res B
208241	Res C
208241	Res D
208242	Res A
208242	Res B
208243	Res C
208243	Res D
208244	Res A
208244	Res B
208245	Res C
208245	Res D
208246	Res A
208246	Res B
208247	Res C
208247	Res D
208248	Res A
208248	Res B
208249	Res C
208249	Res D
208250	Res A
208250	Res B
208251	Res C
208251	Res D
208252	Res A
208252	Res B
208253	Res C
208253	Res D
208254	Res A
208254	Res B
208255	Res C
208255	Res D
208256	Res A
208256	Res B
208257	Res C
208257	Res D
208258	Res A
208258	Res B
208259	Res C
208259	Res D
208260	Res A
208260	Res B
208261	Res C
208261	Res D
208262	Res A
208262	Res B
208263	Res C
208263	Res D
208264	Res A
208264	Res B
208265	Res C
208265	Res D
208266	Res A
208266	Res B
208267	Res C
208267	Res D
208268	Res A
208268	Res B
208269	Res C
208269	Res D
208270	Res A
208270	Res B
208271	Res C
208271	Res A
208272	Res D
208272	Res B
208273	Res C
208273	Res D
208274	Res A
208274	Res B
208275	Res C
208275	Res A
208276	Res D
208276	Res B
208277	Res C
208277	Res D
208278	Res A
208278	Res B
208279	Res C
208279	Res D
208280	Res A
208280	Res B
208281	Res C
208281	Res D
208282	Res A
208282	Res B
208283	Res C
208283	Res D
208284	Res A
208284	Res B
208285	Res C
208285	Res D
208286	Res A
208286	Res C
208287	Res B
208287	Res D
208288	Res A
208288	Res B
208289	Res C
208289	Res D
208290	Res A
208290	Res B
208291	Res C
208291	Res D
208292	Res A
208292	Res B
208293	Res C
208293	Res D
208294	Res A
208294	Res B
208295	Res C
208295	Res D
208296	Res A
208296	Res B
208297	Res C
208297	Res D
208298	Res A
208298	Res B
208299	Res C
208299	Res D
208300	Res A
208300	Res B
208301	Res C
208301	Res D
208302	Res A
208302	Res B
208303	Res C
208303	Res D
208304	Res A
208304	Res B
208305	Res C
208305	Res D
208306	Res A
208306	Res C
208307	Res B
208307	Res D
208308	Res A
208308	Res B
208309	Res C
208309	Res D
208310	Res A
208310	Res B
208311	Res C
208311	Res D
208312	Res A
208312	Res B
208313	Res C
208313	Res D
208314	Res A
208314	Res B
208315	Res C
208315	Res D
208316	Res A
208316	Res B
208317	Res C
208317	Res D
208318	Res A
208318	Res B
208319	Res C
208319	Res A
208320	Res D
208320	Res B
208321	Res C
208321	Res D
208322	Res A
208322	Res B
208323	Res C
208323	Res D
208324	Res A
208324	Res C
208325	Res B
208325	Res D
208326	Res A
208326	Res B
208327	Res C
208327	Res D
208328	Res A
208328	Res B
208329	Res C
208329	Res D
208330	Res A
208330	Res B
208331	Res C
208331	Res D
208332	Res A
208332	Res B
208333	Res C
208333	Res D
208334	Res A
208334	Res B
208335	Res C
208335	Res D
208336	Res A
208336	Res B
208337	Res C
208337	Res D
208338	Res A
208338	Res B
208339	Res C
208339	Res D
208340	Res A
208340	Res B
208341	Res C
208341	Res D
208342	Res A
208342	Res B
208343	Res C
208343	Res D
208344	Res A
208344	Res C
208345	Res B
208345	Res D
208346	Res A
208346	Res B
208347	Res C
208347	Res D
208348	Res A
208348	Res B
208349	Res C
208349	Res D
208350	Res A
208350	Res B
208351	Res C
208351	Res D
208352	Res A
208352	Res C
208353	Res B
208353	Res D
208354	Res A
208354	Res B
208355	Res C
208355	Res D
208356	Res A
208356	Res C
208357	Res B
208357	Res D
208358	Res A
208358	Res B
208359	Res C
208359	Res D
208360	Res A
208360	Res B
208361	Res C
208361	Res D
208362	Res A
208362	Res B
208363	Res C
208363	Res D
208364	Res A
208364	Res B
208365	Res C
208365	Res D
208366	Res A
208366	Res B
208367	Res C
208367	Res D
208368	Res A
208368	Res B
208369	Res C
208369	Res D
208370	Res A
208370	Res B
208371	Res C
208371	Res D
208372	Res A
208372	Res B
208373	Res C
208373	Res D
208374	Res A
208374	Res B
208375	Res C
208375	Res D
208376	Res A
208376	Res B
208377	Res C
208377	Res D
208378	Res A
208378	Res B
208379	Res C
208379	Res D
208380	Res A
208380	Res B
208381	Res C
208381	Res D
208382	Res A
208382	Res B
208383	Res C
208383	Res D
208384	Res A
208384	Res B
208385	Res C
208385	Res D
208386	Res A
208386	Res B
208387	Res C
208387	Res D
208388	Res A
208388	Res B
208389	Res C
208389	Res D
208390	Res A
208390	Res B
208391	Res C
208391	Res D
208392	Res A
208392	Res B
208393	Res C
208393	Res D
208394	Res A
208394	Res B
208395	Res C
208395	Res D
208396	Res A
208396	Res B
208397	Res C
208397	Res D
208398	Res A
208398	Res B
208399	Res C
208399	Res D
208400	Res A
208400	Res B
208401	Res C
208401	Res D
208402	Res A
208402	Res B
208403	Res C
208403	Res D
208404	Res A
208404	Res C
208406	Res B
208406	Res D
208407	Res A
208407	Res B
208410	Res C
208410	Res A
208411	Res D
208411	Res B
208412	Res C
208412	Res D
208414	Res A
208414	Res B
208415	Res C
208415	Res D
208417	Res A
208417	Res B
208418	Res C
208418	Res D
208419	Res A
208419	Res B
208420	Res C
208420	Res D
208421	Res A
208421	Res B
208422	Res C
208422	Res D
208423	Res A
208423	Res C
208424	Res B
208424	Res D
208425	Res A
208425	Res C
208426	Res B
208426	Res A
208427	Res D
208427	Res B
208428	Res C
208428	Res D
208429	Res A
208429	Res B
208430	Res C
208430	Res D
208431	Res A
208431	Res B
208432	Res C
208432	Res D
208433	Res A
208433	Res B
208434	Res C
208434	Res D
208435	Res A
208435	Res B
208436	Res C
208436	Res D
208437	Res A
208437	Res B
208438	Res C
208438	Res D
208439	Res A
208439	Res B
208440	Res C
208440	Res D
208441	Res A
208441	Res B
208442	Res C
208442	Res D
208443	Res A
208443	Res B
208444	Res C
208444	Res D
208445	Res A
208445	Res B
208446	Res C
208446	Res A
208447	Res D
208447	Res B
208448	Res C
208448	Res A
208449	Res D
208449	Res B
208450	Res C
208450	Res A
208451	Res D
208451	Res B
208452	Res C
208452	Res D
208453	Res A
208453	Res B
208454	Res C
208454	Res D
208455	Res A
208455	Res B
208456	Res C
208456	Res D
208457	Res A
208457	Res B
208458	Res C
208458	Res D
208459	Res A
208459	Res B
208460	Res C
208460	Res D
208461	Res A
208461	Res B
208462	Res C
208462	Res A
208463	Res D
208463	Res B
208464	Res C
208464	Res D
208465	Res A
208465	Res B
208466	Res C
208466	Res D
208467	Res A
208467	Res B
208468	Res C
208468	Res D
208469	Res A
208469	Res B
208470	Res C
208470	Res D
208471	Res A
208471	Res B
208472	Res C
208472	Res D
208473	Res A
208473	Res B
208474	Res C
208474	Res D
208475	Res A
208475	Res B
208476	Res C
208476	Res A
208477	Res D
208477	Res B
208478	Res C
208478	Res D
208480	Res A
208480	Res B
208481	Res C
208481	Res A
208482	Res D
208482	Res B
208483	Res C
208483	Res D
208484	Res A
208484	Res B
208485	Res C
208485	Res D
208486	Res A
208486	Res B
208487	Res C
208487	Res D
208488	Res A
208488	Res B
208489	Res C
208489	Res D
208490	Res A
208490	Res B
208491	Res C
208491	Res A
208492	Res D
208492	Res C
208493	Res B
208493	Res D
208494	Res A
208494	Res B
208495	Res C
208495	Res D
208496	Res A
208496	Res B
208497	Res C
208497	Res D
208498	Res A
208498	Res B
208499	Res C
208499	Res D
208500	Res A
208500	Res B
208501	Res C
208501	Res D
208502	Res A
208502	Res B
208503	Res C
208503	Res D
208504	Res A
208504	Res B
208505	Res C
208505	Res D
208506	Res A
208506	Res B
208507	Res C
208507	Res D
208508	Res A
208508	Res B
208509	Res C
208509	Res D
208510	Res A
208510	Res B
208511	Res C
208511	Res D
208512	Res A
208512	Res C
208513	Res B
208513	Res D
208514	Res A
208514	Res B
208515	Res C
208515	Res D
208517	Res A
208517	Res B
208522	Res C
208522	Res A
208523	Res D
208523	Res B
208524	Res C
208524	Res A
208525	Res D
208525	Res B
208528	Res C
208528	Res D
208529	Res A
208529	Res C
208530	Res B
208530	Res D
208533	Res A
208533	Res B
208534	Res C
208534	Res D
208535	Res A
208535	Res B
208536	Res C
208536	Res A
208538	Res D
208538	Res B
208539	Res C
208539	Res D
208540	Res A
208540	Res B
208541	Res C
208541	Res D
208542	Res A
208542	Res B
208544	Res C
208544	Res D
208545	Res A
208545	Res B
208546	Res C
208546	Res D
208547	Res A
208547	Res B
208548	Res C
208548	Res D
208549	Res A
208549	Res B
208550	Res C
208550	Res A
208551	Res D
208551	Res C
208552	Res B
208552	Res D
208554	Res A
208554	Res B
208555	Res C
208555	Res D
208556	Res A
208556	Res B
208557	Res C
208557	Res D
208559	Res A
208559	Res B
208560	Res C
208560	Res D
208561	Res A
208561	Res C
208562	Res B
208562	Res D
208563	Res A
208563	Res C
208565	Res B
208565	Res A
208566	Res D
208566	Res C
208568	Res B
208568	Res D
208569	Res A
208569	Res C
208571	Res B
208571	Res D
208572	Res A
208572	Res B
208573	Res C
208573	Res A
208574	Res D
208574

[Brankl]

Hi Abhijeet. I'm attaching a workflow with the solution. As you can see in the screenshot, most of the overlap is A-B or C-D. You can use the overlap counts in each category to ensure the reallocation is evenly split across categories.

[nagakavyasri]

@AbhijeetChib Check if this meets your requirement:

[AbhijeetChib]

Hello ! 

thanks for your response 

Sum_AB Sum_AC Sum_AD Sum_BC Sum_BD Sum_CD
249 44 0 0 43 248

I need to ensure that the allocation is evenly distributed between all 4 of them. 

[AbhijeetChib]

hello @Brankl 

thanks for your response 

Sum_AB Sum_AC Sum_AD Sum_BC Sum_BD Sum_CD
249 44 0 0 43 248

I need to ensure that the allocation is evenly distributed between all 4 of them. 

[binu_acs]

@AbhijeetChib Are you expecting any result from the given input data?

[AbhijeetChib]

@binu_acs Yes 

All the duplicate groups need to be equally allocated between Primary resources, but group should go to a pair of duplicate.group should go to one resource only

Duplicate group values are in pairs and are assigned to Primary. 

For example, duplicate group 207964 is assigned to Res A and Res B. 

207964	Res A
207964	Res B

I need to ensure that the pairs are assigned to only 1 resource. Expected output is below 

207964	Res B
207964	Res B

OR 

207964	Res A
207964	Res A

The catch is - Res A, Res B, Res C and Res D should be allocated equal number of records between them and their duplicate groups need to be the same. 

[binu_acs]

@AbhijeetChib Try the attached workflow, I dont see any matching primary and duplicate groups from your input, i created a sample file for the output

[AbhijeetChib]

Thanks @binu_acs 

I dont think I am making myself clear. Let me try again

Duplicate_Group	Primary Assigned
207964	Monty
207964	Sam
207965	Shawn
207965	Kam
207966	Monty
207966	Sam
207967	Shawn
207967	Kam
207968	Monty
207968	Sam
207970	Kam
207970	Shawn
207971	Monty
207971	Sam
207972	Shawn
207972	Kam
207973	Monty
207973	Sam
207974	Shawn
207974	Kam
207975	Monty
207975	Sam
207976	Shawn
207976	Kam
207977	Monty
207977	Sam
207978	Shawn
207978	Kam
207979	Monty
207979	Sam
207980	Shawn
207980	Kam
207981	Monty
207981	Sam
207982	Shawn
207982	Kam
207983	Monty
207983	Sam
207984	Shawn
207984	Kam
207985	Monty
207985	Sam
207986	Shawn
207986	Kam
207987	Monty
207987	Sam
207988	Shawn
207988	Kam
207989	Sam
207989	Monty
207990	Shawn
207990	Kam
207991	Monty
207991	Sam
207992	Shawn
207992	Kam
207993	Monty
207993	Sam
207994	Shawn
207994	Kam
207995	Monty
207995	Sam
207996	Shawn
207996	Kam
207997	Monty
207997	Sam
207998	Shawn
207998	Kam
207999	Sam
207999	Monty
208000	Shawn
208000	Kam
208001	Monty
208001	Sam
208002	Shawn
208002	Kam
208003	Sam
208003	Monty
208004	Shawn
208004	Kam

In the above data set, the allocation for all 4 resources is equally distributed 

Primary Assigned	Count
Sam	20
Kam	20
Shawn	20
Monty	20

However, if you see their Duplicate groups are different. For example in the below data set 207964 has Monty and Sam both. I need to either make it Sam or Monty. However the distribution counts across all 4 resources should be equal like the second table. 

207964	Monty
207964	Sam

[AbhijeetChib]

@binu_acs I hope I was able to make myself clear this time.