Changeset 21852


Ignore:
Timestamp:
07/24/17 14:22:15 (8 years ago)
Author:
seroussi
Message:

NEW: starting to implement direct ocean coupling

Location:
issm/trunk-jpl/src
Files:
1 added
5 edited

Legend:

Unmodified
Added
Removed

  • issm/trunk-jpl/src/c/main/issm_ocean.cpp

    r21525 r21852  
    77int main(int argc,char **argv){
    88
    9 //      /*diverse:*/
    10 //      int    nummodels = 2;
    11 //      int*   commsizes=xNew<int>(nummodels);
    12 //      int*   rankzeros=xNew<int>(nummodels);
    13 //      char** modelnames=xNew<char*>(nummodels);
    14 //      char** dirnames=xNew<char*>(nummodels);
    15 //      int    iceid=0;
    16 //      int    oceanid=1;
     9        /*diverse:*/
     10        int    icecommsize;
     11        int    rankzeros[2];
     12        int    my_rank;
     13        ISSM_MPI_Comm worldcomm;
     14
    1715//      int    modelid;
    18 //      int    my_rank;
    1916//      int    count=0;
    20 //      ISSM_MPI_Comm worldcomm;
    21 //      ISSM_MPI_Comm modelcomm;
    22 //      ISSM_MPI_Comm toonceancomm;
    23 //      ISSM_MPI_Comm fromicecomms;
     17        ISSM_MPI_Comm modelcomm;
     18        ISSM_MPI_Comm frommitgcm;
     19        ISSM_MPI_Comm tomitgcmcomm;
    2420
    2521        /*Initialize exception trapping: */
    2622        ExceptionTrapBegin();
    2723
    28 //      /*Initialize environment (MPI, PETSC, MUMPS, etc ...)*/
    29 //      worldcomm=EnvironmentInit(argc,argv);
    30 //     
    31 //      /*What is my rank?:*/
    32 //      ISSM_MPI_Comm_rank(worldcomm,&my_rank);
    33 //
    34 //      /*First model is ice, second is ocean*/
    35 //      for(int i=0;i<nummodels;i++){
    36 //              char* string=NULL;
    37 //             
    38 //              string=xNew<char>(strlen(argv[5+3*i])+1);
    39 //              xMemCpy<char>(string,argv[5+3*i],strlen(argv[5+3*i])+1);
    40 //              dirnames[i]=string;
    41 //             
    42 //              string=xNew<char>(strlen(argv[5+3*i+1])+1);
    43 //              xMemCpy<char>(string,argv[5+3*i+1],strlen(argv[5+3*i+1])+1);
    44 //              modelnames[i]=string;
    45 //
    46 //              commsizes[i]=(int) strtol(argv[5+3*i+2], (char **)NULL, 10);
    47 //      }
    48 //
    49 //      /*Figure out which model each cpu will belong to: */
    50 //      count=0;
    51 //      for(int i=0;i<nummodels;i++){
    52 //              if(my_rank>=count && my_rank<(count+commsizes[i])){
    53 //                      modelid=i;
    54 //                      break;
    55 //              }
    56 //              count+=commsizes[i];
    57 //      }
    58 //      /*Buil array of who is rank 0 of their own group:*/
    59 //      count=0;
    60 //      for(int i=0;i<nummodels;i++){
    61 //              rankzeros[i]=count;
    62 //              count+=commsizes[i];
    63 //      }
    64 //      /*}}}*/
    65 //
    66 //      /*Split world into sub-communicators for each and every model:*/
    67 //      ISSM_MPI_Comm_split(worldcomm,modelid, my_rank, &modelcomm);
    68 //
    69 //      /*Build inter communicators:*/ // change to Dimitris solution
    70 //      if(modelid==iceid){
    71 //              ISSM_MPI_Intercomm_create( modelcomm, 0, worldcomm, rankzeros[oceanid], iceid, fromicecomms+i); //communicate from local erth comm 9rank 0) to ice comm (rank 0) using modelid tag.
    72 //      }
    73 //      else{
    74 //              ISSM_MPI_Intercomm_create( modelcomm, 0, worldcomm, rankzeros[iceid], oceanid, &toearthcomm); //communicate from local ice comm (rank 0) to earth comm (rank 0) using modelid tag.
    75 //      }
     24        /*Initialize environment (MPI, PETSC, MUMPS, etc ...)*/
     25        worldcomm=EnvironmentInit(argc,argv);
     26       
     27        /*What is my rank?:*/
     28        ISSM_MPI_Comm_rank(worldcomm,&my_rank);
    7629
    77 //      /*Supply specific argc and argv for each sub-communicator (corresponding to each  model specificatiions):{{{*/
    78 //      char** arguments=xNew<char*>(4);
    79 //      arguments[0]=xNew<char>(strlen(argv[0])+1); xMemCpy<char>(arguments[0],argv[0],strlen(argv[0])+1); //executable name
    80 //      arguments[1]=xNew<char>(strlen(argv[1])+1); xMemCpy<char>(arguments[1],argv[1],strlen(argv[1])+1); //solution name
    81 //      arguments[2]=xNew<char>(strlen(argv[5+3*modelid])+1); xMemCpy<char>(arguments[2],argv[5+3*modelid],strlen(argv[5+3*modelid])+1); //directory name
    82 //      arguments[3]=xNew<char>(strlen(argv[5+3*modelid+1])+1); xMemCpy<char>(arguments[3],argv[5+3*modelid+1],strlen(argv[5+3*modelid+1])+1); //model name
    83 //      /*}}}*/
    84 //
     30        /*First model is ice, second is ocean*/
     31        /*ice comm size: */
     32        icecommsize=(int) strtol(argv[2], (char **)NULL, 10);
    8533
    86         //REMOVE
    87         /*Initialize environment (MPI, PETSC, MUMPS, etc ...)*/
    88         ISSM_MPI_Comm comm_init=EnvironmentInit(argc,argv);
     34        /*Buil array of who is rank 0 of their own group:*/
     35        rankzeros[0]=0;
     36        rankzeros[1]=icecommsize;
     37
     38        /*Split world into sub-communicators for each and every model:*/
     39        ISSM_MPI_Comm_split(worldcomm,0, my_rank, &modelcomm);
     40
     41        ISSM_MPI_Intercomm_create( modelcomm, 0, worldcomm, rankzeros[1], 0, &tomitgcmcomm);
     42
    8943        /*Initialize femmodel from arguments provided command line: */
    90         FemModel *femmodel = new FemModel(argc,argv,comm_init);
    91         ///*Initialize femmodel from arguments provided command line: */
    92         //FemModel *femmodel = new FemModel(1,arguments,modelcomm);
     44        FemModel *femmodel = new FemModel(argc,argv,modelcomm);
    9345       
    94 //      /*Now that the models are initialized, keep communicator information in the parameters datasets of each model: */
    95 //      femmodel->parameters->AddObject(new GenericParam<ISSM_MPI_Comm>(worldcomm,WorldCommEnum));
    96 //      femmodel->parameters->AddObject(new IntParam(NumModelsEnum,nummodels));
    97 //      femmodel->parameters->AddObject(new IntParam(ModelIdEnum,oceanid));
    98 //      femmodel->parameters->AddObject(new IntParam(EarthIdEnum,iceid));
    99 //      if(modelid==earthid) femmodel->parameters->AddObject(new GenericParam<ISSM_MPI_Comm*>(fromicecomms,IcecapToEarthCommEnum));
    100 //      else femmodel->parameters->AddObject(new GenericParam<ISSM_MPI_Comm>(toearthcomm,IcecapToEarthCommEnum));
     46        /*Now that the models are initialized, keep communicator information in the parameters datasets of each model: */
     47        femmodel->parameters->AddObject(new GenericParam<ISSM_MPI_Comm>(worldcomm,WorldCommEnum));
     48        femmodel->parameters->AddObject(new GenericParam<ISSM_MPI_Comm>(tomitgcmcomm,ToMITgcmCommEnum));
    10149
    10250        /*Solve: */
    … …  
    11866        ExceptionTrapEnd();
    11967
    120 //      /*Free ressources:*/
     68        /*Free ressources:*/
    12169//      xDelete<int>(commsizes);
    122 //      for(int i=0;i<nummodels;i++){
    123 //              char* string=NULL;
    124 //              string=dirnames[i]; xDelete<char>(string);
    125 //              string=modelnames[i]; xDelete<char>(string);
    126 //      }
    127 //      xDelete<char*>(dirnames);
    128 //      xDelete<char*>(modelnames);
    12970
    13071        /*Return unix success: */

  • issm/trunk-jpl/src/c/shared/Enum/EnumDefinitions.h

    r21808 r21852  
    1616        WorldCommEnum,
    1717        IcecapToEarthCommEnum,
     18        ToMITgcmCommEnum,
    1819        NumModelsEnum,
    1920        ModelIdEnum,

  • issm/trunk-jpl/src/c/shared/Enum/EnumToStringx.cpp

    r21808 r21852  
    2424                case WorldCommEnum : return "WorldComm";
    2525                case IcecapToEarthCommEnum : return "IcecapToEarthComm";
     26                case ToMITgcmCommEnum : return "ToMITgcmComm";
    2627                case NumModelsEnum : return "NumModels";
    2728                case ModelIdEnum : return "ModelId";

  • issm/trunk-jpl/src/c/shared/Enum/StringToEnumx.cpp

    r21808 r21852  
    2424              else if (strcmp(name,"WorldComm")==0) return WorldCommEnum;
    2525              else if (strcmp(name,"IcecapToEarthComm")==0) return IcecapToEarthCommEnum;
     26              else if (strcmp(name,"ToMITgcmComm")==0) return ToMITgcmCommEnum;
    2627              else if (strcmp(name,"NumModels")==0) return NumModelsEnum;
    2728              else if (strcmp(name,"ModelId")==0) return ModelIdEnum;
    … …  
    136137              else if (strcmp(name,"HydrologyshreveStabilization")==0) return HydrologyshreveStabilizationEnum;
    137138              else if (strcmp(name,"Hydrologydc")==0) return HydrologydcEnum;
    138               else if (strcmp(name,"SedimentHead")==0) return SedimentHeadEnum;
    139139         else stage=2;
    140140   }
    141141   if(stage==2){
    142               if (strcmp(name,"SedimentHeadOld")==0) return SedimentHeadOldEnum;
     142              if (strcmp(name,"SedimentHead")==0) return SedimentHeadEnum;
     143              else if (strcmp(name,"SedimentHeadOld")==0) return SedimentHeadOldEnum;
    143144              else if (strcmp(name,"SedimentHeadResidual")==0) return SedimentHeadResidualEnum;
    144145              else if (strcmp(name,"EffectivePressure")==0) return EffectivePressureEnum;
    … …  
    259260              else if (strcmp(name,"NewDamage")==0) return NewDamageEnum;
    260261              else if (strcmp(name,"StressIntensityFactor")==0) return StressIntensityFactorEnum;
    261               else if (strcmp(name,"CalvingLaw")==0) return CalvingLawEnum;
    262262         else stage=3;
    263263   }
    264264   if(stage==3){
    265               if (strcmp(name,"CalvingCalvingrate")==0) return CalvingCalvingrateEnum;
     265              if (strcmp(name,"CalvingLaw")==0) return CalvingLawEnum;
     266              else if (strcmp(name,"CalvingCalvingrate")==0) return CalvingCalvingrateEnum;
    266267              else if (strcmp(name,"CalvingMeltingrate")==0) return CalvingMeltingrateEnum;
    267268              else if (strcmp(name,"CalvingLevermann")==0) return CalvingLevermannEnum;
    … …  
    382383              else if (strcmp(name,"BalancethicknessOmega")==0) return BalancethicknessOmegaEnum;
    383384              else if (strcmp(name,"BalancethicknessD0")==0) return BalancethicknessD0Enum;
    384               else if (strcmp(name,"Smb")==0) return SmbEnum;
    385385         else stage=4;
    386386   }
    387387   if(stage==4){
    388               if (strcmp(name,"SmbAnalysis")==0) return SmbAnalysisEnum;
     388              if (strcmp(name,"Smb")==0) return SmbEnum;
     389              else if (strcmp(name,"SmbAnalysis")==0) return SmbAnalysisEnum;
    389390              else if (strcmp(name,"SmbSolution")==0) return SmbSolutionEnum;
    390391              else if (strcmp(name,"SmbNumRequestedOutputs")==0) return SmbNumRequestedOutputsEnum;
    … …  
    505506              else if (strcmp(name,"MassFlux")==0) return MassFluxEnum;
    506507              else if (strcmp(name,"MeltingOffset")==0) return MeltingOffsetEnum;
    507               else if (strcmp(name,"Misfit")==0) return MisfitEnum;
    508508         else stage=5;
    509509   }
    510510   if(stage==5){
    511               if (strcmp(name,"Pressure")==0) return PressureEnum;
     511              if (strcmp(name,"Misfit")==0) return MisfitEnum;
     512              else if (strcmp(name,"Pressure")==0) return PressureEnum;
    512513              else if (strcmp(name,"PressurePicard")==0) return PressurePicardEnum;
    513514              else if (strcmp(name,"AndroidFrictionCoefficient")==0) return AndroidFrictionCoefficientEnum;
    … …  
    628629              else if (strcmp(name,"Outputdefinition21")==0) return Outputdefinition21Enum;
    629630              else if (strcmp(name,"Outputdefinition22")==0) return Outputdefinition22Enum;
    630               else if (strcmp(name,"Outputdefinition23")==0) return Outputdefinition23Enum;
    631631         else stage=6;
    632632   }
    633633   if(stage==6){
    634               if (strcmp(name,"Outputdefinition24")==0) return Outputdefinition24Enum;
     634              if (strcmp(name,"Outputdefinition23")==0) return Outputdefinition23Enum;
     635              else if (strcmp(name,"Outputdefinition24")==0) return Outputdefinition24Enum;
    635636              else if (strcmp(name,"Outputdefinition25")==0) return Outputdefinition25Enum;
    636637              else if (strcmp(name,"Outputdefinition26")==0) return Outputdefinition26Enum;
    … …  
    751752              else if (strcmp(name,"ToolkitsFileName")==0) return ToolkitsFileNameEnum;
    752753              else if (strcmp(name,"RootPath")==0) return RootPathEnum;
    753               else if (strcmp(name,"OutputFileName")==0) return OutputFileNameEnum;
    754               else if (strcmp(name,"InputFileName")==0) return InputFileNameEnum;
    755754         else stage=7;
    756755   }
    757756   if(stage==7){
    758               if (strcmp(name,"LockFileName")==0) return LockFileNameEnum;
     757              if (strcmp(name,"OutputFileName")==0) return OutputFileNameEnum;
     758              else if (strcmp(name,"InputFileName")==0) return InputFileNameEnum;
     759              else if (strcmp(name,"LockFileName")==0) return LockFileNameEnum;
    759760              else if (strcmp(name,"RestartFileName")==0) return RestartFileNameEnum;
    760761              else if (strcmp(name,"ToolkitsOptionsAnalyses")==0) return ToolkitsOptionsAnalysesEnum;
    … …  
    874875              else if (strcmp(name,"Node")==0) return NodeEnum;
    875876              else if (strcmp(name,"Numericalflux")==0) return NumericalfluxEnum;
    876               else if (strcmp(name,"Neumannflux")==0) return NeumannfluxEnum;
    877               else if (strcmp(name,"Param")==0) return ParamEnum;
    878877         else stage=8;
    879878   }
    880879   if(stage==8){
    881               if (strcmp(name,"Moulin")==0) return MoulinEnum;
     880              if (strcmp(name,"Neumannflux")==0) return NeumannfluxEnum;
     881              else if (strcmp(name,"Param")==0) return ParamEnum;
     882              else if (strcmp(name,"Moulin")==0) return MoulinEnum;
    882883              else if (strcmp(name,"Pengrid")==0) return PengridEnum;
    883884              else if (strcmp(name,"Penpair")==0) return PenpairEnum;
    … …  
    997998              else if (strcmp(name,"IceMass")==0) return IceMassEnum;
    998999              else if (strcmp(name,"IceVolume")==0) return IceVolumeEnum;
    999               else if (strcmp(name,"IceVolumeAboveFloatation")==0) return IceVolumeAboveFloatationEnum;
    1000               else if (strcmp(name,"TotalFloatingBmb")==0) return TotalFloatingBmbEnum;
    10011000         else stage=9;
    10021001   }
    10031002   if(stage==9){
    1004               if (strcmp(name,"TotalGroundedBmb")==0) return TotalGroundedBmbEnum;
     1003              if (strcmp(name,"IceVolumeAboveFloatation")==0) return IceVolumeAboveFloatationEnum;
     1004              else if (strcmp(name,"TotalFloatingBmb")==0) return TotalFloatingBmbEnum;
     1005              else if (strcmp(name,"TotalGroundedBmb")==0) return TotalGroundedBmbEnum;
    10051006              else if (strcmp(name,"TotalSmb")==0) return TotalSmbEnum;
    10061007              else if (strcmp(name,"P0")==0) return P0Enum;

  • issm/trunk-jpl/src/m/classes/clusters/localpfe.m

    r21765 r21852  
    148148                end
    149149                %}}}
     150                function BuildQueueScriptIceOcean(cluster,dirname,modelname,solution,io_gather,isvalgrind,isgprof,isdakota) % {{{
     151
     152                        %write queuing script
     153                        %what is the executable being called?
     154                        executable='issm_ocean.exe';
     155
     156                        fid=fopen([modelname '.queue'],'w');
     157                        fprintf(fid,'#!%s\n',cluster.shell);
     158                        fprintf(fid,'mpiexec -np %i %s/%s %s %s %s: -np %i ./mitgcmuv\n',cluster.np,cluster.codepath,executable,solution,cluster.executionpath,modelname,cluster.npocean);
     159                        fclose(fid);
     160
     161                        %in interactive mode, create a run file, and errlog and outlog file
     162                        if cluster.interactive,
     163                                fid=fopen([modelname '.errlog'],'w'); fclose(fid);
     164                                fid=fopen([modelname '.outlog'],'w'); fclose(fid);
     165                        end
     166                end
     167                %}}}
    150168                function BuildKrigingQueueScript(cluster,modelname,solution,io_gather,isvalgrind,isgprof) % {{{
    151169
    … …  
    226244
    227245                end %}}}
     246                function LaunchQueueJobIceOcean(cluster,modelname,dirname,filelist,restart,batch)% {{{
     247
     248                        %figure out what shell extension we will use:
     249                        if isempty(strfind(cluster.shell,'csh')),
     250                                shellext='sh';
     251                        else
     252                                shellext='csh';
     253                        end
     254
     255                        if cluster.verbose, disp('launching solution sequence on remote cluster'); end
     256
     257                        launchcommand=['cd ' cluster.executionpath ' && rm -rf *.lock && tar -zxf ' dirname '.tar.gz  && rm -rf *.tar.gz'];
     258                        issmssh(cluster.name,cluster.login,cluster.port,launchcommand);
     259
     260                end %}}}
    228261                function Download(cluster,dirname,filelist)% {{{
    229262
Note: See TracChangeset for help on using the changeset viewer.