Changeset 19328


Ignore:
Timestamp:
04/28/15 15:12:57 (10 years ago)
Author:
Eric.Larour
Message:

CHG: committing missing SettingsRecordingFrequencyEnum enum. Split the LaunchQueueJob into UploadQueueJob
and DownloadQueueJob, so we can do restarts without tarring the queue files twice.

Location:
issm/trunk-jpl/src/m
Files:
1 added
16 edited

Legend:

Unmodified
Added
Removed

  • issm/trunk-jpl/src/m/classes/clusters/acenet.m

    r19262 r19328  
    118118                 end
    119119                 %}}}
    120                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     120                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    121121
    122122                         %compress the files into one zip.
    … …  
    129129                         disp('uploading input file and queueing script');
    130130                         issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
     131
     132                 end %}}}
     133                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    131134
    132135                         disp('launching solution sequence on remote cluster');

  • issm/trunk-jpl/src/m/classes/clusters/castor.m

    r13278 r19328  
    7070                 end
    7171                 %}}}
    72                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     72                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    7373
    7474                         %compress the files into one zip.
    … …  
    8484                         disp('uploading input file and queueing script');
    8585                         issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
     86
     87                 end %}}}
     88                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    8689
    8790                         disp('launching solution sequence on remote cluster');

  • issm/trunk-jpl/src/m/classes/clusters/cloud.m

    r16111 r19328  
    6565                end
    6666                %}}}
    67                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     67                function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    6868
    6969                        %compress the files into one zip.
    … …  
    7979                        disp('uploading input file and queueing script');
    8080                        issmstscpout(cluster.name,cluster.executionpath,cluster.login,{[dirname '.tar.gz']});
     81
     82                end %}}}
     83                function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    8184
    8285                        if cluster.interactive,

  • issm/trunk-jpl/src/m/classes/clusters/cosmos.m

    r13278 r19328  
    7070                 end
    7171                 %}}}
    72                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     72                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    7373
    7474                         %compress the files into one zip.
    … …  
    8484                         disp('uploading input file and queueing script');
    8585                         issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
     86
     87                 end %}}}
     88                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    8689
    8790                         disp('launching solution sequence on remote cluster');

  • issm/trunk-jpl/src/m/classes/clusters/discover.m

    r18703 r19328  
    136136                         end
    137137                 end %}}}
    138                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     138                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    139139
    140140                         %compress the files into one zip.
    … …  
    161161                         end
    162162
    163                          %lauch command, to be executed via ssh
     163                 end
     164                 %}}}
     165                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     166
    164167                         if ~cluster.interactive,
    165168                                 launchcommand=['cd ' cluster.executionpath ' && rm -rf ./' dirname ' && mkdir ' dirname ...

  • issm/trunk-jpl/src/m/classes/clusters/gemini.m

    r13278 r19328  
    7171                 end
    7272                 %}}}
    73                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     73                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    7474
    7575                         %compress the files into one zip.
    … …  
    8585                         disp('uploading input file and queueing script');
    8686                         issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
     87
     88                 end %}}}
     89                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    8790
    8891                         disp('launching solution sequence on remote cluster');

  • issm/trunk-jpl/src/m/classes/clusters/generic.m

    r19205 r19328  
    208208                end
    209209                %}}}
    210                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     210                function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    211211
    212212                        if ~ispc,
    213 
    214                                 %figure out what shell extension we will use:
    215                                 if isempty(strfind(cluster.shell,'csh')),
    216                                         shellext='sh';
    217                                 else
    218                                         shellext='csh';
    219                                 end
    220213
    221214                                %compress the files into one zip.
    … …  
    231224                                if cluster.verbose, disp('uploading input file and queueing script'); end
    232225                                issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
     226                        end
     227                end %}}}
     228                function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     229
     230                        if ~ispc,
     231
     232                                %figure out what shell extension we will use:
     233                                if isempty(strfind(cluster.shell,'csh')),
     234                                        shellext='sh';
     235                                else
     236                                        shellext='csh';
     237                                end
    233238
    234239                                if cluster.verbose, disp('launching solution sequence on remote cluster'); end

  • issm/trunk-jpl/src/m/classes/clusters/generic.py

    r17480 r19328  
    162162                        fid.close()
    163163        # }}}
    164         def LaunchQueueJob(self,modelname,dirname,filelist):    # {{{
     164        def UploadQueueJob(self,modelname,dirname,filelist):    # {{{
    165165
    166166                #compress the files into one zip.
    … …  
    174174                print 'uploading input file and queueing script'
    175175                issmscpout(self.name,self.executionpath,self.login,self.port,[dirname+'.tar.gz'])
     176
     177        # }}}
     178        def LaunchQueueJob(self,modelname,dirname,filelist):    # {{{
    176179
    177180                print 'launching solution sequence on remote cluster'

  • issm/trunk-jpl/src/m/classes/clusters/generic_static.m

    r18368 r19328  
    6262                end
    6363                %}}}
     64                function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
     65
     66                        %do nothing
     67                end %}}}
    6468                function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    6569

  • issm/trunk-jpl/src/m/classes/clusters/greenplanet.m

    r18824 r19328  
    141141                         end
    142142                 end %}}}
    143                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     143                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    144144
    145145                         %compress the files into one zip.
    … …  
    155155                         disp('uploading input file and queueing script');
    156156                         issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
     157
     158                 end %}}}
     159                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    157160
    158161                         disp('launching solution sequence on remote cluster');

  • issm/trunk-jpl/src/m/classes/clusters/hpc.m

    r18739 r19328  
    132132                         end
    133133                 end %}}}
    134                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     134                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    135135
    136136                         %compress the files into one zip.
    … …  
    146146                         disp('uploading input file and queueing script');
    147147                         issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
     148
     149                 end %}}}
     150                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    148151
    149152                         disp('launching solution sequence on remote cluster');

  • issm/trunk-jpl/src/m/classes/clusters/pfe.m

    r18979 r19328  
    242242
    243243                 end %}}}
    244                  function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     244                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
    245245
    246246                         %compress the files into one zip.
    … …  
    267267                         end
    268268
     269                 end
     270                 %}}}
     271                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
     272
    269273                         %lauch command, to be executed via ssh
    270274                         if ~cluster.interactive,

  • issm/trunk-jpl/src/m/classes/clusters/pfe.py

    r19164 r19328  
    156156
    157157        # }}}
    158         def LaunchQueueJob(self,modelname,dirname,filelist):
    159                 # {{{
     158        def UploadhQueueJob(self,modelname,dirname,filelist):
     159                        # {{{
    160160
    161161                #compress the files into one zip.
    … …  
    167167                print 'uploading input file and queueing script'
    168168                issmscpout(self.name,self.executionpath,self.login,self.port,[dirname+'.tar.gz'])
     169
     170                # }}}
     171        def LaunchQueueJob(self,modelname,dirname,filelist):
     172                        # {{{
    169173
    170174                print 'launching solution sequence on remote cluster'

  • issm/trunk-jpl/src/m/classes/clusters/pollux.m

    r13278 r19328  
    7272                 function LaunchQueueJob(cluster,modelname,dirname,filelist)% {{{
    7373
     74                         disp('launching solution sequence on remote cluster');
     75                         launchcommand=['cd ' cluster.executionpath ' && rm -rf ./' dirname ' && mkdir ' dirname ...
     76                                 ' && cd ' dirname ' && mv ../' dirname '.tar.gz ./ && tar -zxf ' dirname '.tar.gz  && qsub ' modelname '.queue '];
     77                         issmssh(cluster.name,cluster.login,cluster.port,launchcommand);
     78                 end %}}}
     79                 function UploadQueueJob(cluster,modelname,dirname,filelist)% {{{
     80
    7481                         %compress the files into one zip.
    7582                         compressstring=['tar -zcf ' dirname '.tar.gz '];
    … …  
    8289                         system(compressstring);
    8390
    84                          disp('uploading input file and queueing script');
    85                          issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    86 
    87                          disp('launching solution sequence on remote cluster');
    88                          launchcommand=['cd ' cluster.executionpath ' && rm -rf ./' dirname ' && mkdir ' dirname ...
    89                                  ' && cd ' dirname ' && mv ../' dirname '.tar.gz ./ && tar -zxf ' dirname '.tar.gz  && qsub ' modelname '.queue '];
    90                          issmssh(cluster.name,cluster.login,cluster.port,launchcommand);
    9191                 end %}}}
    9292                 function Download(cluster,dirname,filelist)% {{{

  • issm/trunk-jpl/src/m/solve/solve.m

    r18103 r19328  
    2222%      - runtimename : true or false (default is true), makes name unique
    2323%      - checkconsistency : 'yes' or 'no' (default is 'yes'), ensures checks on consistency of model
     24%      - restart: 'directory name (relative to the execution directory) where the restart file is located.
    2425%
    2526%   Examples:
    … …  
    5960else
    6061        md.private.runtimename=md.miscellaneous.name;
     62end
     63
     64%If we are restarting, actually use the provided runtime name:
     65restart=getfieldvalue(options,'restart','');
     66if ~isempty(restart),
     67        md.private.runtimename=restart;
    6168end
    6269
    … …  
    99106end
    100107
    101 %Launch job
    102 modelname = md.miscellaneous.name;
    103 filelist  = {[modelname '.bin '] [modelname '.toolkits ']};
    104 if ispc,
    105         filelist{end+1}=[modelname '.bat '];
    106 else
    107         filelist{end+1}=[modelname '.queue '];
     108%Upload all required files
     109if isempty(restart),
     110        modelname = md.miscellaneous.name;
     111        filelist  = {[modelname '.bin '] [modelname '.toolkits ']};
     112        if ispc,
     113                filelist{end+1}=[modelname '.bat '];
     114        else
     115                filelist{end+1}=[modelname '.queue '];
     116        end
     117
     118        if md.qmu.isdakota,
     119                filelist{end+1} = [modelname '.qmu.in'];
     120        end
     121        UploadQueueJob(cluster,md.miscellaneous.name,md.private.runtimename,filelist);
    108122end
    109123
    110 if md.qmu.isdakota,
    111         filelist{end+1} = [modelname '.qmu.in'];
    112 end
     124%launch queue job:
    113125LaunchQueueJob(cluster,md.miscellaneous.name,md.private.runtimename,filelist);
    114126

  • issm/trunk-jpl/src/m/solve/solve.py

    r19164 r19328  
    3434              - loadonly : does not solve. only load results
    3535                  - checkconsistency : 'yes' or 'no' (default is 'yes'), ensures checks on consistency of model
     36                  - restart: 'directory name (relative to the execution directory) where the restart file is located.
    3637 
    3738           Examples:
    … …  
    6566                md.private.runtimename="%s-%02i-%02i-%04i-%02i-%02i-%02i-%i" % (md.miscellaneous.name,c.month,c.day,c.year,c.hour,c.minute,c.second,os.getpid())
    6667        else:
    67                 md.private.runtimename=md.miscellaneous.name
     68                md.private.runtimename=md.miscellaneous.name
     69       
     70        #If we are restarting, actually use the provided runtime name:
     71        restart=options.getfieldvalue('restart','')
     72        if restart:
     73                md.private.runtimename=restart
    6874               
    6975        #if running qmu analysis, some preprocessing of dakota files using models
    … …  
    8389                return md
    8490
     91
    8592        #Write all input files
    8693        marshall(md)                                           # bin file
    … …  
    94101                return md
    95102
     103        #Upload all required files:
     104        if not restart:
     105                modelname = md.miscellaneous.name
     106                filelist  = [modelname+'.bin ',modelname+'.toolkits ',modelname+'.queue ']
     107                if md.qmu.isdakota:
     108                        filelist.append(modelname+'.qmu.in')
     109                cluster.UploadQueueJob(md.miscellaneous.name,md.private.runtimename,filelist)
     110       
    96111        #Launch job
    97         modelname = md.miscellaneous.name
    98         filelist  = [modelname+'.bin ',modelname+'.toolkits ',modelname+'.queue ']
    99         if md.qmu.isdakota:
    100                 filelist.append(modelname+'.qmu.in')
    101112        cluster.LaunchQueueJob(md.miscellaneous.name,md.private.runtimename,filelist)
    102113
Note: See TracChangeset for help on using the changeset viewer.