Changeset 27262


Ignore:
Timestamp:
09/02/22 20:53:34 (3 years ago)
Author:
jdquinn
Message:

CHG: Custom cluster class for AWS ISSM solution server instance; typos; clean up

Location:
issm/trunk-jpl
Files:
2 added
38 edited

Legend:

Unmodified
Added
Removed

  • issm/trunk-jpl/src/m/classes/clusters/acenet.m

    r26332 r27262  
    143143                        system(compressstring);
    144144
    145                         disp('uploading input file and queueing script');
     145                        disp('uploading input file and queuing script');
    146146                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    147147

  • issm/trunk-jpl/src/m/classes/clusters/aci.m

    r26332 r27262  
    9292                        system(compressstring);
    9393
    94                         disp('uploading input file and queueing script');
     94                        disp('uploading input file and queuing script');
    9595                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    9696

  • issm/trunk-jpl/src/m/classes/clusters/aurora.m

    r26332 r27262  
    110110                        system(compressstring);
    111111
    112                         disp('uploading input file and queueing script');
     112                        disp('uploading input file and queuing script');
    113113                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    114114

  • issm/trunk-jpl/src/m/classes/clusters/camhpc.m

    r26332 r27262  
    124124                        system(compressstring);
    125125
    126                         disp('uploading input file and queueing script');
     126                        disp('uploading input file and queuing script');
    127127                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    128128

  • issm/trunk-jpl/src/m/classes/clusters/castor.m

    r26332 r27262  
    8282                        system(compressstring);
    8383
    84                         disp('uploading input file and queueing script');
     84                        disp('uploading input file and queuing script');
    8585                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    8686

  • issm/trunk-jpl/src/m/classes/clusters/cloud.m

    r26344 r27262  
    7070                                error('cloud BuildQueueScript: login should be supplied!');
    7171                        end
    72                         disp('uploading input file and queueing script');
     72                        disp('uploading input file and queuing script');
    7373                        issmstscpout(cluster.name,cluster.executionpath,cluster.login,{[dirname '.tar.gz']});
    7474

  • issm/trunk-jpl/src/m/classes/clusters/cloud.py

    r26344 r27262  
    7575            raise Exception('cloud BuildQueueScript: login should be supplied!')
    7676
    77         print('uploading input file and queueing script')
     77        print('uploading input file and queuing script')
    7878        issmstscpout(self.name, self.executionpath, self.login, '{}.tar.gz'.format(dirname))
    7979    # }}}

  • issm/trunk-jpl/src/m/classes/clusters/computecanada.m

    r26851 r27262  
    108108                         system(compressstring);
    109109
    110                          disp('uploading input file and queueing script');
     110                         disp('uploading input file and queuing script');
    111111                         issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    112112

  • issm/trunk-jpl/src/m/classes/clusters/cosmos.m

    r26332 r27262  
    8282                        system(compressstring);
    8383
    84                         disp('uploading input file and queueing script');
     84                        disp('uploading input file and queuing script');
    8585                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    8686

  • issm/trunk-jpl/src/m/classes/clusters/cyclone.py

    r26344 r27262  
    9393        subprocess.call(compressstring, shell=True)
    9494
    95         print('uploading input file and queueing script')
     95        print('uploading input file and queuing script')
    9696        issmscpout(self.name, self.executionpath, self.login, self.port, [dirname + '.tar.gz'])
    9797    # }}}

  • issm/trunk-jpl/src/m/classes/clusters/discover.m

    r26332 r27262  
    173173                        system(compressstring);
    174174
    175                         disp('uploading input file and queueing script');
     175                        disp('uploading input file and queuing script');
    176176                        if cluster.interactive,
    177177                                directory=[cluster.executionpath '/Interactive' num2str(cluster.interactive)];

  • issm/trunk-jpl/src/m/classes/clusters/discover.py

    r26397 r27262  
    181181        subprocess.call(compressstring, shell=True)
    182182
    183         print('uploading input file and queueing script')
     183        print('uploading input file and queuing script')
    184184        if self.interactive:
    185185            directory = '{}/Interactive{}'.format(self.executionpath, self.interactive)

  • issm/trunk-jpl/src/m/classes/clusters/discovery.m

    r27008 r27262  
    145145                        system(compressstring);
    146146
    147                         disp('uploading input file and queueing script');
     147                        disp('uploading input file and queuing script');
    148148                        issmscpout(cluster.name,cluster.executionpath,cluster.login,0,{[dirname '.tar.gz']});
    149149

  • issm/trunk-jpl/src/m/classes/clusters/fram.py

    r26344 r27262  
    144144        subprocess.call(compressstring, shell=True)
    145145
    146         print('uploading input file and queueing script')
     146        print('uploading input file and queuing script')
    147147        issmscpout(self.name, self.executionpath, self.login, self.port, [dirname + '.tar.gz'])
    148148

  • issm/trunk-jpl/src/m/classes/clusters/frontera.m

    r26357 r27262  
    177177                        system(compressstring);
    178178
    179                         disp('uploading input file and queueing script');
     179                        disp('uploading input file and queuing script');
    180180                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    181181

  • issm/trunk-jpl/src/m/classes/clusters/gemini.m

    r26332 r27262  
    8383                        system(compressstring);
    8484
    85                         disp('uploading input file and queueing script');
     85                        disp('uploading input file and queuing script');
    8686                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    8787

  • issm/trunk-jpl/src/m/classes/clusters/generic.m

    r26945 r27262  
    307307                                system(compressstring);
    308308
    309                                 if cluster.verbose, disp('uploading input file and queueing script'); end
     309                                if cluster.verbose, disp('uploading input file and queuing script'); end
    310310                                issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    311311                        end

  • issm/trunk-jpl/src/m/classes/clusters/generic.py

    r26358 r27262  
    9898            executable = 'issm_ocean.exe'
    9999
    100         # Write queueing script
     100        # Write queuing script
    101101        if not ispc():
    102102            fid = open(modelname + '.queue', 'w')
    … …  
    200200        call(compressstring, shell=True)
    201201
    202         print('uploading input file and queueing script')
     202        print('uploading input file and queuing script')
    203203        issmscpout(self.name, self.executionpath, self.login, self.port, [dirname + '.tar.gz'])
    204204

  • issm/trunk-jpl/src/m/classes/clusters/generic_static.m

    r27172 r27262  
    7777                        codepath=strrep(cluster.codepath,' ','\ ');
    7878
    79                         % Write queueing script
     79                        % Write queuing script
    8080                        fid=fopen([modelname '.queue'],'w');
    8181                        fprintf(fid,'#!%s\n',cluster.shell);

  • issm/trunk-jpl/src/m/classes/clusters/generic_static.py

    r27172 r27262  
    8585        codepath = self.codepath.replace(' ', '\ ')
    8686
    87         # Write queueing script
     87        # Write queuing script
    8888        fid = open(modelname + '.queue', 'w')
    8989        fid.write('#!{}'.format(self.shell) + '\n')
    … …  
    120120        codepath = self.codepath.replace(' ', '\ ')
    121121
    122         # Write queueing script
     122        # Write queuing script
    123123        fid = open(modelname + '.queue', 'w')
    124124        fid.write('#!{}'.format(self.shell) + '\n')

  • issm/trunk-jpl/src/m/classes/clusters/greenplanet.m

    r26332 r27262  
    152152                        system(compressstring);
    153153
    154                         disp('uploading input file and queueing script');
     154                        disp('uploading input file and queuing script');
    155155                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    156156

  • issm/trunk-jpl/src/m/classes/clusters/hpc.m

    r26332 r27262  
    140140                        system(compressstring);
    141141
    142                         disp('uploading input file and queueing script');
     142                        disp('uploading input file and queuing script');
    143143                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    144144

  • issm/trunk-jpl/src/m/classes/clusters/hpc_simba.m

    r26332 r27262  
    152152                        system(compressstring);
    153153
    154                         disp('uploading input file and queueing script');
     154                        disp('uploading input file and queuing script');
    155155                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    156156

  • issm/trunk-jpl/src/m/classes/clusters/localpfe.m

    r26332 r27262  
    228228                                system(compressstring);
    229229
    230                                 if cluster.verbose, disp('uploading input file and queueing script'); end
     230                                if cluster.verbose, disp('uploading input file and queuing script'); end
    231231                                issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    232232                        end

  • issm/trunk-jpl/src/m/classes/clusters/lonestar.m

    r26332 r27262  
    176176                        system(compressstring);
    177177
    178                         disp('uploading input file and queueing script');
     178                        disp('uploading input file and queuing script');
    179179                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    180180

  • issm/trunk-jpl/src/m/classes/clusters/maui.m

    r26332 r27262  
    127127                        system(compressstring);
    128128
    129                         disp('uploading input file and queueing script');
     129                        disp('uploading input file and queuing script');
    130130                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    131131

  • issm/trunk-jpl/src/m/classes/clusters/pace.m

    r27256 r27262  
    8989                        system(compressstring);
    9090
    91                         disp('uploading input file and queueing script');
     91                        disp('uploading input file and queuing script');
    9292                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    9393

  • issm/trunk-jpl/src/m/classes/clusters/pfe.m

    r26925 r27262  
    176176                        fprintf(fid,'export ISSM_DIR="%s"\n',cluster.srcpath); %FIXME
    177177                        if cluster.extpkgpath
    178                                 fprintf(fid,'export ISSM_EXT_PKG="%s"\n',cluster.extpkgpath);
     178                                fprintf(fid,'export ISSM_EXT_DIR="%s"\n',cluster.extpkgpath);
    179179                        end
    180180                        fprintf(fid,'source $ISSM_DIR/etc/environment.sh\n');       %FIXME

  • issm/trunk-jpl/src/m/classes/clusters/pfe.py

    r26923 r27262  
    180180        fid.write('export ISSM_DIR="{}"\n'.format(self.srcpath)) # FIXME
    181181        if self.extpkgpath:
    182             fid.write('export ISSM_EXT_PKG="{}"\n'.format(self.extpkgpath))
     182            fid.write('export ISSM_EXT_DIR="{}"\n'.format(self.extpkgpath))
    183183        fid.write('source $ISSM_DIR/etc/environment.sh\n') # FIXME
    184184        fid.write('cd {}/{}/\n\n'.format(self.executionpath, dirname))

  • issm/trunk-jpl/src/m/classes/clusters/raijin.m

    r26332 r27262  
    102102                        system(compressstring);
    103103
    104                         disp('uploading input file and queueing script');
     104                        disp('uploading input file and queuing script');
    105105                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    106106

  • issm/trunk-jpl/src/m/classes/clusters/saga.py

    r26854 r27262  
    153153        subprocess.call(compressstring, shell=True)
    154154
    155         print('uploading input file and queueing script')
     155        print('uploading input file and queuing script')
    156156        issmscpout(self.name, self.executionpath, self.login, self.port, [dirname + '.tar.gz'])
    157157    # }}}

  • issm/trunk-jpl/src/m/classes/clusters/sherlock.m

    r26332 r27262  
    135135                        system(compressstring);
    136136
    137                         disp('uploading input file and queueing script');
     137                        disp('uploading input file and queuing script');
    138138                        issmscpout(cluster.name,cluster.executionpath,cluster.login,cluster.port,{[dirname '.tar.gz']});
    139139

  • issm/trunk-jpl/src/m/classes/clusters/smce_eis.py

    r26435 r27262  
    177177        subprocess.call(compressstring, shell=True)
    178178
    179         print('uploading input file and queueing script')
     179        print('uploading input file and queuing script')
    180180        if self.interactive:
    181181            directory = '{}/Interactive{}'.format(self.executionpath, self.interactive)

  • issm/trunk-jpl/src/m/classes/clusters/tetralith.m

    r26332 r27262  
    192192                        end
    193193                        system(compressstring);
    194                         disp('uploading input file and queueing script');
     194                        disp('uploading input file and queuing script');
    195195                        directory=cluster.executionpath;
    196196%                       issmbbftpout(cluster.name,directory,cluster.login,cluster.port,cluster.numstreams,{[dirname '.tar.gz']});

  • issm/trunk-jpl/src/m/classes/clusters/yellowstone.m

    r26332 r27262  
    128128                        system(compressstring);
    129129
    130                         disp('uploading input file and queueing script');
     130                        disp('uploading input file and queuing script');
    131131                        directory=cluster.executionpath;
    132132

  • issm/trunk-jpl/src/m/solve/waitonlock.m

    r26353 r27262  
    4343%prepare command if the job is not running on the local machine
    4444if ~strcmpi(oshostname(),cluster.name),
    45         login = cluster.login;
    46         port  = 0;
    47         if isprop(cluster,'port')
    48                 port = cluster.port;
    49         end
    50         if port,
    51                 command = ['ssh -l ' login ' -p ' num2str(port) ' localhost "[ -f ' lockfilename ' ] && [ -f ' logfilename ' ]" 2>/dev/null'];
    52         elseif isa(cluster,'cloud')
     45        if isa(cluster,'cloud'),
    5346                command = [' [ -f ' lockfilename ' ] && [ -f ' logfilename ' ] 2>/dev/null'];
    5447                command = [starcluster() ' sshmaster ' cluster.name ' --user ' cluster.login ' ''' command ''''];
    5548        else
    56                 command = ['ssh -l ' login ' ' cluster.name ' "[ -f ' lockfilename ' ] && [ -f ' logfilename ' ]" 2>/dev/null'];
     49                command = ['ssh -l ' cluster.login];
     50                if isprop(cluster,'idfile') && ~strcmp(cluster.idfile,''),
     51                        command = [command ' -i ' cluster.idfile];
     52                end
     53                port=0;
     54                if isprop(cluster,'port') && cluster.port,
     55                        command = [command ' -p ' num2str(port) ' localhost'];
     56                else,
     57                        command = [command ' ' cluster.name];
     58                end
     59                command = [command ' "[ -f ' lockfilename ' ] && [ -f ' logfilename ' ]" 2>/dev/null'];
    5760        end
    5861end

  • issm/trunk-jpl/src/m/solve/waitonlock.py

    r27119 r27262  
    6161                command += ' -i {}'.format(cluster.idfile)
    6262            port = 0
    63             if isprop(cluster, 'port'):
    64                 port = cluster.port
    65             if port: # Check if port is non-zero
    66                 command += ' -p {} localhost'.format(port)
     63            if isprop(cluster, 'port') && cluster.port:
     64                command += ' -p {} localhost'.format(port);
    6765            else:
    6866                command += ' {}'.format(cluster.name)
    … …  
    8280            outs, errs = subproc.communicate()  # NOTE: Need to consume output before checking return code
    8381
    84             # TODO: Debug the following check under Linux (exits after first iteration with errs = "b")
    85             # UPDATE: Works in testing under Debian Linux system. Leaving comment for now so that it is easier to backtrace this issue if someone else encounters it.
    86             # FIXED: comunicates returns stuff in bytes in Python 3 unless you set "universal_newlines=True"
    87             #
    8882            if errs != '':
    8983               raise Exception('waitonlock: check for existence of files failed: {}'.format(errs))

  • issm/trunk-jpl/test/NightlyRun/runme.m

    r27202 r27262  
    235235                                        archive_cell=archread(['../Archives/' archive_name '.arch'],[archive_name '_field' num2str(k)]);
    236236                                        archive=archive_cell{1};
    237                                         error_diff=full(max(abs(archive(:)-field(:)))/(max(abs(archive(:)))+eps));                                      %disp test result
     237                                        error_diff=full(max(abs(archive(:)-field(:)))/(max(abs(archive(:)))+eps)); %disp test result
    238238                                        if (error_diff>tolerance | isnan(error_diff));
    239239                                                disp(sprintf(['ERROR   difference: %-7.2g > %7.2g test id: %i test name: %s field: %s'],...
Note: See TracChangeset for help on using the changeset viewer.