ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ U ¡ê,aý~ã@sdddgZddlZddlZddlZddlZddlZddlZddlZddlZddlm Z ddl mZddl mZm Z ddlmZd Zd ZdZdZe ¡Zd d„Zdd„ZGdd„deƒZGdd„dƒZdd„ZGdd„deƒZd+dd„Zdd„ZGdd „d eƒZ Gd!d„de!ƒZ"Gd"d#„d#e!ƒZ#e#Z$Gd$d%„d%e#ƒZ%Gd&d'„d'e!ƒZ&Gd(d)„d)e&ƒZ'Gd*d„de"ƒZ(dS),ÚPoolÚ ThreadPooléN)ÚEmptyé)Úutil)Úget_contextÚTimeoutError)ÚwaitÚINITÚRUNÚCLOSEÚ TERMINATEcCstt|ŽƒS©N)ÚlistÚmap©Úargs©rú9/opt/alt/python38/lib64/python3.8/multiprocessing/pool.pyÚmapstar/srcCstt |d|d¡ƒS)Nrr)rÚ itertoolsÚstarmaprrrrÚstarmapstar2src@seZdZdd„Zdd„ZdS)ÚRemoteTracebackcCs ||_dSr©Útb)ÚselfrrrrÚ__init__:szRemoteTraceback.__init__cCs|jSrr©rrrrÚ__str__<szRemoteTraceback.__str__N)Ú__name__Ú __module__Ú__qualname__rrrrrrr9src@seZdZdd„Zdd„ZdS)ÚExceptionWithTracebackcCs0t t|ƒ||¡}d |¡}||_d||_dS)NÚz """ %s""")Ú tracebackÚformat_exceptionÚtypeÚjoinÚexcr)rr)rrrrr@s zExceptionWithTraceback.__init__cCst|j|jffSr)Úrebuild_excr)rrrrrÚ __reduce__Esz!ExceptionWithTraceback.__reduce__N)r r!r"rr+rrrrr#?sr#cCst|ƒ|_|Sr)rÚ __cause__)r)rrrrr*Hs r*cs,eZdZ‡fdd„Zdd„Zdd„Z‡ZS)ÚMaybeEncodingErrorcs.t|ƒ|_t|ƒ|_tt|ƒ |j|j¡dSr)Úreprr)ÚvalueÚsuperr-r)rr)r/©Ú __class__rrrTs zMaybeEncodingError.__init__cCsd|j|jfS)Nz(Error sending result: '%s'. Reason: '%s')r/r)rrrrrYsÿzMaybeEncodingError.__str__cCsd|jj|fS)Nz<%s: %s>)r2r rrrrÚ__repr__]szMaybeEncodingError.__repr__)r r!r"rrr3Ú __classcell__rrr1rr-Psr-rFc CsÌ|dk r(t|tƒr|dks(td |¡ƒ‚|j}|j}t|dƒrR|j ¡|j ¡|dk rb||Žd}|dks~|rº||krºz |ƒ} Wn(t tfk r°t d¡YqºYnX| dkrÈt d¡qº| \} }}} }zd|| |Žf}WnHtk r0}z(|r|tk rt||jƒ}d|f}W5d}~XYnXz|| ||fƒWnRtk r–}z2t||dƒ}t d |¡|| |d|ffƒW5d}~XYnXd} } }}} }|d7}qft d |¡dS)NrzMaxtasks {!r} is not validÚ_writerrz)worker got EOFError or OSError -- exitingzworker got sentinel -- exitingTFz0Possible encoding error while sending result: %szworker exiting after %d tasks)Ú isinstanceÚintÚAssertionErrorÚformatÚputÚgetÚhasattrr5ÚcloseÚ_readerÚEOFErrorÚOSErrorrÚdebugÚ ExceptionÚ_helper_reraises_exceptionr#Ú __traceback__r-)ÚinqueueÚoutqueueÚinitializerÚinitargsZmaxtasksÚwrap_exceptionr:r;Z completedÚtaskÚjobÚiÚfuncrÚkwdsÚresultÚeÚwrappedrrrÚworkerasNÿ ÿ$ rRcCs|‚dSrr)ZexrrrrCŽsrCcs.eZdZddœ‡fdd„ Z‡fdd„Z‡ZS)Ú _PoolCacheN©Únotifiercs||_tƒj||ŽdSr)rUr0r)rrUrrNr1rrrsz_PoolCache.__init__cs tƒ |¡|s|j d¡dSr)r0Ú__delitem__rUr:)rÚitemr1rrrV¡sz_PoolCache.__delitem__)r r!r"rrVr4rrr1rrS–srSc@s‚eZdZdZedd„ƒZdKdd„Zeje fdd „Z d d„Zdd „Zedd„ƒZ edd„ƒZdd„Zedd„ƒZedd„ƒZdd„Zdd„Zdifdd„ZdLdd„ZdMd d!„ZdNd"d#„Zd$d%„ZdOd'd(„ZdPd)d*„Zdiddfd+d,„ZdQd-d.„ZdRd/d0„ZedSd1d2„ƒZed3d4„ƒZ ed5d6„ƒZ!ed7d8„ƒZ"ed9d:„ƒZ#d;d<„Z$d=d>„Z%d?d@„Z&dAdB„Z'edCdD„ƒZ(edEdF„ƒZ)dGdH„Z*dIdJ„Z+dS)TrTcOs|j||ŽSr©ÚProcess)ÚctxrrNrrrrY³szPool.ProcessNrcCsg|_t|_|ptƒ|_| ¡t ¡|_|j ¡|_ t |j d|_||_||_ ||_|dkrjt ¡phd}|dkrztdƒ‚|dk r’t|ƒs’tdƒ‚||_z| ¡WnHtk rì|jD]}|jdkrº| ¡qº|jD]}| ¡qØ‚YnX| ¡}tjtj|j|j|j|j|j|j|j |j!|j |j|j|j"||j fd|_#d|j#_$t%|j#_|j# &¡tjtj'|j|j(|j!|j|jfd|_)d|j)_$t%|j)_|j) &¡tjtj*|j!|j+|jfd|_,d|j,_$t%|j,_|j, &¡t-j.||j/|j|j |j!|j|j |j#|j)|j,|jf dd|_0t%|_dS) NrTrz&Number of processes must be at least 1zinitializer must be a callable©ÚtargetrTé)rZexitpriority)1Ú_poolr Ú_staterÚ_ctxÚ _setup_queuesÚqueueÚSimpleQueueÚ _taskqueueÚ_change_notifierrSÚ_cacheÚ_maxtasksperchildÚ_initializerÚ _initargsÚosÚ cpu_countÚ ValueErrorÚcallableÚ TypeErrorÚ _processesÚ_repopulate_poolrBÚexitcodeÚ terminater(Ú_get_sentinelsÚ threadingZThreadrÚ_handle_workersrYÚ_inqueueÚ _outqueueÚ_wrap_exceptionÚ_worker_handlerÚdaemonrÚstartÚ _handle_tasksÚ _quick_putÚ _task_handlerÚ_handle_resultsÚ _quick_getÚ_result_handlerrZFinalizeÚ_terminate_poolÚ _terminate)rÚ processesrGrHÚmaxtasksperchildÚcontextÚpÚ sentinelsrrrr·s– ýþ ÿþ þ þûz Pool.__init__cCs>|j|kr:|d|›t|dt|ddƒdk r:|j d¡dS)Nz&unclosed running multiprocessing pool )Úsourcere)r_ÚResourceWarningÚgetattrrer:)rZ_warnrrrrÚ__del__s ÿzPool.__del__c Cs0|j}d|j›d|j›d|j›dt|jƒ›d S)Nú<Ú.z state=z pool_size=ú>)r2r!r"r_Úlenr^)rÚclsrrrr3sz Pool.__repr__cCs|jjg}|jjg}||•Sr)rwr>re)rZtask_queue_sentinelsZself_notifier_sentinelsrrrrss zPool._get_sentinelscCsdd„|DƒS)NcSsg|]}t|dƒr|j‘qS)Úsentinel)r<r’)Ú.0rRrrrÚ s ÿz.Pool._get_worker_sentinels..r©ZworkersrrrÚ_get_worker_sentinelssÿzPool._get_worker_sentinelscCsPd}ttt|ƒƒƒD]6}||}|jdk rt d|¡| ¡d}||=q|S)NFúcleaning up worker %dT)ÚreversedÚrangerrqrrAr()ÚpoolZcleanedrLrRrrrÚ_join_exited_workerss zPool._join_exited_workerscCs0| |j|j|j|j|j|j|j|j|j |j ¡ Sr)Ú_repopulate_pool_staticr`rYror^rvrwrhrirgrxrrrrrp.súzPool._repopulate_poolc Csft|t|ƒƒD]P} ||t|||||| fd}|j dd¡|_d|_| ¡| |¡t d¡qdS)Nr[rYZ PoolWorkerTzadded worker) r™rrRÚnameÚreplacerzr{ÚappendrrA)rZrYr„ršrErFrGrHr…rIrLÚwrrrrœ7sýÿ zPool._repopulate_pool_staticc Cs*t |¡r&t |||||||||| ¡ dSr)rr›rœ) rZrYr„ršrErFrGrHr…rIrrrÚ_maintain_poolJs ýzPool._maintain_poolcCs4|j ¡|_|j ¡|_|jjj|_|jjj|_ dSr) r`rcrvrwr5Úsendr}r>Úrecvr€rrrrraVszPool._setup_queuescCs|jtkrtdƒ‚dS)NzPool not running)r_rrlrrrrÚ_check_running\s zPool._check_runningcCs| |||¡ ¡Sr)Úapply_asyncr;)rrMrrNrrrÚapply`sz Pool.applycCs| ||t|¡ ¡Sr)Ú _map_asyncrr;©rrMÚiterableÚ chunksizerrrrgszPool.mapcCs| ||t|¡ ¡Sr)r§rr;r¨rrrrnszPool.starmapcCs| ||t|||¡Sr)r§r©rrMr©rªÚcallbackÚerror_callbackrrrÚ starmap_asyncvsÿzPool.starmap_asyncc csjz,d}t|ƒD]\}}||||fifVqWn8tk rd}z||dt|fifVW5d}~XYnXdS)Néÿÿÿÿr)Ú enumeraterBrC)rZ result_jobrMr©rLÚxrPrrrÚ_guarded_task_generation~szPool._guarded_task_generationrcCs–| ¡|dkr:t|ƒ}|j | |j||¡|jf¡|S|dkrPtd |¡ƒ‚t |||¡}t|ƒ}|j | |jt|¡|jf¡dd„|DƒSdS)NrzChunksize must be 1+, not {0:n}css|]}|D] }|Vq qdSrr©r“ÚchunkrWrrrÚ ¤szPool.imap..)r¤ÚIMapIteratorrdr:r²Ú_jobÚ_set_lengthrlr9rÚ _get_tasksr©rrMr©rªrOÚtask_batchesrrrÚimap‰s4þÿÿÿþüÿz Pool.imapcCs–| ¡|dkr:t|ƒ}|j | |j||¡|jf¡|S|dkrPtd |¡ƒ‚t |||¡}t|ƒ}|j | |jt|¡|jf¡dd„|DƒSdS)NrzChunksize must be 1+, not {0!r}css|]}|D] }|Vq qdSrrr³rrrrµÀsz&Pool.imap_unordered..)r¤ÚIMapUnorderedIteratorrdr:r²r·r¸rlr9rr¹rrºrrrÚimap_unordered¦s0þÿÿþüÿzPool.imap_unorderedcCs6| ¡t|||ƒ}|j |jd|||fgdf¡|S©Nr)r¤ÚApplyResultrdr:r·)rrMrrNr¬rrOrrrr¥ÂszPool.apply_asynccCs| ||t|||¡Sr)r§rr«rrrÚ map_asyncÌsÿzPool.map_asyncc Csž| ¡t|dƒst|ƒ}|dkrJtt|ƒt|jƒdƒ\}}|rJ|d7}t|ƒdkrZd}t |||¡}t||t|ƒ||d} |j | | j||¡df¡| S)NÚ__len__érr©r) r¤r<rÚdivmodrr^rr¹Ú MapResultrdr:r²r·) rrMr©Zmapperrªr¬rZextrar»rOrrrr§Ôs, ÿþüÿzPool._map_asynccCs"t||d| ¡s| ¡qdS)N)Útimeout)r Úemptyr;)rˆÚchange_notifierrÇrrrÚ_wait_for_updatesñszPool._wait_for_updatescCspt ¡}|jtks |rX|jtkrX| ||||||| | ||¡ | |¡| •}| ||¡q| d¡t d¡dS)Nzworker handler exiting)rtÚcurrent_threadr_rr r¡r–rÊr:rrA)r‘ÚcacheÚ taskqueuerZrYr„ršrErFrGrHr…rIrˆrÉÚthreadZcurrent_sentinelsrrrru÷sþ zPool._handle_workersc Cspt ¡}t|jdƒD]ê\}}d}zÎ|D]Š}|jtkrBt d¡qâz||ƒWq&tk r®} zB|dd…\} }z|| |d| f¡Wnt k rœYnXW5d} ~ XYq&Xq&|rÜt d¡|rÌ|dnd}||dƒW¢qW¢ q W5d}}} Xqt d¡z6t d¡| d¡t d ¡|D]}|dƒq.Wn tk r`t d ¡YnXt d¡dS)Nz'task handler found thread._state != RUNéFzdoing set_length()rr¯ztask handler got sentinelz/task handler sending sentinel to result handlerz(task handler sending sentinel to workersz/task handler got OSError when sending sentinelsztask handler exiting) rtrËÚiterr;r_rrrArBÚ_setÚKeyErrorr:r@) rÍr:rFršrÌrÎZtaskseqZ set_lengthrJrKrPÚidxr‡rrrr|sB zPool._handle_tasksc Cs¶t ¡}z |ƒ}Wn$ttfk r6t d¡YdSX|jtkrNt d¡q¤|dkrbt d¡q¤|\}}}z|| ||¡Wnt k r”YnXd}}}q|r@|jt kr@z |ƒ}Wn$ttfk rät d¡YdSX|dkrüt d¡q¤|\}}}z|| ||¡Wnt k r0YnXd}}}q¤t|dƒržt d¡z,tdƒD]}|j ¡svq€|ƒq`Wnttfk rœYnXt dt|ƒ|j¡dS) Nz.result handler got EOFError/OSError -- exitingz,result handler found thread._state=TERMINATEzresult handler got sentinelz&result handler ignoring extra sentinelr>z"ensuring that outqueue is not fullé z7result handler exiting: len(cache)=%s, thread._state=%s)rtrËr@r?rrAr_rrÑrÒr r<r™r>Úpollr)rFr;rÌrÎrJrKrLÚobjrrrr:s\ ÿzPool._handle_resultsccs0t|ƒ}tt ||¡ƒ}|s dS||fVqdSr)rÐÚtuplerÚislice)rMÚitÚsizer±rrrr¹vs zPool._get_taskscCstdƒ‚dS)Nz:pool objects cannot be passed between processes or pickled)ÚNotImplementedErrorrrrrr+sÿzPool.__reduce__cCs2t d¡|jtkr.t|_t|j_|j d¡dS)Nzclosing pool)rrAr_rrryrer:rrrrr=„s z Pool.closecCst d¡t|_| ¡dS)Nzterminating pool)rrAr r_rƒrrrrrr‹s zPool.terminatecCsjt d¡|jtkrtdƒ‚n|jttfkr4tdƒ‚|j ¡|j ¡|j ¡|jD]}| ¡qXdS)Nzjoining poolzPool is still runningzIn unknown state)rrAr_rrlrr ryr(r~rr^)rr‡rrrr(s z Pool.joincCs@t d¡|j ¡| ¡r<|j ¡r<|j ¡t d¡qdS)Nz7removing tasks from inqueue until task handler finishedr) rrAZ_rlockÚacquireÚis_aliver>rÕr£ÚtimeÚsleep)rEÚtask_handlerrÚrrrÚ_help_stuff_finishœs zPool._help_stuff_finishc CsXt d¡t|_| d¡t|_t d¡| ||t|ƒ¡| ¡sXt| ƒdkrXtdƒ‚t|_| d¡| d¡t d¡t ¡|k r| ¡|rÈt|ddƒrÈt d¡|D]} | j dkr°| ¡q°t d¡t ¡|k ræ| ¡t d ¡t ¡|k r| ¡|rTt|ddƒrTt d ¡|D](} | ¡r*t d| j¡| ¡q*dS)Nzfinalizing poolz&helping task handler/workers to finishrz.Cannot have cache with result_hander not alivezjoining worker handlerrrzterminating workerszjoining task handlerzjoining result handlerzjoining pool workersr—)rrAr r_r:rárrÝr8rtrËr(r<rqrrÚpid)r‘rÍrErFršrÉZworker_handlerràZresult_handlerrÌr‡rrrr‚¥sB ÿ zPool._terminate_poolcCs| ¡|Sr)r¤rrrrÚ __enter__ÛszPool.__enter__cCs| ¡dSr)rr)rÚexc_typeZexc_valZexc_tbrrrÚ__exit__ßsz Pool.__exit__)NNrNN)N)N)NNN)r)r)NNN)NNN)N),r r!r"rxÚstaticmethodrYrÚwarningsÚwarnrrŒr3rsr–r›rprœr¡rar¤r¦rrr®r²r¼r¾r¥rÁr§rÊÚclassmethodrur|rr¹r+r=rrr(rár‚rãrårrrrrsv ÿ P ÿ ÿ ÿ ÿ - ; 5c@s@eZdZdd„Zdd„Zdd„Zddd „Zdd d„Zdd „ZdS)rÀcCs>||_t ¡|_ttƒ|_|j|_||_||_ ||j|j<dSr) r^rtZEventÚ_eventÚnextÚjob_counterr·rfÚ _callbackÚ_error_callback)rršr¬rrrrrès zApplyResult.__init__cCs |j ¡Sr)rêZis_setrrrrÚreadyñszApplyResult.readycCs| ¡std |¡ƒ‚|jS)Nz{0!r} not ready)rïrlr9Ú_successrrrrÚ successfulôszApplyResult.successfulNcCs|j |¡dSr)rêr ©rrÇrrrr ùszApplyResult.waitcCs,| |¡| ¡st‚|jr"|jS|j‚dSr)r rïrrðÚ_valueròrrrr;üs zApplyResult.getcCsZ|\|_|_|jr$|jr$| |j¡|jr<|js<| |j¡|j ¡|j|j=d|_dSr) rðrórírîrêÚsetrfr·r^©rrLrÖrrrrÑs zApplyResult._set)N)N) r r!r"rrïrñr r;rÑrrrrrÀæs rÀc@seZdZdd„Zdd„ZdS)rÆcCshtj||||dd|_dg||_||_|dkrNd|_|j ¡|j|j =n||t ||ƒ|_dS)NrÄTr)rÀrrðróÚ _chunksizeÚ_number_leftrêrôrfr·Úbool)rršrªÚlengthr¬rrrrrs ÿ zMapResult.__init__cCsÆ|jd8_|\}}|rv|jrv||j||j|d|j…<|jdkrÂ|jrZ| |j¡|j|j=|j ¡d|_ nL|sŒ|jrŒd|_||_|jdkrÂ|j r¨| |j¡|j|j=|j ¡d|_ dS)NrrF)r÷rðrórörírfr·rêrôr^rî)rrLZsuccess_resultÚsuccessrOrrrrÑ$s& zMapResult._setN)r r!r"rrÑrrrrrÆs rÆc@s:eZdZdd„Zdd„Zddd„ZeZdd „Zd d„ZdS) r¶cCsT||_t t ¡¡|_ttƒ|_|j|_t ¡|_d|_d|_ i|_||j|j<dSr¿)r^rtZ ConditionZLockÚ_condrërìr·rfÚcollectionsÚdequeÚ_itemsÚ_indexÚ_lengthÚ _unsorted)rršrrrrBs zIMapIterator.__init__cCs|SrrrrrrÚ__iter__MszIMapIterator.__iter__NcCs´|jz|j ¡}Wnztk r|j|jkr>d|_td‚|j |¡z|j ¡}Wn2tk rŠ|j|jkr€d|_td‚t d‚YnXYnXW5QRX|\}}|r¬|S|‚dSr) rûrþÚpopleftÚ IndexErrorrÿrr^Ú StopIterationr r)rrÇrWrúr/rrrrëPs&zIMapIterator.nextc Cs¢|j’|j|krn|j |¡|jd7_|j|jkrb|j |j¡}|j |¡|jd7_q,|j ¡n ||j|<|j|jkr”|j|j =d|_ W5QRXdS©Nr)rûrÿrþrŸrÚpopÚnotifyrrfr·r^rõrrrrÑhs zIMapIterator._setc CsB|j2||_|j|jkr4|j ¡|j|j=d|_W5QRXdSr)rûrrÿrrfr·r^)rrùrrrr¸ys zIMapIterator._set_length)N) r r!r"rrrëÚ__next__rÑr¸rrrrr¶@s r¶c@seZdZdd„ZdS)r½c CsV|jF|j |¡|jd7_|j ¡|j|jkrH|j|j=d|_W5QRXdSr) rûrþrŸrÿrrrfr·r^rõrrrrÑ‡s zIMapUnorderedIterator._setN)r r!r"rÑrrrrr½…sr½c@sVeZdZdZedd„ƒZddd„Zdd „Zd d„Zedd „ƒZ edd„ƒZ dd„ZdS)rFcOsddlm}|||ŽS)NrrX)ZdummyrY)rZrrNrYrrrrY—szThreadPool.ProcessNrcCst ||||¡dSr)rr)rr„rGrHrrrrœszThreadPool.__init__cCs,t ¡|_t ¡|_|jj|_|jj|_dSr)rbrcrvrwr:r}r;r€rrrrraŸs zThreadPool._setup_queuescCs |jjgSr)rer>rrrrrs¥szThreadPool._get_sentinelscCsgSrrr•rrrr–¨sz ThreadPool._get_worker_sentinelscCsFz|jddqWntjk r(YnXt|ƒD]}| d¡q2dS)NF)Úblock)r;rbrr™r:)rEràrÚrLrrrrá¬szThreadPool._help_stuff_finishcCst |¡dSr)rÞrß)rrˆrÉrÇrrrrÊ·szThreadPool._wait_for_updates)NNr)r r!r"rxrærYrrarsr–rárÊrrrrr”s )NrNF))Ú__all__rürrjrbrtrÞr%rçrr$rrrZ connectionr r rrr ÚcountrìrrrBrr#r*r-rRrCÚdictrSÚobjectrrÀZAsyncResultrÆr¶r½rrrrrÚ sN ÿ -=)+E