python map.pool avec 2 arguments

Bonjour, question concernan tles map, je voudrais lancer un traitement sur une liste en multicoeur, au vue des recherche que je trouve sur internet je me suis tournée sur un pool.map

cela marche tres bien… sauf que je voudrais mettre des armuements dans ma fonction appeler dans le pool

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import multiprocessing

def function1(combinaison):
    other_list=[10,11,12,13,14,15,16,17,18,19]
    return combinaison*len(other_list)

if __name__ == '__main__':


    pool = multiprocessing.Pool(4)

    data_analysis=[0,1,2,3,4,5,6,7,8,9]
    other_list=[10,11,12,13,14,15,16,17,18,19]
    result = pool.map(function1, data_analysis)
    print("result")
    print(result)

je voudrais faire un pool des élements de ma liste data_analysis, cela marche bien mais je voudrais envoyer aussi à ma fonction function1 ma liste other_list

pour l’instant je ne vois qu’une possibilité faire une liste partager en mémoire avec manager mais je trouve cette solution peut élégante, existe t’il une autre option ?

Salut,

Pourquoi ne pas utiliser Pool.apply_sync sur chaque élément de data_analysis en passant en plus other_list ?

merci, je ne conaissais pas, cela semble répondre à ma question

cependant je pense que je dois mal l’utilisé car mon programme ne m’affiche pas mes print et ma variable result n’affiche plus la liste des return.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import multiprocessing

def function1(combinaison, otherlist):
    myreturn=combinaison*len(other_list)
    print(combinaison)
    print(otherlist)
    print(myreturn)

    return myreturn

if __name__ == '__main__':


    pool = multiprocessing.Pool(4)

    data_analysis=[0,1,2,3,4,5,6,7,8,9]
    other_list=[10,11,12,13,14,15,16,17,18,19]
    #result = pool.map(function1, data_analysis)

    result = pool.apply_async(function1, (data_analysis, other_list))
    print("result")
    print(result)

sauriez vous pourquoi ?

Il faut lire la documentation au lieu d’essayer au pif, elle est bien faite, autant en profiter !

oui, je progresse. j’arrive à obtenir un résultat.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import multiprocessing

def function1(combinaison, otherlist):
    myreturn=combinaison*len(otherlist)
    print(myreturn)

    return myreturn

if __name__ == '__main__':


    pool = multiprocessing.Pool(4)

    data_analysis=[0,1,2,3,4,5,6,7,8,9]
    other_list=[10,11,12,13,14,15,16,17,18,19]
    #result = pool.map(function1, data_analysis)


    result = pool.apply_async(function1, [data_analysis,other_list])
    print(result.get())

par contre cela me retourne la multiplication de mes 2 listes, moi je voudrais multiplier 1 élément de data_analysis par other_list à la fois.

le pool.map me permettais cela sur 4 cœurs en parallèle, ici comment faire ? je ne pense pas faut faire une boucle for ?

J’ai l’impression que les problèmes se répètent.

(dans les deux cas les sujets sont mal taggés, donc plus difficile de retomber dessus, mais le sujet apparaît quand même dans la première page des résultats de recherche sur « multiprocessing »)

L’intérêt de Pool.map, c’est de boucler automatiquement, c’est tout. Dans tous les cas, le nombre d’exécution parallèles est contrôlé par le Pool, utiliser apply_async ne te fait pas perdre ça.