Sessions at Rencontres Django 2012 about Big Data on Saturday 14th April

Celery est l'outil le plus fréquemment utilisé pour mettre en place des traitements de tâches en arrière-plan avec Django. Ce lightning talk vise à faire un rapide résumé des fonctionnalités disponibles et des difficultés rencontrées lors de la mise en place.

Ce talk est principalement un retour d'expérience suite à la réalisation de showyoulike.it qui importe massivement des données en provenance de Facebook en tâche de fond.

La gestion de millions d'objets au sein d'un projet Django n'est pas forcément beaucoup plus compliquée qu'à une échelle plus réduite. Ce qui l'est plus, c'est quand ces objets sont tirés de sites distants, mis à jour plus ou moins régulièrement, et qu'il en apparaît ou disparaît en permanence.

Cette mini-conférence présentera les choix effectués pour mener à bien un tel projet : récupération des données, stockage, recherche, cache…