Sessions at EuroPython 2011 about Hadoop and Python

Your current filters are…

Clear

Thursday 23rd June 2011

  • Programmazione MapReduce in Python con Pydoop

    by Simone Leo

    Hadoop è la principale implementazione open source di MapReduce, il paradigma di calcolo distribuito su larga scala di Google. L'API nativa di Hadoop è in Java e le opzioni built-in per la programmazione in Python -- Streaming e Jython -- presentano diversi inconvenienti: la prima consente di accedere solo a un piccolo sottoinsieme delle funzionalità di Hadoop, mentre la seconda ha tutte le limitazioni di Jython rispetto a CPython.

    Pydoop (http://pydoop.sourceforge.net) è un'API per Hadoop che rende disponibile buona parte delle funzionalità di Hadoop al programmatore Python, consentendo lo sviluppo in CPython. I suoi moduli di base sono wrapper Boost.Python per l'interfaccia C/C++ di Hadoop.

    Il talk consiste in un tutorial su MapReduce/Hadoop e in una presentazione dell'API Pydoop, con l'obiettivo principale di avvicinare le community di Hadoop e Python. Può essere utile, anche se non strettamente necessaria, una conoscenza di base della programmazione distribuita.

    At 9:00am to 10:30am, Thursday 23rd June

    Coverage video

Friday 24th June 2011

  • Python MapReduce Programming with Pydoop

    by Simone Leo

    Hadoop is the leading open source implementation of MapReduce,
    Google's large scale distributed computing paradigm. Hadoop's native
    API is in Java, and its built-in options for Python programming --
    Streaming and Jython -- have several drawbacks: the former allows to
    access only a small subset of Hadoop's features, while the latter
    carries with it all of the limitations of Jython with respect to
    CPython.

    Pydoop (http://pydoop.sourceforge.net) is an API for Hadoop that makes
    most of its features available to Python programmers while allowing
    CPython development. Its core consists of Boost.Python wrappers for
    Hadoop's C/C++ interface.

    The talk consists of a MapReduce/Hadoop tutorial and a presentation of
    the Pydoop API, with the main goal of bridging the gap between the
    Hadoop and Python communities. A basic knowledge of distributed
    programming is helpful but not strictly required.

    At 9:00am to 10:30am, Friday 24th June

    Coverage video

Schedule incomplete?

Add a new session

Filter by Day

Filter by coverage

Filter by Topic