Accueil > Domaines de compétence : Formations Informatiques > Base de données > Outils décisionnels > BigData, Architecture et technologies

  • Durée : 2 jour(s)
  • Pré-requis :
  • PUBLIC : Chefs de projets, architectes, et toute personne souhaitant connaître les outils et solutions pour mettre en place une architecture BigData. PREREQUIS : bonne culture générale sur les systèmes d'information.

Prochaines
dates programmées

1 000 m2 de locaux
20 salles de formation

BigData, Architecture et technologies

Objectifs

Comprendre les concepts du BigData et connaître les technologies associées.

Contenu de la formation

  • 1. Introduction
    • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l'eau (nouvelles technologies et nouveaux usages).
    • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, ...
    • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
    • Définition de ETL : Extract Transform Load
    • Les acteurs aujourd'hui
  • 2. Stockage
    • Caractéristiques NoSQL :
      • Structure de données proches des utilisateurs, développeurs
      • Données structurées et non structurées, documents, images,
    • Fichiers XML, JSON, CSV, ...
    • Les différents modes et formats de stockage
    • Stockage réparti : réplication, sharping, gossip protocl, hachage,
    • Systèmes de fichiers distribués : GFS, HDFS, BigTable, ...
    • Les bases de données
    • Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB, DynamoDB...
  • 3. Indexation et recherche
    • Moteurs de recherche
    • Principe de fonctionnement
    • Méthodes d'indexation
    • Exemple de Lucene, et mise en oeuvre avec solr
    • Recherche dans les bases de volumes importants
    • Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce...
  • 4. Calcul et restitution, intégration
    • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques.
    • Les produits : langage de calculs statistiques, R Statistics Language
    • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch.
    • Zoom sur Hadoop : complémentarité de HDMS et MapReduce.
  • 5. Evolutions
    • Les offres Saas BigData, type Google BigQuery.
    • Les limites actuelles. Les avancées annoncées.

    • Pédagogie et outils

    Formateur expert du domaine, un ordinateur, un support de cours version papier ou numérique, vidéo projecteur, tableau blanc.