Avant tout, ce qui existe aujourd’hui en gestion de projet en science des données comme méthodologie de gestion de projet est issu de domaines connexes à la science des données (tel que le « data mining » ou encore le développement de logiciel).

À quoi ressemble une méthodologie optimale en science des données?

S’il fallait citer trois caractéristiques que doit avoir une bonne méthodologie en science des données, ce serait :

1. Être accès sur les données;
2. Avoir des processus itératifs;
3. Être accès sur les tâches (« task-focused »).

Mais d’autres critères sont à prendre en considération, comme l’industrie ou le domaine sous-jacent (l’industrie de l’assurance, le monde de l’ingénierie, l’industrie du jeu vidéo, l’industrie bancaire, etc.). La dynamique d’équipe est tout aussi importante, car une équipe de science des données qui est principalement attachée ou sous la coupole des T.I. et des équipes de développement aura tendance à se pencher vers une livraison en mode « développement de logiciel », une équipe de scientifique de données issues du monde de l’actuariat aura tendance à suivre les cadres de travail et méthodologies du monde de la statistique ou de l’actuariat et ainsi de suite.

Tout cela pour dire que le choix méthodologique dépend avant tout du contexte et de l’environnement et que celui-ci qui doit être cohérent avec l’approche sélectionnée.

Les méthodologies les plus répandues en science des données (toute industrie confondue) :

CRISP-DM:

Description :

« Cross Industry Standard Process for Data Mining » a été créé dans l’objectif de servir des projets de « data mining ». Considérée comme la plus utilisée, cette méthodologie permet de livrer des projets en mode « itératif », et cela autant que nécessaire. Divisée en 5 grandes étapes (Compréhension des besoins d’affaires, compréhension des données, préparation des données, modélisation, évaluation et déploiement).

Avantages :

• Mets l’emphase sur la compréhension des besoins d’affaires avant tout.
• Le mode itératif permet une intégration continue du projet.

Désavantages :

• La méthodologie n’est plus mise à jour par la communauté CRISP-DM.
• Les étapes de déploiement sont très peu adaptées au contexte actuel.
• Les étapes de préparation des données et de modélisation ne sont pas adaptées aux concepts de données de masses (« Big Data ») et aux concepts d’apprentissage profond (« Deep Learning »).
• N’inclus pas de dimension gestion des priorités.
• N’inclus pas de dimension travail d’équipe ou à plusieurs personnes dans le même projet.

Liens utiles :

• https://www.datasciencecentral.com/profiles/blogs/crisp-dm-a-standard-methodology-to-ensure-a-good-outcome
• http://dmg.org/

Agile Kanban:

Description :

Cette méthodologie adaptée à la science des données reprend les grandes étapes de la méthode CRISP-DM pour le transformer en flux de travail (« pipeline ») principalement accès sur la représentation visuelle du travail et la gestion des priorités bas niveau/haut niveau.

Avantages :

• Offre de la flexibilité sur le niveau de détail du flux de travail par projet. (De très granulaire à haut niveau)

• Permets une meilleure répartition des tâches par membre de l’équipe.

• Permets une meilleure gestion des priorités.

Désavantages :

• Ne permets pas de dériver facilement des processus d’itérations.

• La méthodologie ne va pas toujours prendre en considération les contraintes inhérentes au monde de la science des données.

Liens utiles :

• https://openclassrooms.com/fr/courses/4507926-initiez-vous-a-la-gestion-de-projet-agile/4517156-utilisez-la-methode-kanban
• https://towardsdatascience.com/data-science-agile-cycles-my-method-for-managing-data-science-projects-in-the-hi-tech-industry-b289e8a72818

Agile Scrum :

Description :

Cette méthodologie est axée sur la durée et l’intensité des efforts avant tout. Adaptée au monde de la science des données, elle permet un retour rapide avec des résultats « viables » et prêts pour être mis en production. Le focus est avant tout un focus produit.

Avantages :

• Les nouvelles versions de la méthode Agile Scrum incluent la formation en continu, durant le projet, afin de découvrir de nouvelles approches et techniques. Cela est adapté au monde très vaste et changeant de la science des données.

• Permets d’obtenir des premiers résultats très rapidement.

Désavantages :

• Le fardeau est avant tout mis sur le propriétaire du produit (ou product owner).

• Il faut d’avance définir la durée d’un sprint, ce qui en science des données peut être un exercice difficile.

• Généralement les sprints sont perçus comme des phases de développement intenses sans prendre le temps de mettre en perspective les besoins d’affaires définis. Cela peut entraîner le rajout d’autres sprints pour permettre de réajuster le travail en fonction des besoins redéfinis.

Liens utiles :

• https://blog.trello.com/beginners-guide-scrum-and-agile-project-management
• https://towardsdatascience.com/agiledatascience-3b7ca65278a4

Les manufacturiers logiciels et leurs méthodologies :

• Certains grands manufacturiers logiciels ont développé des méthodologies de gestion de projet, basées sur leurs années d’expertises. Certaines de ces méthodologies sont éprouvées dans le monde de la science des données.

SEMMA:

Description :

• SEMMA étant l’acronyme de « Sample, Explore, Modify, Model, and Assess » a été développé par l’institut SAS.

Avantages :

• Est axée sur la suite de produits SAS Enterprise Miner. Idéal lorsque le développement se fait sur les solutions SAS.

Liens utiles :

• http://support.sas.com/documentation/cdl/en/emcs/66392/HTML/default/viewer.htm#n0pejm83csbja4n1xueveo2uoujy.htm

IBM Cloud Garage Method :

Description :

• L’approche IBM Garage qui se focalise sur 6 grandes étapes. Issue du monde logiciel avant tout, l’approche cherche à inclure d’autres nécessités et prérequis à la fois au niveau Infrastructure et TI.  

Avantages :

• Focaliser sur les besoins d’affaires avec une approche produits grâce au concept de Design Thinking qui fait partie de la méthodologie.

• Prends en considération les besoins et enjeux TI.

Liens utiles :

• https://www.ibm.com/cloud/garage/

Microsoft TDSP :

Description :

TDSP étant l’acronyme pour « Team Data Science Process ». Microsoft a tenté de créer une approche englobante, qui permet de gérer toute sorte de projets en science des données (depuis l’analyse de données ad hoc, jusqu’au développement de solution d’apprentissage profond)

Avantages :

• Offre une forte flexibilité dans la mise en place de la méthodologie.

• Offre une gestion de cycle de vie complet. Avec à la fin de chaque cycle l’étape « customer acceptance ». Cette étape consiste à valider le post-déploiement et savoir si la solution a été adoptée par les usagers/clients.

Liens utiles :

• https://docs.microsoft.com/en-us/azure/machine-learning/team-data-science-process/overview

D’autres alternatifs ou variantes subsistes :

Le KDD : « Knowledge Discovery and Data Mining »

• https://www.kdd.org/kdd2019/

Le ASUM-DM : « Analytics Solutions Unified Method »

• ftp://ftp.software.ibm.com/software/data/sw-library/services/ASUM.pdf

Avec toutes les options possibles, que faut-il choisir?

La réponse est… ça dépend!

Il faut avant tout comprendre le contexte d’entreprise, la dynamique des équipes de science des données, le type de livrable. Ce qui est difficile est de se développer un standard de gestion de projet en science des données qui soit applicable en toutes circonstances, quelle que soit la nature du projet en science des données.

Si vous vous cherchez un cadre pour débuter vos projets en science des données. L’idéale est de commencer par des cadres standards tels que CRISP, ASUM, KDDS, TDSP pour par la suite pouvoir développer sa propre version interne basée sur l’expérience cumulée.

Pour ce qui est de la performance réelle de chaque méthodologie. Voici une étude menée par des chercheurs de l’université de Syracuse intitulée : « Comparing Data Science Project Management Methodologies via a Controlled Experiment », 2017. Cette étude m’a d’ailleurs inspiré cet article. Elle a pour objectif de comparer l’efficacité réelle de trois méthodologies en science des données auprès d’étudiants et de chercheurs.

Aussi, si vous cherchez à mieux comprendre comment débroussailler les terminologies en science des données : voici un article complémentaire https://www.datapro.quebec/intelligence-artificielle-vs-science-des-donnees/

The post Les méthodologies de gestion de projet en science des données appeared first on La science des données au Québec.

Comme pour toutes nouvelles technologies l’ayant précédé, l’intelligence artificielle (IA) ramène son lot de questionnements socio-économique. Une partie des questionnements sur l’intelligence artificielle sont reliés aux transformations et aux changements qui risquent d’affecter directement le marché du travail : « À l’avenir, est-ce que je risque de me voir remplacer par des IA dans mon travail ? », « l’IA ne risque-t-elle pas de créer plus de chômage ? », etc. Ces inquiétudes sont légitimes, mais sont-elles pour autant justifiées ?

L’objectif ici est de comprendre comment l’IA va transformer le marché du travail, et plus encore, comment cette technologie va modifier notre style de vie ainsi que la place qu’occupe le travail dans nos vies.

« Innover plus pour produire plus… et non travailler plus pour produire plus »

Tout d’abord, il faut savoir que l’Homme n’a jamais si peu travailler de toute son histoire. En, 1950, on travaillait en moyenne 2170 heures par an ou 42 heures par semaine. Alors qu’en 2014, on travaillait environ 1870 heures par an ou 36 heures par semaine en 2014. [1] (Moyenne mondiale)

Pourtant notre productivité ne cesse d’augmenter; aujourd’hui, un individu est 4.5 fois plus productif qu’en 1950, tout en sachant qu’actuellement un individu travail 15% de moins en moyenne qu’en 1950. Comment expliquer ce constat ?

Tout d’abord il faut savoir que la diminution du nombre d’heures travaillées a commencé bien avant 1950. En effet, elle s’est amorcée pendant la seconde révolution industrielle. Vers la fin du XIXème siècle, les individus travaillaient en moyenne 70 heures par semaine, puis le nombre d’heures travaillé a été divisé par deux entre 1870 et 1950. Cette période de l’Histoire a connu une forte industrialisation de l’économie avec entre autres l’apparition des machines industrielles et de l’optimisation des méthodes de travail dans les usines (montage à la chaine d’Henry Ford, etc.).

Cette réflexion nous mène à en déduire que l’apparition de nouvelles technologies et de techniques de production ont permis une augmentation de la productivité sans nécessairement avoir besoin de travailler plus.

« L’analyse scientifique »

Cela nous mène à formuler la problématique suivante :

• En considérant l’intelligence artificielle comme future technologie de production, cela nous mènera-t-il à travailler moins tout en produisant davantage ?

Ainsi l’objectif est le suivant :

• Prédire combien d’heures allons-nous travailler en 2035.

Les hypothèses émises:

• Les données historiques sur le nombre d’heures travaillées concernent 68 pays[2], nous allons travailler avec la moyenne de ces pays.
• La productivité à l’heure correspond au Produit Intérieur Brute par capita à l’heure.
• En 2035, l’intelligence artificielle contribuera a augmenté la productivité de 40% (Selon Accenture[3]).
• Sans le facteur intelligence artificielle, on suppose que la croissance de la productivité est linéaire (voir graphique ci-bas, avec la courbe identifiée « Benchmark »).
• On considère qu’aucun autre facteur n’impacte le nombre d’heure travaillé en dehors de la variation de la productivité par l’adoption technologique de l’intelligence artificielle (exclusion de facteur tel que crise sociale, récession, accroissement du chômage, forte croissance économique, autres innovations technologiques, etc.).

Le développement et les calculs :

• Développement sur R
• Les données proviennent de : https://ourworldindata.org/working-hours
• La croissance marginale de productivité induite par l’adoption de l’intelligence artificielle suit l’équation polynomiale suivante :

• Deux approches permettront de modéliser : Tout d’abord une procédure de prévision des données de séries chronologiques basées sur un modèle additif où les tendances non linéaires sont adaptées aux saisonnalités possibles. Suivi d’un simple modèle de régression linéaire permettant d’établir une relation linéaire entre X_n et Y.

Point clé :

• En 2035, nous travaillerons moins de 26h par semaine soit 10h de moins en moyenne qu’aujourd’hui. Cela fait 540 heures de moins au travail par an.
• Les ménages se retrouvent avec 540 heures de libre en plus par an par individu.

Maintenant reste à savoir comment allons nous occupé notre temps sachant que l’intelligence artificielle risque de nous permettre d’avoir plus de temps libre.

« Travailler moins pour se divertir plus »

L’histoire qui va suivre est une pure fantaisie ayant pour but de discuter des transformations qui impacteront la société avec l’avènement de l’intelligence artificielle. À NOTER QU’AUCUN DES FAITS RELATÉS N’EST RÉEL.

L’an 2035, Jean Tremblay rentre chez lui après avoir fini sa semaine de travail de 26 heures. Bien sûr, au moment où il franchit le pas de sa porte, sa maison intelligente s’est chargée de lui préparer sa petite soupe jardinière car son taux de cholestérol est plus élevé depuis quelques semaines. Son bain chaud parfumé à la lavande est déjà coulé. Tout est prêt pour lui permettre de regarder le match du Canadien de Montréal ce soir… en complète immersion grâce à la réalité virtuelle en « live ». Ce cher Jean n’a plus à se soucier de ses tâches ménagères. Sa maison est au petit soin et se charge de lui faciliter la vie. Jean travail 540 heures de moins par an par rapport à ses parents.

Mais comment fait-il pour tuer le temps et ne pas s’ennuyer ? Il se divertit encore et toujours ! Jean passe au moins quatre fois par an à voyager à l’étranger pour le plaisir, il rend visitent à ses amis et ses proches, etc. Mais là où Jean passe la majorité de son temps c’est dans le monde digital et virtuel. Entre les jeux d’immersion en réalité virtuel, les réseaux sociaux, les films etc. Jean est accro à un jeu en particulier. Ce jeu s’appelle « Oasis ». C’est un jeu social en immersion virtuel. Un pur chef d’œuvre qui est à la fois l’ancêtre de « Facebook » et de « Minecraft » (pour l’anecdote, en 2030, Facebook rachète la licence d’exploitation de différents jeux vidéo en réalité virtuel et fait migrer toute sa plateforme sociale en réalité virtuelle sous forme de jeux sociaux étaler sur une infinité de monde à découvrir par les abonnés). D’ailleurs le nom « Oasis » rappel à Jean le nom d’un jeu dans un film qu’il a beaucoup aimé quand il était plus jeune. Ce film aujourd’hui culte : « Ready Player One » de « Steven Spielberg ».

La réalité virtuelle va connaître une croissance sans équivalent grâce à l’intelligence artificielle. Si ces deux technologies ont leurs destins intimement liés, ce n’est pas parce que l’IA croisée avec la VR va permettre de créer une nouvelle forme de technologie, mais bel et bien parce que l’IA va révolutionner l’économie et la société permettant ainsi à la VR de croître exponentiellement dans une industrie du divertissement qui sera encore plus riche et prospère que n’a pu l’être l’industrie des énergies fossiles ou de l’automobile au moment de leur apogée.

« Puis Jean y travail tu comme du monde ? »

Revenant à notre cher ami Jean. C’est un homme dans la trentaine, célibataire et sans enfant. Au niveau professionnel, c’est un designer et stratège web dans une agence marketing. Grâce aux différents outils de travail à base de systèmes de raisonnements et de suggestion de contenu très robustes, Jean est très efficace dans son job. Il produit beaucoup de contenus web de qualité en peu de temps. De plus, il conseille les clients de l’agence avec plus d’efficacité que n’auraient jamais pu le faire un designer ou stratège web il y a une vingtaine d’années.

Jean pense pourtant à changer de métier. Les designers et stratèges web sont de moins en moins demandés dans le marché. Car les outils boostés sur de l’intelligence artificielle de toutes sortes sont de plus en plus performants et complets. Il envisage une reconversion professionnelle vers le monde de l’assistance aux personnes âgés. Un marché en pleine croissance et qui recrutent beaucoup.

Malgré les changements éventuels dans sa carrière, Jean reste serein et confiant car il sait que la reconversion professionnelle est monnaie courante et qu’il existe une multitude de secteurs d’activité en demande de gens qualifiés ou de gens désireux de se former. Beaucoup de ces métiers ont vu le jour grâce à l’avènement de l’intelligence artificielle. Également, malgré que Jean ne soit pas riche, il sait que c’est un privilégié. Car cette nouvelle ère n’a pas fait que des heureux. La folle croissance économique de la troisième décennie du XXIème siècle a laissé une partie de la population mondiale dans la misère. Dorénavant, la richesse des nations ne se mesure plus aux quantités de richesses physiques produites, mais se mesure par le niveau d’accès aux technologies de communication et d’automatisation de pointes.

Fort est de constater que les points clés de cette société fictive de la troisième décennie du 21^ème siècle deviendrait les suivants :

• La suppression complète des emplois à faible valeur ajoutée (surtout les emplois manuels avec beaucoup de répétions)
• Les emplois à moyennes et fortes valeurs ajoutées sont plus nombreux mais avec un nombre d’heure de travail moins élevée grâce aux technologies de support et d’automatisation.
• Le pouvoir d’achat des classes moyennes est très important grâce à la forte croissance générée par l’augmentation de la productivité. Les gens ont les moyens pour se divertir, voyager, acheter une maison, etc.
• Les écarts de richesses sont encore plus forts que jamais.
• Les heures libérées de travail grâce aux technologies d’automatisation (entre autres l’intelligence artificielle) seront consacrées en grande partie pour se divertir.
• L’industrie du divertissement est l’une des industries les plus prospères de la décennie.
• L’avènement de l’intelligence artificielle dans l’économie engendrera l’avènement des technologies de réalité virtuelle dans le monde du divertissement.

« L’éducation une question de survie ? »

Avec la suppression des emplois à faible valeur ajoutée, comment survivre au marché du travail ?

L’éducation. Pour pouvoir travailler il faut avoir une éducation qui permet d’avoir un savoir-faire à forte valeur ajouté. Donc pas d’éducation, pas de travail. Bien sûr, la forme la plus standard d’éducation avancée est l’éducation universitaire.

Fort heureusement, à l’avenir s’éduquer ne signifie pas forcément d’aller à l’école ou à l’université. L’émergence d’internet au début du XIXème siècle a permis de démocratiser le savoir. L’éducation alternative par le billet de cours en ligne, de certifications, « t’autodidactie en ligne », va permettre à beaucoup d’envisager leur reconversion professionnelle.

Notes et références :

[1] Ces statistiques sont des moyennes à l’échelle mondiale, qui exclut certaines professions (professions agricoles) https://ourworldindata.org/working-hours

[2] 68 pays utilisés pour l’analyse : Argentina, Armenia, Australia, Austria, Bangladesh, Barbados, Belgium, Brazil, Bulgaria, Cambodia, Canada, Chile, Colombia, Costa Rica, Cyprus, Czech Republic, Denmark, Ecuador, Estonia, Finland, France, Germany, Greece, Hong Kong, Hungary, Iceland, India, Indonesia, Ireland, Israel, Italy, Jamaica, Japan, Latvia, Lithuania, Luxembourg, Malaysia, Malta, Mexico, Netherlands, New Zealand, Norway, Pakistan, Peru, Philippines, Poland, Portugal, Romania, Russia, Saint Lucia, Singapore, Slovakia, Slovenia, South Africa, South Korea, Spain, Sri Lanka, Sweden, Switzerland, Taiwan, Thailand, Trinidad and Tobago, Turkey, United Kingdom, United States, Uruguay, Venezuela, Vietnam.

[3] https://www.accenture.com/ca-fr/insight-artificial-intelligence-future-growth

The post L’intelligence artificielle et marché du travail appeared first on La science des données au Québec.

La science des données est en vogue de nos jours; on en parle, on l’étudie, on la recherche. Elle est vaste et contient plusieurs spécialités, plusieurs approches et plusieurs métiers, sans compter qu’il existe un bassin important de ressources et de cours en la matière.

Mais par où commencer pour faire naître et grandir de tels projets dans une entreprise ?

Identifier le point de départ

Commencez par faire la cartographie des compétences et ressources que vous possédez à l’interne, comme les langages de programmation, les modèles statistiques et les processus que vous employez. Cela vous permettra de mieux orienter les besoins en apprentissage.

Par exemple, au niveau du langage de programmation, il faut savoir que R et Python sont certes les langages les plus populaires, mais ne sont pas les seuls qui peuvent être utilisés en science des données. Les langages de programmation ne sont que des supports pour matérialiser vos pensées et projets; la vraie valeur technique réside dans les « librairies » accessibles et supportées par le langage de programmation.

Se poser la question quelles autres compétences internes sont pertinentes ?

Aussi pour mieux naviguer dans les terminologies référez-vous à l’article : Intelligence d’affaires, Intelligence Artificielle, Analytique Avancée, Science de la donnée : Quelle différence ?

Établir la destination

La prochaine question à se poser est la suivante : quel objectif souhaitez-vous atteindre grâce à la science des données ?

La science des données peut vous permettre la modélisation prédictive pour des bases de données marketing, la création de systèmes de recommandation, le machine learning et bien plus. Identifiez le rôle et les ramifications qu’aura la science des données au sein des opérations de votre entreprise pour ensuite comprendre les outils et techniques sur lesquels miser. Autrement dit, identifiez la ligne d’arrivée afin d’établir le chemin à prendre pour s’y rendre.

Avec votre cartographie des compétences et votre cible d’intérêt en main, il vous faut maintenant les ressources nécessaires à la réussite de votre projet.

Experts en science des données, Necando offre des webinaires gratuits pour mieux comprendre le domaine et apprendre à utiliser les outils à votre disposition. Profitez-en et donnez vie à vos projets d’entreprise!

S’inscrire

The post La science des données en entreprise par où commencer ? appeared first on La science des données au Québec.

Ce qu’il faut se rappeler c’est que peu importe les terminologies utilisées, ce qui compte avant tout, c’est de garder une approche qui offre une vue complète et cohérente pour donner du sens à votre démarche afin de combler votre besoin.

L’approche la plus cohérente dans le marché pour filtrer les terminologies est de séparer le monde de l’exploitation de la donnée en deux dimensions : la dimension technique et la dimension d’affaires.

Dans la dimension technique, le terme permettant de généraliser toute la pratique est : la science des données. Le terme « science des données » qualifie toutes les techniques qui permettent de trier et d’analyser la donnée pour pouvoir en tirer une information ou une recommandation pertinente.

Les techniques qui peuvent être utilisées au niveau du tri de la donnée sont: traitement et archivage de données de masse ( e.g. écosystème Hadoop), outils de transformation de la donnée (e.g. outils ETL) etc.

Les techniques qui peuvent être utilisées au niveau de l’analyse de la donnée: l’intelligence artificielle appliquée (incluant le machine learning), la statistique avancée, la création de rapport, l’exploration de la donnée, le traitement du langage naturel (aka text mining), la recherche opérationnelle, création d’indicateur de performance (e.g. KPI), fouille de donnée (aka data mining) etc.

La dimension d’affaires, quant à elle, régit non pas les techniques utilisés mais leurs implications dans le monde de l’entreprise. Le terme permettant de généraliser la pratique et de traduire l’exploitation de la donnée dans la sphère des affaires est l’analytique d’affaires (aka « Business Analytics » ou « Data Analytics »). L’analytique d’affaires défini tout outil, système ou logiciel qui permet de supporter la prise de décision basée sur l’exploitation de la donnée. L’analytique d’affaires contient 5 niveaux primaires : descriptif, diagnostic, prédictif, prescriptif, cognitif.

Le niveau descriptif répond à la question « que s’est-il passé ? » à travers des rapports et des alertes. Une entreprise en vente de détail souhaite savoir comment évolue ses ventes va mettre en place des rapports permettant de voir l’évolution des ventes dans le temps. Et d’ajouter des alertes pour mettre au courant les responsables des ventes si un changement significatif a lieu.

Le niveau diagnostic répond à la question « pourquoi cela s’est passé ? » à travers des requêtes, de la fouille de données et de la statistique de base. L’entreprise de vente de détail ayant maintenant accès à l’évolution de ses ventes souhaite mieux comprendre les changements de ses ventes pour mieux pouvoir prendre action. Ils mettent en place des nouveaux d’indicateurs de performance tel que : la valeur d’achat moyenne, temps de conversion moyen d’un client, la valeur moyenne de fidélité d’un client etc. Ces indicateurs sont calculés grâce à des statistiques de base et de la fouille de données. Ils permettent entre autres de mieux comprendre l’évolution global des ventes et pouvoir prendre action pour améliorer les ventes.

Le niveau prédictif répond à la question « que va-t-il arriver ? » à travers des prédictions, prévision (aka « forcast ») et des simulations. Notre entreprise de vente de détail souhaite aller un peu plus loin et pouvoir mieux appréhender la demande des clients durant les différentes périodes de l’année et éviter les pénuries ou les surplus de produits. Un tel besoin nécessite l’utilisation de modèles prédictifs permettant de prédire l’évolution de la demande dans le temps en fonction de données internes (volume de clients des années passées, perspective de croissance, taux de rétention etc) et des données externes (météo, réseaux sociaux, profiles sociaux démographiques etc).

Le niveau prescriptif répond à la question « comment s’assurer que cela arrive ? », à travers de l’optimisation mathématique et de la planification. L’entreprise de vente de détail détient également un centre de distribution avec des véhicules permettant de livrer la marchandise aux clients. Ces véhicules sont nombreux et les coûts d’acheminement des marchandises sont élevés, sans oublier que les clients accusent beaucoup de retard à la livraison. Grâce au niveau prescriptif, l’entreprise va pouvoir optimiser la tourner des véhicules de livraison et pouvoir ainsi réduire les coûts d’opération et améliorer la satisfaction client.

Le niveau cognitif répond à la question « comment augmenter les facultés du système ? », à travers le raisonnement, le traitement du langage naturel, la reconnaissance visuelle etc. Pour finir notre entreprise de vente de détail souhaite améliorer l’expérience client en augmentant la capacité de communication digitale avec les clients. Grâce au niveau cognitif, l’entreprise peut mettre en place des systèmes intelligents (aka « bots ») sur sa plateforme qui communiquent 24/7 avec les clients. Ces systèmes ont la capacité d’interpréter le langage des clients et de pouvoir leur proposer des solutions pour permettre une expérience optimale sur la plateforme.

Ces cinq niveaux peuvent être regroupés dans 2 classes distincts : l’analytique traditionnelle (aka Intelligence d’affaires) pour regrouper le descriptif et le diagnostic. Et l’analytique avancée (aka Intelligence artificielle appliquée) pour regrouper le prédictif, le prescriptif et le cognitif.

La dimension d’affaires et la dimension technique ne s’opposent pas, bien au contraire elles se complètent car chaque niveau analytique repose sur une ou plusieurs expertises dans la dimension technique.

Grâce à cette structure de définition du monde de l’exploitation de la donnée, il est plus facile de mettre en place des projets en exploitation de la donnée, d’embaucher les bonnes ressources qui combleront le besoin identifié, de communiquer et vulgariser plus simplement les concepts clés en exploitation de la donnée.

Cependant, cette structure de définition n’est pas rigide et elle est ré-ajustable par tout un chacun selon ses besoins, sans oublier bien sûr de garder une approche qui offre une vue complète et cohérente pour donner du sens à votre démarche afin de combler votre besoin.

Dans cette démarche de standardisation, il existe plusieurs initiatives Québécoises permettant d’abord de regrouper les terminologies utiliser dans le monde de la donnée et de l’intelligence artificielle Datafranca

The post Intelligence d’affaires, Intelligence Artificielle, Analytique Avancée, Science de la donnée : Quelle différence ? appeared first on La science des données au Québec.

Afin d’illustrer comment les solutions libre-service en analyse de données peuvent vous permettre d’accomplir des études dignes d’un expert en science des données, nous avons créé une étude de cas en 2 parties, qui porte sur une solution déployée pour l’entreprise Prudential.

Voici la partie 2 de l’étude de cas sur comment devenir data scientist. Également nous discutons de la création et du test des modèles et présentons les résultats.

Dans la première partie de l’étude de cas, nous avons présenté le contexte d’entreprise et l’objectif de l’analyse. Nous avons également abordé les étapes 1 et 2 de la solution, ainsi que les logiciels proposés pour accomplir celles-ci. Voici la suite :

SPSS Modeler accompagne l’analyste depuis la visualisation de données jusqu’à la modélisation :

L’étape 4 de la création et du test des modèles en est une autre qui est assez fastidieuse. Les modules automatiques de SPSS Modeler peuvent toutefois venir en aide ici aussi pour sélectionner les modèles les plus précis et obtenir une analyse post-modélisation plus rapidement. Du côté de Prudential, nous utilisions le module « Auto Classifier » afin de créer et tester les modèles.

Résultat :

Le résultat de notre solution présente une précision globale de 73.84%, qui se traduit par un « Quadratic unweighted kappa » de 65.1% (index mesurant la précision des résultats par rapport aux vraies réponses).

Sachant que les données ont été extraites d’une compétion Kaggle (plateforme de compétition en science des données). 65.1% en score kappa place notre modèle basée sur l’analyse automatique dans le top 40% des résultats soumis par plus de 2619 data scientists. Et cela en seulement quelques heures de travail.

Une fois ces résultats obtenus, il faut poursuivre avec le déploiement du modèle en API pour pouvoir l’intégrer. Pour ce faire, le module Watson Machine Learning[1] permet d’encapsuler le modèle créé ainsi que le flux de préparation et de manipulation de données. Il permet aussi de partager des clés d’accès API avec les développeurs de ton équipe. Ces derniers se chargeront de l’intégration avec la plateforme client. Notez que l’API est en REST et est configurable avec n’importe quel langage de programmation. L’encapsulage se fait par un simple téléversement du flux SPSS sur l’interface du service Watson Machine Learning créé sur Bluemix. (outil de « Platform as a service » d’IBM)

Conclusion

Grâce à SPSS Modeler, nous avons pu bâtir une solution prédictive complète et déployer celle-ci en API en un temps record. Cela fait contraste avec le temps nécessaire d’un expert en science des données. En somme, pour déployer des solutions raffinées de science des données, il suffit d’être outillé correctement et de s’entourer des bons experts. Pour en savoir davantage sur les produits SPSS et sur la science des données, ou encore pour une formation avancée, contactez les experts de Necando (lien vers la page contact du site). Il nous fera plaisir de supporter votre croissance!

[1]Watson Machine Learning (aka IBM SPSS Embedded Predictive Modeling API)

Accédez à au début de l’étude de cas: Comment devenir data scientist. Pour consulter la mise en contexte et la visualisation.

The post Devenir data scientist sans doctorat c’est possible – Partie II appeared first on La science des données au Québec.

Nous avons développé une étude de cas en 2 parties (cliquez ici pour la suite), pour démontrer comment nous avons résolu un défi d’affaires pour la compagnie d’assurance-vie Prudential grâce aux solutions libre-service en analytique. Si vous souhaitez devenir data scientist voici un outil qui va vous permettre d’atteindre vos objectifs.

Le contexte

Tout d’abord, pour l’analyse des candidatures de nouveaux clients en assurance vie (et le calcul de leur prime) l’entreprise Prudential utilisait une grille d’évaluation manuelle, processus qui prenait en moyenne 30 jours. Cette longue période d’analyse mettait toutefois à risque l’acquisition de nouveaux clients. Ces derniers optaient plutôt pour d’autres compagnies d’assurance vie avec un délais de réponse plus rapide.

Le besoin

L’objectif de l’entreprise était de créer une solution prédictive leur permettant de classifier le risque que présentait chaque candidat potentiel ayant appliqué en ligne. Ainsi pouvoir réduire le processus d’analyse de 30 jours à quelques jours seulement.

La solution prédictive devait être intégrée ou connectée à la plateforme de Prudential afin de permettre aux clients qui appliquent en ligne d’obtenir directement un premier estimé de leur prime. Mais aussi d’accélérer l’accès à l’information pour les analystes de la compagnie et ainsi permettre de compléter plus rapidement la demande du potentiel client.

Le défi

L’entreprise possédait plusieurs millions de clients. Pour le projet nous avions accès à un échantillon de 59 381 clients, avec 128 caractéristiques pour chacun d’eux. (âge, antécédents médicaux, caractéristiques socio-démographiques, etc.)

Voici, à haut niveau, les étapes de la création, de la mise à l’épreuve et du déploiement de la solution prédictive qui a permis de répondre au besoin d’affaire :

• Étape1 : Analyse et exploration descriptive et visuelle des données historiques des clients
• Étape2 : Nettoyage des données
• Étape3 : Préparation des données pour bâtir un modèle avec une meilleure précision
• Étape4 : Partitionnement des données (« épreuve et test »)
• Étape5 : Création et test des modèles
• Étape6 : Déploiement du modèle sous forme d’une API
• Étape7 : Intégration de l’API dans la plateforme du client de Prudential

À la vue de ces 6 étapes, on note qu’une bonne connaissance technique est nécessaire, en plus du temps de travail, qui s’échelonne facilement sur plusieurs semaines afin de produire le modèle final le plus précis possible. En effet, pour effectuer ce travail manuellement, il faut avoir des connaissances approfondies en :

• Modélisation prédictive, pour présélectionner les modèles et techniques. (Random trees, SVM, Bayesian Network, CHAID, Neural Net, etc)
• Préparation des données, pour améliorer la précision des modèles. (exclusion des valeurs aberrantes, remplacement ou suppression des valeurs manquantes, normalisation des valeurs continues, etc.)
• Développement d’API, pour déployer et encapsuler le modèle après l’avoir validé

Aussi, pour beaucoup d’entreprises, une telle analyse peut sembler impossible à accomplir sans expert à l’interne. Ce qui malheureusement en décourage plus d’un à investir des ressources dans de telles techniques.

La solution

Sachez que vous pouvez accomplir toutes les étapes présentées ci-haut avec des connaissances de base en statistique et dans des délais plus court qu’il en prendrait à un développeur et un statisticien! Grâce à des solutions comme IBM SPSS Modeler, vous pouvez effectivement aligner toutes les étapes du projet en seulement quelques heures de travail.  D’ailleurs, Gartner a nommé l’outil « Magic Quadrant » d’IBM SPSS Modeler comme la solution pour effectuer ce travail.

Si l’on reprend le cas de Prudential, l’étape 2 de nettoyage de données avait été mise de côté car les données avaient déjà été mises au propre par l’entreprise. Il est toutefois important de souligner que, grâce aux modules de manipulations et de traitements des observations et des champs. Ainsi, il est facile de standardiser, d’anonymiser et d’uniformiser les données, en préparation aux étapes subséquentes.

Accédez à la suite de l’étude de cas: Comment devenir data scientist (lien vers la partie 2). Pour consulter la suite de la solution et voir les résultats.

Devenir data scientist chez Necando Solutions

The post Devenir data scientist sans doctorat c’est possible – Partie I appeared first on La science des données au Québec.