Afin d’illustrer comment les solutions libre-service en analyse de données peuvent vous permettre d’accomplir des études dignes d’un expert en science des données, nous avons créé une étude de cas en 2 parties, qui porte sur une solution déployée pour l’entreprise Prudential.

Voici la partie 2 de l’étude de cas sur comment devenir data scientist. Également nous discutons de la création et du test des modèles et présentons les résultats.

Dans la première partie de l’étude de cas, nous avons présenté le contexte d’entreprise et l’objectif de l’analyse. Nous avons également abordé les étapes 1 et 2 de la solution, ainsi que les logiciels proposés pour accomplir celles-ci. Voici la suite :

SPSS Modeler accompagne l’analyste depuis la visualisation de données jusqu’à la modélisation :

L’étape 4 de la création et du test des modèles en est une autre qui est assez fastidieuse. Les modules automatiques de SPSS Modeler peuvent toutefois venir en aide ici aussi pour sélectionner les modèles les plus précis et obtenir une analyse post-modélisation plus rapidement. Du côté de Prudential, nous utilisions le module « Auto Classifier » afin de créer et tester les modèles.

Résultat :

Le résultat de notre solution présente une précision globale de 73.84%, qui se traduit par un « Quadratic unweighted kappa » de 65.1% (index mesurant la précision des résultats par rapport aux vraies réponses).

Sachant que les données ont été extraites d’une compétion Kaggle (plateforme de compétition en science des données). 65.1% en score kappa place notre modèle basée sur l’analyse automatique dans le top 40% des résultats soumis par plus de 2619 data scientists. Et cela en seulement quelques heures de travail.

Une fois ces résultats obtenus, il faut poursuivre avec le déploiement du modèle en API pour pouvoir l’intégrer. Pour ce faire, le module Watson Machine Learning[1] permet d’encapsuler le modèle créé ainsi que le flux de préparation et de manipulation de données. Il permet aussi de partager des clés d’accès API avec les développeurs de ton équipe. Ces derniers se chargeront de l’intégration avec la plateforme client. Notez que l’API est en REST et est configurable avec n’importe quel langage de programmation. L’encapsulage se fait par un simple téléversement du flux SPSS sur l’interface du service Watson Machine Learning créé sur Bluemix. (outil de « Platform as a service » d’IBM)

Conclusion

Grâce à SPSS Modeler, nous avons pu bâtir une solution prédictive complète et déployer celle-ci en API en un temps record. Cela fait contraste avec le temps nécessaire d’un expert en science des données. En somme, pour déployer des solutions raffinées de science des données, il suffit d’être outillé correctement et de s’entourer des bons experts. Pour en savoir davantage sur les produits SPSS et sur la science des données, ou encore pour une formation avancée, contactez les experts de Necando (lien vers la page contact du site). Il nous fera plaisir de supporter votre croissance!

[1]Watson Machine Learning (aka IBM SPSS Embedded Predictive Modeling API)

Accédez à au début de l’étude de cas: Comment devenir data scientist. Pour consulter la mise en contexte et la visualisation.

The post Devenir data scientist sans doctorat c’est possible – Partie II appeared first on La science des données au Québec.

Nous avons développé une étude de cas en 2 parties (cliquez ici pour la suite), pour démontrer comment nous avons résolu un défi d’affaires pour la compagnie d’assurance-vie Prudential grâce aux solutions libre-service en analytique. Si vous souhaitez devenir data scientist voici un outil qui va vous permettre d’atteindre vos objectifs.

Le contexte

Tout d’abord, pour l’analyse des candidatures de nouveaux clients en assurance vie (et le calcul de leur prime) l’entreprise Prudential utilisait une grille d’évaluation manuelle, processus qui prenait en moyenne 30 jours. Cette longue période d’analyse mettait toutefois à risque l’acquisition de nouveaux clients. Ces derniers optaient plutôt pour d’autres compagnies d’assurance vie avec un délais de réponse plus rapide.

Le besoin

L’objectif de l’entreprise était de créer une solution prédictive leur permettant de classifier le risque que présentait chaque candidat potentiel ayant appliqué en ligne. Ainsi pouvoir réduire le processus d’analyse de 30 jours à quelques jours seulement.

La solution prédictive devait être intégrée ou connectée à la plateforme de Prudential afin de permettre aux clients qui appliquent en ligne d’obtenir directement un premier estimé de leur prime. Mais aussi d’accélérer l’accès à l’information pour les analystes de la compagnie et ainsi permettre de compléter plus rapidement la demande du potentiel client.

Le défi

L’entreprise possédait plusieurs millions de clients. Pour le projet nous avions accès à un échantillon de 59 381 clients, avec 128 caractéristiques pour chacun d’eux. (âge, antécédents médicaux, caractéristiques socio-démographiques, etc.)

Voici, à haut niveau, les étapes de la création, de la mise à l’épreuve et du déploiement de la solution prédictive qui a permis de répondre au besoin d’affaire :

• Étape1 : Analyse et exploration descriptive et visuelle des données historiques des clients
• Étape2 : Nettoyage des données
• Étape3 : Préparation des données pour bâtir un modèle avec une meilleure précision
• Étape4 : Partitionnement des données (« épreuve et test »)
• Étape5 : Création et test des modèles
• Étape6 : Déploiement du modèle sous forme d’une API
• Étape7 : Intégration de l’API dans la plateforme du client de Prudential

À la vue de ces 6 étapes, on note qu’une bonne connaissance technique est nécessaire, en plus du temps de travail, qui s’échelonne facilement sur plusieurs semaines afin de produire le modèle final le plus précis possible. En effet, pour effectuer ce travail manuellement, il faut avoir des connaissances approfondies en :

• Modélisation prédictive, pour présélectionner les modèles et techniques. (Random trees, SVM, Bayesian Network, CHAID, Neural Net, etc)
• Préparation des données, pour améliorer la précision des modèles. (exclusion des valeurs aberrantes, remplacement ou suppression des valeurs manquantes, normalisation des valeurs continues, etc.)
• Développement d’API, pour déployer et encapsuler le modèle après l’avoir validé

Aussi, pour beaucoup d’entreprises, une telle analyse peut sembler impossible à accomplir sans expert à l’interne. Ce qui malheureusement en décourage plus d’un à investir des ressources dans de telles techniques.

La solution

Sachez que vous pouvez accomplir toutes les étapes présentées ci-haut avec des connaissances de base en statistique et dans des délais plus court qu’il en prendrait à un développeur et un statisticien! Grâce à des solutions comme IBM SPSS Modeler, vous pouvez effectivement aligner toutes les étapes du projet en seulement quelques heures de travail.  D’ailleurs, Gartner a nommé l’outil « Magic Quadrant » d’IBM SPSS Modeler comme la solution pour effectuer ce travail.

Si l’on reprend le cas de Prudential, l’étape 2 de nettoyage de données avait été mise de côté car les données avaient déjà été mises au propre par l’entreprise. Il est toutefois important de souligner que, grâce aux modules de manipulations et de traitements des observations et des champs. Ainsi, il est facile de standardiser, d’anonymiser et d’uniformiser les données, en préparation aux étapes subséquentes.

Accédez à la suite de l’étude de cas: Comment devenir data scientist (lien vers la partie 2). Pour consulter la suite de la solution et voir les résultats.

Devenir data scientist chez Necando Solutions

The post Devenir data scientist sans doctorat c’est possible – Partie I appeared first on La science des données au Québec.