Mise en oeuvre d'une plateforme Hadoop pour l'analyse prédictive et temps réel des logs pour le réseau WAN de l'ANEM

Abstract

L’ANEM estl’organismeresponsableduservicepublicdel’emploienAlgérie.Sa mission estd’organiseretd’assurerlaconnaissancedelasituationetdel’évolutiondu marchénationaldel’emploietdelamaind’oeuvre,engarantissantàtoutdemandeur et àtouteentrepriseunservicederecrutementefficaceetpersonnalisé. Dans lecadredemodernisationdesservicesdel’ANEMetsuiteàsonpassagevers le digitaltrèsréussirécemment,lesdonnéesetl’informationsontdevenusaucentre stratégique delaprisededécisionsdel’organisme.Touslesdirectionsdel’ANEM, partenaires externesetpublicàlarecherched’emploisollicitentsesservicesnumériques quotidiennement. Cette situationarendulaproductiondedonnéesetdel’informationtrèsriche(Va- riété), afluxtrèsimportant(Volumétrie)avecunenécessitédedisponibilitétrèsélevée et trèsrapide(Vélocité)poursollicitercesinformationsàdesbesoinsdeconsultation et derecommandation,d’analyseetprisededécision. Faceàcenouveauchallengedes3V,leconceptdeBigDataestné,cetteapproche pourrafairecespreuvesauprofitdeleurinstitutiontouteengarantissantunretour sur investissement(ROI)trèspositifvis-à-vislesservicesoffertscontrelesressources dédiées àcettesolution. Afin deconfirmerlespreuvesdecetteapproche,l’ANEMs’estintéresséàl’aligne- mentd’unécosystèmedetypeBigDataauprofitdesdifférentespartiesprenantes(IT et métier)quiserontimpliquésàceprojet,enexploitantégalementcetécosystème pourlamiseenoeuvred’unesolutionIDSvuelavolumétrieimportantedeslogsqui sera capteretanalyserentempsréelafindeprévenircontrelesintrusionsquipeuvent survenirauseindeleurréseauWAN.***

ANEM istheorganizationresponsibleforthepublicemploymentserviceinAlgeria. Its missionistoorganizeandensuretheknowledgeofthesituationandtheevolution of thenationalmarketofemploymentandmanpower,byguaranteeingtoallapplicants and allcompaniesanefficientandpersonalizedrecruitmentservice. As partofthemodernizationofANEMservicesandfollowingitsrecentsuccessful switchtodigital,dataandinformationhavebecomeatthestrategiccenteroftheorga- nization’s decision-making.AllANEMdepartments,externalpartnersandthepublic lookingforworkuseitsdigitalservicesonadailybasis. This situationhasmadetheproductionofdataandinformationveryrich(Variety), has averylargeflow(Volumetry)withaneedforveryhighavailability(Velocity) to requestthisinformationforconsultationandrecommendationneeds,analysisand decision making. Facedwiththisnewchallengeof3V,theconceptofBigDatawasborn,thisapproach will beabletoproveitsevidencetotheprofileoftheirinstitutionwhileguaranteeinga verypositivereturnoninvestment(ROI)whencomparingtheservicesofferedagainst resources dedicatedtothissolution. In ordertoconfirmtheevidenceforthisapproach,ANEMfocusedonaligningaBig Data ecosystemtotheprofileofthevariousstakeholders(ITandbusiness)whowill beinvolvedinthisproject,whileexploitingthisecosystemfortheimplementationof an IDSsolutionforthelargevolumeoflogsthatwillbecapturedandanalyzedinreal time inordertopreventagainstintrusionsthatmayoccurwithintheirWANnetwork.