{"id":3719,"date":"2022-05-31T22:26:15","date_gmt":"2022-06-01T01:26:15","guid":{"rendered":"https:\/\/nearjob.com.br\/?p=3719"},"modified":"2022-05-31T22:26:18","modified_gmt":"2022-06-01T01:26:18","slug":"entrevista-como-funciona-a-equipe-do-datalabs-da-arkea%ef%bf%bc%ef%bf%bc","status":"publish","type":"post","link":"https:\/\/nearjob.com.br\/en\/entrevista-como-funciona-a-equipe-do-datalabs-da-arkea%ef%bf%bc%ef%bf%bc\/","title":{"rendered":"Entrevista: como funciona a equipe do Datalabs da Ark\u00e9a\ufffc\ufffc"},"content":{"rendered":"

Desde 2010, o big data tem sido um pilar da transforma\u00e7\u00e3o dos neg\u00f3cios. Essa tend\u00eancia resulta, entre outras coisas, da ascens\u00e3o da computa\u00e7\u00e3o em nuvem e das tecnologias que tornam o acesso ao processamento de dados mais acess\u00edvel ao vender poder computacional para as empresas. A maturidade dos players digitais n\u00e3o \u00e9 a mesma nesse assunto: enquanto alguns est\u00e3o apenas no in\u00edcio do uso de Dados, outros j\u00e1 estabeleceram estrat\u00e9gias de longo prazo estruturando equipes dedicadas. \u00c9 o caso da Ark\u00e9a, que montou uma equipe de Datalabs composta por cerca de vinte especialistas.<\/p>\n\n\n\n

Conhecemos David Court\u00e9, engenheiro de dados, que nos explica como o Datalabs funciona e como ele trabalha com outros departamentos da Ark\u00e9a.<\/p>\n\n\n\n

Em qual equipe voc\u00ea trabalha na Ark\u00e9a?<\/h2>\n\n\n\n

Atuo no Departamento de Pesquisa (DE) \u2013 dentro da Divis\u00e3o de Inova\u00e7\u00e3o e Opera\u00e7\u00f5es \u2013 cuja miss\u00e3o \u00e9 orientar e monitorar o plano diretor de TI. Implementa in\u00fameros projetos e garante a manuten\u00e7\u00e3o corretiva e evolutiva das diversas aplica\u00e7\u00f5es do grupo Ark\u00e9a.<\/p>\n\n\n\n

Existem v\u00e1rios departamentos dentro do Departamento de Pesquisa que est\u00e3o ligados \u00e0
\u00e1reas funcionais. Atuo no departamento de Dados e Suporte, respons\u00e1vel por montar data warehouses de tomada de decis\u00e3o, operar solu\u00e7\u00f5es de relat\u00f3rios e visualiza\u00e7\u00e3o de dados, gerenciar reposit\u00f3rios… Na Datalabs trabalhamos principalmente na explora\u00e7\u00e3o de tecnologias de Big Data e algoritmos de Intelig\u00eancia Artificial. Dois tipos de perfis trabalham juntos. Alguns, como eu, v\u00eam do mundo da TI: desenvolvedores, gerentes de projeto, arquitetos… Outros s\u00e3o especialistas em matem\u00e1tica aplicada, pesquisa, estat\u00edstica e aprendizado de m\u00e1quina* (*conjunto de algoritmos de autoaprendizagem, Intelig\u00eancia Artificial subjacente): cientistas de dados , estat\u00edsticos, etc.<\/p>\n\n\n\n

Como voc\u00ea faz esses dois tipos de perfis, orientados para o desenvolvimento e matem\u00e1ticos, coexistirem dentro da equipe? Qual \u00e9 o valor agregado?<\/h2>\n\n\n\n

Acima de tudo, \u00e9 importante lembrar que o sucesso de um projeto de Dados \u00e9 baseado em um tr\u00edptico de compet\u00eancias em TI, estat\u00edstica e neg\u00f3cios. Decidimos n\u00e3o compartimentar engenheiros de dados e cientistas de dados que trabalham em projetos em estreita colabora\u00e7\u00e3o com especialistas em neg\u00f3cios (Riscos, Marketing, Finan\u00e7as, etc.).<\/p>\n\n\n\n

Durante o estudo, o Cientista de Dados analisar\u00e1 o problema a ser resolvido e pensar\u00e1 nos
dados necess\u00e1rios para realizar seu estudo. Em geral, isso come\u00e7a com a produ\u00e7\u00e3o de estat\u00edsticas descritivas que permitem ter uma vis\u00e3o global e precisa do assunto e absorver o problema empresarial. Com base nisso, o engenheiro de dados ir\u00e1 recuperar os dados necess\u00e1rios e realizar as transforma\u00e7\u00f5es para que o cientista de dados possa iniciar sua modelagem.<\/p>\n\n\n\n

No que diz respeito \u00e0 Ci\u00eancia de Dados, os volumes envolvidos s\u00e3o muitas vezes muito grandes, raz\u00e3o pela qual nesta fase s\u00e3o geralmente dados amostrados. Essa parte da
recupera\u00e7\u00e3o e transforma\u00e7\u00e3o de dados \u00e9 chamada de \u201cengenharia de recursos\u201d e representa uma parte significativa do tempo gasto em um projeto de Data Science. \u00c9 tamb\u00e9m nesta fase que abordamos, junto da profiss\u00e3o que realiza o projeto, o DPO (Data Protection Officer) para tratar das quest\u00f5es do CNIL e do RGDP.<\/p>\n\n\n\n

\u00c9 fundamental que o Engenheiro de Dados estude a industrializa\u00e7\u00e3o do c\u00f3digo desde o in\u00edcio do projeto. De fato, as restri\u00e7\u00f5es em termos de desempenho, volume, monitoramento e estabilidade na produ\u00e7\u00e3o s\u00e3o mais complexas do que na fase de estudo. A estreita colabora\u00e7\u00e3o entre o neg\u00f3cio, o Cientista de Dados e o Engenheiro de Dados \u00e9 essencial para realizar um projeto de Ci\u00eancia de Dados.<\/p>\n\n\n\n

Oferecer um \u00fanico ponto de entrada para problemas de dados facilita as coisas internamente. Se amanh\u00e3 uma subsidi\u00e1ria tiver necessidades espec\u00edficas, ela sabe que, entrando em contato conosco, ter\u00e1 tanto habilidades para extrair os dados e transform\u00e1-los, mas tamb\u00e9m pessoas que poder\u00e3o model\u00e1-los. Tamb\u00e9m oferecemos colabora\u00e7\u00f5es \u00e0 la carte, quando as outras subsidi\u00e1rias j\u00e1 possuem um cientista de dados ou um engenheiro de dados. Caso isso n\u00e3o seja de nossa compet\u00eancia, podemos direcionar as solicita\u00e7\u00f5es para outros departamentos do Departamento.<\/p>\n\n\n\n

\"diagramme-664x683.jpg\"
diagramme-664×683.jpg<\/figcaption><\/figure><\/div>\n\n\n\n

Com quais outros departamentos voc\u00ea trabalha internamente? Em que assuntos?<\/h2>\n\n\n\n

O nosso departamento tem um posicionamento muito transversal, pelo que podemos trabalhar com todos os departamentos e filiais do grupo. Oferecemos apoio em torno de dois tipos principais de projetos, nomeadamente a explora\u00e7\u00e3o de tecnologias de Big Data e Data Science, para consultoria, idea\u00e7\u00e3o, POC, design e desenvolvimento. Desde a cria\u00e7\u00e3o do servi\u00e7o, na parte de Engenharia de Dados, conseguimos apoiar subsidi\u00e1rias como a Max na implementa\u00e7\u00e3o de sua plataforma Data ou Suravenir para a otimiza\u00e7\u00e3o dos c\u00e1lculos atuariais. No que diz respeito \u00e0 IA e Data science, temos trabalhado no problema da preven\u00e7\u00e3o do sobreendividamento, dos acidentes inform\u00e1ticos ou da concess\u00e3o de cr\u00e9dito.<\/p>\n\n\n\n

Quais desafios relacionados a dados uma grande empresa banc\u00e1ria como a Ark\u00e9a enfrenta?<\/h2>\n\n\n\n

Temos problemas particulares porque temos acesso a um volume muito grande de dados.\u00a0Isso pode dar novas perspectivas a problemas anteriormente gerenciados de maneira tradicional.\u00a0Por exemplo, trabalhamos no problema da preven\u00e7\u00e3o do superendividamento.\u00a0Foi feito at\u00e9 ent\u00e3o com regras bastante emp\u00edricas, com base em casos muito concretos.\u00a0Viramos o problema de cabe\u00e7a para baixo, come\u00e7ando com os pedidos de superendividamento no Banque de France.\u00a0Analisamos os dados dispon\u00edveis para detectar automaticamente comportamentos de risco mais de seis meses antes do arquivamento desses arquivos.\u00a0Temos tamb\u00e9m um papel a desempenhar na acultura\u00e7\u00e3o e transforma\u00e7\u00e3o do grupo nestes temas,\u00a0em particular atrav\u00e9s do lan\u00e7amento de um \u201cPrograma de Dados\u201d para apresentar aos colaboradores do grupo as profiss\u00f5es e projetos em torno dos Dados.\u00a0Neste contexto e para al\u00e9m destas a\u00e7\u00f5es, vamos recrutar cada vez mais especialistas em DATA nos pr\u00f3ximos 3 anos.<\/p>\n\n\n\n

Quais s\u00e3o as especificidades do seu trabalho di\u00e1rio?<\/h2>\n\n\n\n

Uma de nossas especificidades \u00e9 trabalhar diretamente com os neg\u00f3cios, como as equipes operacionais que gerenciam o superendividamento ou o compliance se tomarmos o exemplo citado acima. Isso nos permite ter uma vis\u00e3o bastante abrangente dos neg\u00f3cios do grupo, por n\u00e3o estarmos presos apenas ao papel de desenvolvedor ou gerente de projetos. Essa vis\u00e3o nos permite ter uma perspectiva interessante e diferente sobre o que \u00e9 feito e, portanto, realizar nossos projetos de forma mais eficaz.<\/p>\n\n\n\n

Com quais ferramentas e em qual ambiente tecnol\u00f3gico voc\u00ea trabalha?<\/h2>\n\n\n\n

O engenheiro de dados da Ark\u00e9a trabalha quase essencialmente em torno do
ecossistema Hadoop. \u00c9 um ambiente de Big Data no qual os dados
do SI s\u00e3o despejados. A fase de explora\u00e7\u00e3o e extra\u00e7\u00e3o de dados \u00e9 realizada
principalmente usando a linguagem PIG. Esta \u00faltima \u00e9 uma linguagem de alto n\u00edvel que
permite a intera\u00e7\u00e3o com o Hadoop com uma sintaxe bastante pr\u00f3xima da SQL. o
Sendo as funcionalidades deste \u00faltimo bastante limitadas, a linguagem Java, habitualmente utilizada nas aplica\u00e7\u00f5es web do grupo, \u00e9 utilizada para desenvolver fun\u00e7\u00f5es mais complexas, como o lan\u00e7amento de modelos de Machine Learning ou c\u00e1lculos estat\u00edsticos. Tamb\u00e9m podemos ter que trabalhar com outras linguagens como Python ou Javascript, principalmente nas fases de POC ou pr\u00e9-estudo.<\/p>\n\n\n\n

Quais s\u00e3o as principais vantagens que voc\u00ea encontra em seu trabalho na Ark\u00e9a?<\/h2>\n\n\n\n

Historicamente, a Ark\u00e9a foi uma das pioneiras do Big Data na Fran\u00e7a ao montar um cluster Hadoop em 2009. Essa plataforma permite armazenar dados de fontes heterog\u00eaneas no SI, tanto em bancos de dados abertos quanto em Mainframe.\u00a0Isso nos permite ter desenvolvedores e arquitetos experientes e um olhar muito mais especializado e cr\u00edtico sobre as tecnologias que tornam o Big Data mais acess\u00edvel, como as solu\u00e7\u00f5es em nuvem.\u00a0Atualmente utilizamos um cluster interno com 200 m\u00e1quinas, o que nos oferece garantias em termos de seguran\u00e7a em particular.\u00a0Estamos, portanto, na vanguarda dos nossos assuntos, o que permite uma real realiza\u00e7\u00e3o profissional.\u00a0De maneira mais geral, temos real liberdade t\u00e9cnica para realizar nossos projetos como desejamos.<\/p>","protected":false},"excerpt":{"rendered":"

Desde 2010, o big data tem sido um pilar da transforma\u00e7\u00e3o dos neg\u00f3cios. Essa tend\u00eancia resulta, entre outras coisas, da ascens\u00e3o da computa\u00e7\u00e3o em nuvem e das tecnologias que tornam o acesso ao processamento de dados mais acess\u00edvel ao vender poder computacional para as empresas. A maturidade dos players digitais n\u00e3o \u00e9 a mesma nesse assunto: enquanto […]<\/p>","protected":false},"author":1,"featured_media":3721,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[401,499],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/posts\/3719"}],"collection":[{"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/comments?post=3719"}],"version-history":[{"count":1,"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/posts\/3719\/revisions"}],"predecessor-version":[{"id":3722,"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/posts\/3719\/revisions\/3722"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/media\/3721"}],"wp:attachment":[{"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/media?parent=3719"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/categories?post=3719"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/nearjob.com.br\/en\/wp-json\/wp\/v2\/tags?post=3719"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}