Os gigantescos volumes de dados gerados atualmente estão abrindo novos caminhos para muitos negócios neste exato momento, o que tem criado a necessidade de uma nova classe de profissional: o Gerente de Projetos Big Data. A Administração de Big Data exige do GP novas habilidades, refrescar outras e aprender como se adaptar às necessidades dos projetos de Data Science.
Quer se tornar um Gerente de Projetos de Big Data? No artigo, vamos apresentar as principais características, habilidades e experiências essenciais para ser um profissional de sucesso nesta área que está revolucionando o mercado e os passos necessários indicando como gerenciar um projeto do tipo Big Data Analytics.
Conteúdo do artigo
Neste artigo você verá:
- Gerente de Projetos Big Data
- Gestão de equipes multidisciplinares;
- Visão de negócio;
- Conhecimento técnico: CRISP-DM;
- Metodologia ágil;
- Storytelling.
- Treinamento e desenvolvimento profissional
- Como gerenciar um projeto Big Data
- Definição do Business Case;
- Planejamento do projeto;
- Definição dos requisitos técnicos;
- Análises personlaizadas;
- Criação de um Total Business Value Assessment;
- Time-to-Business value
- Facilidade de uso;
- Escalabilidade;
- Baseado em padrões;
- Maturidade da empresa.
Administração de Projetos Big Data
Gerente de projetos Big Data é um profissional multidisciplinar. Você não precisa, necessariamente, ter sido criado na Tecnologia da Informação para se tornar um profissional da área, mas a maioria das vagas disponíveis exigem uma graduação em alguma engenharia ou qualquer área relacionada a ciência.
A Administração de Projetos Big Data exige um constante processo de aprendizagem. Big Data é um conceito ainda novo e que está sendo desenvolvido e adaptado às necessidades da indústria e do comércio a todo momento.
Por isso, é necessário investir em cursos específicos e em capacitação contínua, a fim de estar sempre atualizado com as exigências do mercado.
https://www.youtube.com/watch?v=qN_-sltGFOw
Treinamento e desenvolvimento profissional
É importante para o Gerente de Projetos Big Data graduar-se e continuar buscando cursos de capacitação sobre Big Data pode não ser suficiente para acompanhar a demanda do mercado.
Por isso Gerentes de Projetos com um histórico de treinamentos possuem maiores chances de assumir um papel principal em implantar programas de desenvolvimento de Big Data em suas empresas.
Além disso, a administração de projetos Big Data exige também administração de educação contínua do seu time de profissionais em Big Data para garantir que todos tenham os conhecimentos necessários para seguir com os trabalhos.
Por isso, ser um bom líder e educador é essencial!
Habilidades e experiências necessárias
Ser um Gerente de Projetos Big Data eficiente significa muito mais do que possuir alguns certificados. É essencial desenvolver certas habilidades e experiências que irão te destacar dentre a concorrência.
Separamos cinco que consideramos essenciais:
1. Gestão de equipes multidisciplinares
O time de Big Data pode não ser exatamente como uma equipe do projeto tradicional de desenvolvimento de software ou de engenharia. Projetos de Big Data podem juntar talentos de várias áreas, como operações, administração, marketing, entre outros.
O objetivo de toda a equipe é fazer com que os dados tenham sentido, e por isso a necessidade de conhecimentos multidisciplinares. E você, como Gerente, deverá saber liderar um grupo diversificado de profissionais para fazer isso acontecer.
2. Visão de negócio
Com todo o potencial de mudanças e novos negócios que Big Data traz, você precisá de habilidades de marketing, vendas e visão de negócios para competir às vagas de Gerente de Projetos Big Data.
É fácil se perder na parte da análise dos dados, mas um Gerente de Projetos Big Data que tenha um papel na linha de frente com o cliente final precisará ajudar a fazer propostas, apresentações executivas, briefings e principalmente enxergar maneiras de transformar os processos de data mining em vantagem competitiva e rentabilidade para os clientes.
Somado a isso, o time de Big Data ainda precisa saber vender seus projetos internamente e justificar para a empresa o investimento que está sendo realizado e o que a organização poderá ganhar com ele.
3. Conhecimento técnico: CRISP-DM
Para entender um pouco mais porque dominá-lo é essencial para quem quer ocupar uma posição de Gerente de Projetos Big Data acesse o artigo: CRISP-DM.
Aqui o diferencial está em dominar uma metodologia própria para ocasiões que envolvam data mining.
Isso ajuda a estar sempre na ponta dos processos de mineração de dados desenvolvidos por sua equipe para torná-los o mais assertivos, eficientes e inteligentes possível, principalmente nas complicadas etapas de experimentação de hipóteses.
4. Metodologia Agile
A rapidez e flexibilidade proporcionadas pela metodologia ágil e o framework Scrum são essenciais para o desenvolvimento contínuo, bem como as etapas de (re)desenho do projeto após a fase de testes do item anterior que trabalhos de Big Data exigem.
Trabalhando com projetos tão complexos e com grandes possibilidades de mudança, a capacidade de se organizar e mudar de planos rapidamente é requisito de todo bom Gerente de Projetos Big Data.
5. Storytelling
Um bom projeto de Big Data – e, consequentemente um bom Gerente de Projetos Big Data – vai além da análise bruta dos dados. É preciso traduzir os dados analisados e seus resultados, torná-los inteligíveis e facilmente aplicáveis às demandas das organizações. Como fazer isso? Storytelling!
Encabeçando um time de data engineers e data scientists, é importante que o gerente de projetos big data saiba usar Big Data para construir narrativas poderosas e cheias de insights para sua equipe do projeto e para seus clientes (internos ou externos).
Para se tornar esse profissional e liderar um time capaz de processar, analisar e perceber informações estratégicas a partir da análise de grandes volumes de dados, você deverá manter em dia seus conhecimentos específicos de Big Data e desenvolver as habilidades e competências que abordamos aqui, essenciais para o seu futuro.
Porém, não se atenha às características e qualificações que listamos acima. Quanto mais diverso o seu background, mais rica será sua experiência!
Como gerenciar um projeto Big Data
Embora a forma como você gerencia o seu projeto de Big Data irá variar dependendo do caso de uso específico e perfil da empresa, existem 4 etapas principais para implementar com sucesso um projeto de Big Data:
- Definição do Business Case;
- Planejamento do Projeto;
- Definição dos Requisitos Técnicos;
- Criação de um Total Business Value Assessment.
Vamos discutir em detalhes cada uma destas etapas mas é importante reforçar que um projeto de Big Data Analytics deve ser uma decisão de negócio, não uma decisão do departamento de TI, cujo papel deve ser o suporte para que a solução seja implementada de maneira eficiente, profissional e com baixo custo.
1. Definição do Business Case
À medida que as empresas exploram Big Data, os requisitos de negócios variam amplamente do crescimento da receita para a diferenciação do mercado.
As empresas percebem os benefícios mais significativos dos projetos de Big Data quando começam com um inventário de desafios e metas de negócio e rapidamente os reduzem para aqueles que esperam fornecer o maior retorno.
Para explorar as expectativas da organização em projetos de Big Data, recomendamos responder estas perguntas primeiro:
- Qual é o objetivo do projeto?
- Em que direção o negócio está indo?
- Quais são os obstáculos para chegar lá?
- Quem são os principais interessados e quais são seus papéis?
- Qual é o caso de uso de Big Data mais importante determinado pelas principais partes interessadas?
Essas questões compõem uma boa base para o seu projeto. Quanto mais específicas e conectadas aos seus objetivos de negócio forem suas respostas, maior a chance do projeto ter sucesso.
Mais detalhes do que fazer
- Determine os objetivos de alto nível da empresa e como Big Data pode suportar esses objetivos;
- Identifique a área problemática, como marketing, atendimento ao cliente ou desenvolvimento de negócios, e as motivações por trás do projeto;
- Descreva o problema e os obstáculos em termos não-técnicos;
- Faça um inventário de quaisquer soluções e ferramentas usadas atualmente para solucionar o problema comercial;
- Considere as vantagens e desvantagens das soluções atuais;
- Navegue no processo para iniciar novos projetos e implementar soluções;
- Identifique as partes interessadas que se beneficiarão do projeto de Big Data;
- Entreviste as partes interessadas individualmente para determinar os objetivos e preocupações do projeto;
- Documente os objetivos comerciais decididos pelos principais tomadores de decisão;
- Atribua prioridades aos objetivos de negócio;
- Crie o Business Case, detalhando todos os itens anteriores.
Sim, essa etapa vai dar bastante trabalho. Você não esperava que fosse fácil, não é? Aliás, fuja de promessas de soluções fáceis ou mágicas.
Para o sucesso de um projeto de Big Data, o valor para o negócio deve estar claro e o comprometimento da alta gestão e das partes interessadas é fundamental.
2. Planejamento do Projeto
É aqui que as coisas se tornam específicas. Como resultado de suas pesquisas e reuniões, você provavelmente terá um objetivo nebuloso, como reduzir o churn do cliente. Esta etapa pretende construir um objetivo concreto e específico acordado pelas partes interessadas do projeto.
É nesta etapa que você deve:
- Especificar metas esperadas em termos comerciais mensuráveis;
- Identificar todas as questões comerciais com a maior precisão possível;
- Determinar quaisquer outros requisitos de negócio quantificáveis;
- Definir como seria uma implementação bem sucedida de Big Data.
O objetivo agora pode ser claro, mas como você saberá se conseguiu alcançá-lo? É importante definir o sucesso comercial do seu projeto de Big Data antes de prosseguir, definindo critérios de sucesso e objetivos específicos.
E ao determinar os critérios de sucesso, é importante escolher critérios mensuráveis, como uma métrica de desempenho chave específica. As tarefas seguintes são considerações que você pode usar para garantir que você tenha capturado corretamente os critérios de sucesso:
- Com a maior precisão possível, documente os critérios de sucesso para este projeto;
- Certifique-se de que cada objetivo comercial identificado tenha um critério mensurável que determinará se esse objetivo foi cumprido com sucesso;
- Compartilhe e obtenha aprovação de seus critérios de sucesso entre os principais interessados;
- Determine o escopo adequado, especificamente o que está incluído e o que não está incluído;
- Desenvolva um orçamento aproximado;
- Defina uma linha de tempo e marcos de sucesso em 3 meses, 6 meses e um ano.
É essencial evitar armadilhas comuns, como escopo mal definido, metas pouco claras, gerenciamento de projetos passivo ou inexistente, má comunicação, começar muito pequeno, etc.
De longe, a maior razão pela qual esses projetos falham é um escopo impreciso. Sem ter um critério de sucesso firme, os projetos continuam a expandir sem cronogramas realinhados, não conseguindo demonstrar retorno positivo no investimento, ou no pior caso – não conseguindo atingir os objetivos de fornecer valor comercial.
Outro ponto fundamental é a cooperação entre os departamentos. Por natureza, Big Data não vai ajudar apenas um dos interessados.
Muitas vezes, um projeto como esse é algo que melhora o desempenho para muitas partes diferentes como a sua equipe de TI, seus desenvolvedores de aplicativos, seus Cientistas de Dados e analistas e pessoas em toda a organização, desde a linha de gerentes de negócios até executivos.
3. Definição dos requisitos técnicos
A fase de requisitos técnicos envolve uma análise mais detalhada dos dados disponíveis para o seu projeto de Big Data.
Esta etapa permitirá que você determine a qualidade de seus dados e descreva os resultados dessas etapas na documentação do projeto.
É importante entender quais ferramentas são usadas e a arquitetura em que são usadas, como se encontra sua infraestrutura atual e o inventário de todas as ferramentas usadas atualmente.
Isso é importante pois o projeto de Big Data não será algo isolado, mas sim integrado à infraestrutura atual da empresa.
Considere quais fontes de dados você vai aproveitar:
Fontes de dados existentes
Isso inclui uma grande variedade de dados, como dados transacionais, dados de pesquisa, logs de servidores, dados de redes sociais, arquivos pdf, etc.
Considere se suas fontes de dados existentes são suficientes para atender às suas necessidades;
Compra de fontes de dados
Sua organização usa dados suplementares, como dados demográficos? Isso poderia ser relevante para o processo de análise e complementar os dados existentes.
A aquisição de fontes de dados confiáveis pode trazer benefícios para o resultado final do projeto;
Fontes de dados adicionais
Se as fontes acima não atendem às suas necessidades, talvez seja necessário realizar pesquisas ou iniciar o rastreamento adicional para complementar os dados existentes.
Ao examinar suas fontes de dados, pergunte:
- Quais atributos do (s) banco (s) de dados parecem mais promissores
- Quais atributos parecem irrelevantes e podem ser excluídos?
- Há dados suficientes para tirar conclusões generalizáveis ou fazer previsões precisas?
- Existem muitos atributos para o seu método analítico escolhido?
- Você está mesclando várias fontes de dados? Em caso afirmativo, existem áreas que podem representar um problema na fusão?
- Já considerou como os valores em falta (missing data) são tratados em cada uma das suas fontes de dados?
- Você vai usar Streaming de Dados? Como esses dados serão coletados e armazenados?
Há muitas maneiras de descrever os dados, mas a maioria das descrições se concentra na quantidade e qualidade dos dados. Abaixo são apresentadas algumas características-chave para descrever os dados:
Volume de dados
. Para a maioria das técnicas analíticas, existem trade-offs associados ao tamanho dos dados. Grandes conjuntos de dados podem produzir modelos mais precisos, mas também podem aumentar o tempo de processamento;
Velocidade dos dados
Há também trade-offs associados com os dados em repouso ou em movimento (estático ou em tempo real). A velocidade se traduz em quão rápido os dados são criados dentro de um determinado período de tempo;
Variedade de dados
Os dados podem ter uma variedade de formatos, como numérico, categórico (string) ou Booleano (verdadeiro / falso). Prestar atenção ao tipo de dado pode evitar problemas durante análises posteriores.
Frequentemente, os valores no banco de dados são representações de características como gênero ou tipo de produto.
Por exemplo, um conjunto de dados pode usar M e F para representar masculino e feminino, enquanto outro pode usar os valores numéricos 1 e 2. Observe qualquer esquema conflitante nos dados;
Tempo para a ação
Os dados podem ser usados para tomar medidas imediatas, além de serem armazenados para futuras análises sem tempo crítico.
É importante identificar quais dados provavelmente serão usados para ações em tempo real (<150ms), ações próximas em tempo real (segundos) ou ações críticas sem tempo (minutos a horas).
Considere quais interfaces e ferramentas são necessárias para que sua empresa trabalhe com suas fontes de dados.
4. Análises personalizadas
Além da implementação da infraestrutura, seu projeto de Big Data deve oferecer a capacidade de criar aplicativos e análises personalizadas usando API e ferramentas nativas como parte do Hadoop, bancos de dados e processamento de fluxo – além de interfaces abstraídas e unificadas para melhorar a experiência do usuário.
Os usuários devem ter a capacidade de produzir tabelas, gráficos e outros elementos de visualização usando ferramentas de BI, como:
- Business Objects;
- Microstrategy;
- Cognos;
- Tableau;
- Datameer;
- Outras ferramentas similares.
Tais análises visuais podem ajudar a abordar os objetivos do projeto de Big Data definidos durante a fase de compreensão do negócio.
Outras vezes, é mais apropriado utilizar ferramentas que suportem análises estatísticas e construção de modelos de Machine Learning, tais como R, Python, Java, Scala, SAS, Matlab, etc. E claro, ainda oferecer suporte a aplicações de Inteligência Artificial.
Isso tudo nos leva a mais um grupo de questões que devem ser respondidas:
- Quem precisa trabalhar com os dados?
- Quais são suas habilidades técnicas?
- Treinamento será necessário?
- Quais ferramentas você atualmente possui em sua empresa que você gostaria de aproveitar?
- Essas ferramentas possuem conectores de Big Data ou métodos de interface?
- Quais novas ferramentas podem ajudar com sua mineração de dados, análise, visualização, relatórios, etc.?
- Como e onde os dados serão armazenados?
- Serão utilizados Data Lakes? Em nuvem ou on-premise?
- Arquiteturas de Enterprise Data Hubs serão consideradas?
- Quais são as ferramentas de relatórios e visualização necessárias para alcançar o sucesso aos olhos dos usuários finais?
5. Criação de um Total Business Value Assessment
Avalie suas opções com um “Total Business Value Assessment”.
Isso significa que você realiza pelo menos uma análise de custo total de propriedade de 3 anos, mas você também inclui itens como o “time-to-business value”, facilidade de uso, escalabilidade, base em padrões e o nível de maturidade da empresa.
No entanto, antes de começar a avaliar as opções da sua solução, é importante conhecer sua “equipe de compras”. As equipes de compras geralmente consistem em partes interessadas de múltiplos níveis organizacionais e às vezes divisões múltiplas fora da TI.
No mínimo, deve haver um patrocinador executivo, líder do projeto ou líder da equipe do projeto, tomador de decisões técnicas e um decisor econômico.
Todo o seu time de compras precisa estar envolvido na avaliação das opções. As opções começam com quem você está confiando para implementar seu projeto:
Fazer você mesmo com recursos internos e / ou buscar fornecedores de software, trabalhar com integradores de sistemas, implantar com provedores de serviços na nuvem ou usar empresas de consultoria de Big Data.
Recomendamos procurar cada opção de implementação e pesá-las em relação às suas prioridades comerciais específicas. Mas não se esqueça de incluir: Time-to-Business Value, Facilidade de Uso, Escalabilidade, Baseado em Padrões e Maturidade da Empresa.
Ao avaliar soluções, documente como cada uma executa essas e outras dimensões importantes.
Time-to-Business Value
Como os projetos exigem um investimento inicial significativo, é importante entender quanto tempo antes que a solução comece a gerar valor.
Como muitos desses projetos podem ampliar demais os prazos acordados pelo fornecedor, é recomendável solicitar informações sobre projetos de escopo semelhantes que já foram concluídos para outros clientes a fim de determinar melhor se o fornecedor entrega os marcos estabelecidos.
Qual é o valor do time-to-business?
Facilidade de uso
Ao considerar as novas soluções de Big Data, é imperativo considerar como a solução afetará sua necessidade de aumentar os recursos internos para implementação e manutenção contínua.
Especificamente, novos recursos, como Cientistas de Dados e Engenheiros de Dados, podem ser necessários para gerenciar um projeto internamente. Além disso, serão necessários recursos de TI corporativos para manter o projeto uma vez implementado.
A facilidade de uso também se traduz em facilidade de integração dentro de sua infraestrutura técnica interna. Isso pode ter um grande impacto no valor do tempo para o negócio.
Escalabilidade
As soluções ideais se expandirão com as necessidades de negócio em constante evolução. Enquanto um caso de uso pode ser o driver inicial, a solução ideal irá suportar casos de uso futuros.
Além disso, considere os custos associados à escala.
Algumas soluções oferecem capacidade inicial a baixo custo, mas o custo aumenta rapidamente à medida que a expansão ocorre.
Baseado em padrões
No mundo de hoje, as tecnologias populares vão e vem.
Considere se suas soluções propostas utilizam tecnologias baseadas em padrões abertos e melhores em sua classe para impulsionar inovação e receita para as necessidades da empresa.
Além disso, explore os riscos associados com a capacidade de adaptar a sua solução e sua capacidade de agir rapidamente quando precisar fazê-lo.
Maturidade da empresa
Um aspecto importante da seleção é se a solução pode operar dentro de uma configuração corporativa.
As soluções ideais possuem alta disponibilidade e recuperação de desastres. Além disso, elas irão apoiar as suas necessidades de segurança e conformidade de negócios e atender seus SLAs definidos atualmente.
Para entender melhor como as soluções funcionam em um ambiente empresarial, entre em contato com as referências dos clientes empresariais do provedor de soluções.
Vídeo aula
https://www.youtube.com/watch?v=YqIQnCWN8zM
Referência
