Building a science-infused, digitally-enabled power company to create a cleaner, better world.
Software Engineer – Data Engineering, Staff/Sr Staff
Location
California + 1 moreAll locations: California | New York
Posted
66 days ago
Salary
0
Seniority
Senior
Job Description
Software Engineer – Data Engineering, Staff/Sr Staff
Equilibrium Energy
• Design and implement the long-term data architecture using modern technologies and frameworks. • Build and maintain scalable ETL/ELT pipelines in Python, SQL, and dbt—ingesting data via APIs, web scraping, and streaming sources. • Develop and operate data pipelines using orchestration frameworks such as Temporal and Dagster. • Design data models and schemas for our cloud warehouse (Databricks) and relational databases; contribute to the development of our ML feature store. • Optimize workflows for performance and cost efficiency. • Drive large, cross-functional data initiatives from planning to execution. • Partner with AI and engineering teams to ensure high-quality datasets for machine learning and analytics. • Collaborate with product managers, scientists, and engineers to gather requirements and deliver robust data products. • Mentor other engineers in best practices for data ingestion, architecture, and scalable pipeline design. • Support the software testing cycle, debug code, and resolve issues found during QA or user acceptance testing.
Job Requirements
- Bachelor’s degree in Computer Science, Data Science, Engineering, or a related technical field.
- 7+ years of progressive experience in data or software engineering.
- Advanced programming skills in Python and SQL.
- Experience building globally distributed data systems and real-time pipelines.
- Hands-on with orchestration/stream processing tools like Temporal, Dagster, Airflow, Spark, or Kafka.
- Strong knowledge of relational and NoSQL databases (e.g., Postgres, MySQL, MongoDB, ElasticSearch, Cassandra).
- Familiarity with data warehousing and cloud computing (Databricks and AWS preferred).
- Experience mentoring engineers and providing architectural direction.
- Strong analytical skills, with the ability to work with unstructured or ambiguous datasets.
- Commitment to data quality, testing, and observability.
- Experience with both OLTP and OLAP data processing systems
Benefits
- Competitive base salary and a comprehensive medical, dental, vision, and 401k package
- Opportunity to own a significant piece of the company via a meaningful equity grant
- Unlimited vacation and flexible work schedule
- Accelerated professional growth and development opportunities through direct collaboration and mentorship from leading industry expert colleagues across energy and tech
Related Guides
Related Categories
Related Job Pages
More Data Engineer Jobs
Senior Data Engineer
AlpacaDBAlpacaDB, Inc., also known as Alpaca and Alpaca Securities, is an API stock and crypto brokerage platform that enables services to embed investing and developers to build applicati
• Design and oversee key forward- and reverse-ETL patterns to deliver data to relevant stakeholders. • Develop scalable patterns in the transformation layer to ensure repeatable integrations with BI tools across various business verticals. • Expand and maintain the Alpaca Data Lakehouse architecture's constantly evolving elements. • Collaborate closely with sales, marketing, product, and operations teams to address key data flow needs. • Operate the system and manage production issues in a timely manner.
• Design, build, and maintain scalable and reliable data pipelines to support analytics, ML models, and business reporting. • Collaborate with data scientists and analysts to ensure data is available, clean, and optimized for downstream use. • Implement data quality checks, monitoring, and validation processes. • Work with cross-functional teams to design efficient ETL/ELT workflows using modern data tools. • Integrate data from multiple sources (databases, APIs, third-party tools) into centralized storage solutions (data lakes/warehouses). • Support cloud-based infrastructure for data storage and retrieval. • Monitor, troubleshoot, and optimize existing data pipelines to handle large-scale, real-time data flows. • Implement best practices for query optimization and cost-efficient data storage. • Ensure data is available and accessible for business-critical operations. • Partner with product, engineering, and business stakeholders to understand data requirements. • Document data workflows, schemas, and best practices. • Support a culture of data reliability, governance, and security.
• konsultowanie rozwiązań z klientami - zarówno obecnymi, jak i nowymi. Doradzanie w wyborze rozwiązania technicznego adekwatnego do problemu biznesowego klienta. Dążenie do wyboru rozwiązania, które jest optymalne kosztowo i odpowiada na potrzebę rozwiązującą problem klienta. • udział w spotkaniach z klientem na wczesnym etapie - pitch naszego doświadczenia, procesu, podejścia do technologii, dopytywanie, zbieranie/doszczegóławianie wymagań; • tworzenie wkładu merytorycznego do ofert - schemat proponowanej architektury, wyliczenia Total Cost of Ownership/Return of Investment/kosztów chmury za pomocą kalkulatorów dostawcy chmury; • estymowanie projektu/wyceny zaangażowania przedstawicieli DS w projekcie; • budowanie argumentów przekonujących klienta do naszego rozwiązania, pokazywanie przewag w stosunku do innego podejścia, • udział w spotkaniach prezentujących ofertę, odpowiadanie na pytania klienta, prezentowanie oferty, za którą stoi nasz fragment rozwiązania, • prace badawczo-rozwojowe w zakresie analizy funkcjonalności i przydatności nowych technologii i narzędzi w rozwiązaniach biznesowych klienta, • regularny kontakt z osobami decyzyjnymi w obszarze Data po stronie klienta (VP, IT Director), • tworzenie PoC w obszarze Data w celu zaprezentowania wyników prowadzonych prac R&D, • projektowanie i tworzenie całości platformy przetwarzania danych uwzględniając wszystkie jej części oraz powiązania z pozostałymi rozwiązaniami (przykładowo BI i ML) z uwzględnieniem ekosystemu chmurowego, • optymalizowanie całościowych rozwiązań/systemów przechowywania i analizy danych, • utrzymywanie relacji z zespołem technicznym po stronie klienta, • koordynowanie pracy inżynierów zaangażowanych w tworzenie rozwiązania, • nadzorowanie przebiegu całego projektu, od początku do końca, • zaangażowanie w rozwój linii biznesowej Data Solutions (pozyskiwanie pracowników, klientów, szkolenia, udział w konferencjach, mentoring itp.).
• Konsultowanie rozwiązań z klientami - doradzanie w wyborze rozwiązania technicznego • Udział w spotkaniach z klientem na wczesnym etapie - pitch naszego doświadczenia, procesu, podejścia do technologii • Tworzenie wkładu merytorycznego do ofert - schemat proponowanej architektury, wyliczenia Total Cost of Ownership/Return of Investment • Estymowanie projektu/wyceny zaangażowania przedstawicieli DS w projekcie • Budowanie argumentów przekonujących klienta do naszego rozwiązania • Udział w spotkaniach prezentujących ofertę, odpowiadanie na pytania klienta • Prace badawczo-rozwojowe w zakresie analizy funkcjonalności i przydatności nowych technologii w rozwiązaniach biznesowych klienta • Regularny kontakt z osobami decyzyjnymi w obszarze Data po stronie klienta • Tworzenie PoC w obszarze Data w celu zaprezentowania wyników prowadzonych prac R&D • Projektowanie i tworzenie całości platformy przetwarzania danych • Utrzymywanie relacji z zespołem technicznym po stronie klienta • Koordynowanie pracy inżynierów zaangażowanych w tworzenie rozwiązania • Nadzorowanie przebiegu całego projektu • Zaangażowanie w rozwój linii biznesowej Data Solutions.



