Bright Vision Technologies

Bright Vision Technologies is a forward-thinking software development company dedicated to building innovative solutions that help businesses automate and optimize their operations. We leverage cutting-edge technologies to create scalable, secure, and user-friendly applications.

Hadoop Big Data Developer

Location

United States

Posted

3 days ago

Salary

$100K - $150K / year

Seniority

Mid Level

Job Description

Hadoop Big Data Developer

Bright Vision Technologies

Role Description We are seeking an experienced Hadoop Big Data Developer to design, build, and operate large-scale data processing pipelines and analytics platforms on Hadoop and related big-data ecosystems. In this role you will be responsible for ingesting, transforming, and analyzing massive volumes of structured and unstructured data to support enterprise analytics, machine learning, and reporting workloads. The ideal candidate will combine deep technical expertise across the Hadoop ecosystem with strong software engineering fundamentals and a clear understanding of how to deliver reliable, performant, and cost-effective data platforms in production environments. - Design, develop, and operate end-to-end big-data pipelines on Hadoop, ingesting data from a diverse mix of relational, file-based, streaming, and API-driven sources. - Build robust ETL/ELT workflows using Apache Spark, Hive, Pig, and Sqoop, with strong attention to data quality, idempotency, error handling, and recoverability. - Develop high-throughput streaming data pipelines using Kafka, Spark Streaming, or Flink, and integrate them with downstream analytical and operational systems. - Optimize Spark and MapReduce jobs through careful tuning of partitioning, memory, serialization, and skew handling to meet demanding SLAs at minimal cost. - Design and maintain data models and storage layouts on HDFS, Hive, HBase, and modern lakehouse formats (Parquet, ORC, Delta, Iceberg, Hudi) to balance flexibility and performance. - Implement data governance, lineage, and quality controls in collaboration with data governance and security teams. - Build robust monitoring, alerting, and logging strategies for big-data pipelines, including job-level SLAs and proactive failure detection. - Partner with data scientists and analysts to deliver curated, reliable, and well-documented datasets that accelerate their work. - Automate pipeline orchestration using Airflow, Oozie, or similar workflow engines, with clean dependency management and clear ownership boundaries. - Continuously evaluate and adopt new technologies in the big-data and cloud ecosystem (EMR, Databricks, Snowflake, BigQuery) where they offer meaningful improvements. - Lead performance reviews and architecture audits of existing pipelines, proposing concrete refactoring and optimization initiatives. - Document data architectures, schemas, pipeline behaviors, and operational runbooks in a way that makes the platform supportable as the team scales. - Mentor junior engineers and contribute to the team’s engineering standards and best practices. Qualifications - Bachelor’s degree in Computer Science, Engineering, or a related technical discipline. - Five or more years of professional experience designing and operating big-data pipelines on Hadoop. - Strong hands-on expertise with Apache Spark (Scala, Python, or Java) in production environments. - Solid experience with Hive, HDFS, Sqoop, HBase, and the broader Hadoop ecosystem. - Hands-on experience with streaming data platforms such as Kafka, Spark Streaming, or Flink. - Strong SQL skills and experience working with both relational and NoSQL data stores. - Experience with workflow orchestration tools such as Airflow or Oozie. - Solid understanding of distributed systems concepts, including partitioning, replication, and fault tolerance. - Strong scripting skills in Python or Shell. - Excellent troubleshooting, debugging, and documentation skills. Preferred Qualifications - Experience operating Hadoop on cloud platforms such as AWS EMR, Azure HDInsight, or Databricks. - Familiarity with modern lakehouse formats (Delta, Iceberg, Hudi). - Exposure to data governance tooling such as Apache Atlas or Collibra. - Experience with Kubernetes-based data platforms (Spark-on-K8s, Trino). - Hands-on experience with CI/CD and infrastructure-as-code in data engineering workflows. How to Apply Would you like to know more about this opportunity? For immediate consideration, please send your resume to [email protected] or contact us at (908) 505-3899. Learn more about Bright Vision Technologies at www.bvteck.com . Equal Employment Opportunity (EEO) Statement Bright Vision Technologies (BV Teck) is committed to equal employment opportunity (EEO) for all employees and applicants without regard to race, color, religion, sex, sexual orientation, gender identity or expression, national origin, age, genetic information, disability, veteran status, or any other protected status as defined by applicable federal, state, or local laws. This commitment extends to all aspects of employment, including recruitment, hiring, training, compensation, promotion, transfer, leaves of absence, termination, layoffs, and recall. BV Teck expressly prohibits any form of workplace harassment or discrimination. Any improper interference with employees' ability to perform their job duties may result in disciplinary action up to and including termination of employment.

Related Job Pages

More Backend Engineer Jobs

Rush Street Interactive logo

Senior Server Engineer

Rush Street Interactive

BetRivers | PlaySugarHouse | RushBet

Full TimeRemoteTeam 501-1,000Since 2012H1B No Sponsor

• Lead backend development using Java (Spring Boot, Hibernate, Dropwizard) and related technologies • Design and build scalable microservices supporting high-volume, highly available digital platforms • Design, implement, and evolve RESTful APIs and service-to-service communication patterns • Design and implement event-driven architectures (Kafka, asynchronous messaging) • Design and maintain resilient integrations with internal and third-party systems (retry handling, idempotency, monitoring, operational support) • Own and evolve backend event contracts, payload schemas, and service integrations, partnering with Product, Analytics, and Data Engineering to ensure downstream systems (CRM, lifecycle, reporting, analytics) receive reliable, well-structured data • Drive API governance, service contracts, versioning strategies, and integration standards across the platform • Support BAU while identifying opportunities to reduce technical debt, simplify legacy processes, and modernize the platform through service consolidation and architectural improvements • Ensure high-performance, secure, observable, and maintainable services through best practices, automated testing, CI/CD, and production monitoring • Lead production incident investigations, root cause analysis, and implementation of long-term preventative solutions • Provide technical leadership through design reviews, pair programming, code reviews, and mentorship by contributing to hiring, onboarding, and career development of engineers

Canada
$124K - $186K / year
Full TimeRemoteTeam 51-200Since 2015H1B No Sponsor

Role Description Als Consultant bringst Du Hands-on Deine Expertise direkt im Projekt ein und haust so alle aus den Socken. Niemand ist so wie DU! - Du zauberst mit Java (17+), Spring Boot und Microservices die coolsten Anwendungen aus dem Code-Hut. - Du bist Meister des CI/CD-Universums und sorgst dafür, dass Anwendungen mit Lichtgeschwindigkeit ins Rampenlicht katapultiert werden. - Mit Docker und Kubernetes jonglierst Du virtuose Containerstücke und beeindruckst mit Performance, die uns umhaut. - Cloud-Plattformen wie AWS oder Azure sind Deine Spielwiesen, auf denen Du die Wolken beherrschst und Anwendungen in luftige Höhen hebst. - Bei der Frontend-Magie bist Du der Superstar und kreierst mit Angular, React und/oder vue.js beeindruckende interaktive und reaktionsfähige Benutzeroberflächen, die den Nutzer zum Staunen bringen. Qualifications - Abgeschlossenes IT-Studium oder vergleichbare Qualifikation. - Mindestens 3 Jahre Erfahrung im Fullstack-Development. - Erfahrung in Java (17+), Spring Boot und Microservices. - Kenntnisse in CI/CD, Docker, Kubernetes und Cloud-Plattformen (AWS oder Azure). - Frontend-Expertise mit Angular, React oder vue.js. - Erfahrung mit TDD und Pair-Programming. - Verhandlungssicheres Deutsch und gutes Englisch. - Zielorientiert, strukturiert, eigenständig und lösungsorientiert. - Kommunikationsstark, dienstleistungsorientiert und teamfähig. Benefits - Work-Life-Balance: nicht nur ein Buzzword, sondern gelebt durch Remote-Work, 30 Tage Urlaub, flexible Arbeitszeiten und Workation. - Vergütung & Leistungen: sehr attraktive Bezahlung mit Wachstumsperspektive, Vergünstigungen über Corporate Benefits, Unterstützung bei Deiner individuellen Altersvorsorge. - Persönliche Entwicklung & Ausstattung: individuelle Weiterentwicklungs-möglichkeiten und eine moderne Ausstattung (auch Zuhause) sind für uns selbstverständlich. - People & Community: Afterworks in Deiner Region, drei Tage Off-Site mit der gesamten Crew, Familienfeste für Groß & Klein, digitale Spieleabende und remote Kaffeepausen mit den Kollegen, damit Du von Anfang an Teil der 4E-Family bist. - Feel-Good: der obligatorische Obstkorb, die Heiß- und Kaltgetränke-Flat im Büro sind natürlich inclusive, mit Wellpass unterstützen wir Dich bei Deinen Wünschen im Fitnessbereich. - Nachhaltigkeit: Vergünstigtes Deutschlandticket für ca. 30€ sowie Firmenreisen mit der Bahn – unser Beitrag für einen verantwortungsvollen Umgang für unsere Zukunft.

Germany

Full-Stack Developer (PHP/Laravel)

meinMPP GmbH

Wir sind meinMPP – und wir machen aus einem sperrigen Steuerthema ein richtig gutes Mitarbeiter-Benefit. Konkret: Über das Mitarbeiter-PC-Programm bekommen Beschäftigte hochwertige Hardware – Smartphone, Notebook, Tablet, was auch immer sie brauchen – per Gehaltsumwandlung. Sie sparen dabei spürbar, und weil die Sozialabgaben unangetastet bleiben, bleibt auch die Rente unangetastet. Für die Unternehmen ist das Ganze kostenneutral, ohne Vertragslaufzeit und ohne Risiko. Wir betreiben die transparenteste MPP-Plattform am Markt: der einzige öffentlich einsehbare Shop mit über 2.500 Geräten, rund um die Uhr verfügbar, ein Onboarding von zwei Minuten. Datensparsamkeit ist bei uns Grundhaltung – nur wer wirklich bestellt, legt überhaupt Daten an. Unsere komplette Infrastruktur läuft ausschließlich auf europäischer Software. Hinter alldem steht ein kleines, vollständig remote arbeitendes Team, das seit 2017 an dieser Idee baut. Bei uns hat jede und jeder echten Einfluss auf das Produkt und die Richtung – kurze Wege, keine endlosen Abstimmungsrunden. Wir arbeiten direkt, ehrlich und langfristig gedacht und bauen Lösungen, die auch in fünf Jahren noch tragen.

Role Description Du entwickelst und pflegst unsere Plattform auf Basis von Laravel und Filament – vom Shop-Frontend bis zur Admin-Oberfläche. - Du baust und integrierst APIs, über die wir mit Partnern, Distributoren und Benefit-Plattformen zusammenarbeiten. - Du sorgst für wartbaren, skalierbaren Code und triffst Architekturentscheidungen, die auch in zwei Jahren noch tragen. - Du kümmerst dich um die Suchfunktion (Meilisearch) und die Weiterentwicklung unserer Bestell- und Abwicklungslogik. - Du baust Testautomatisierung aus, damit wir schnell und trotzdem zuverlässig ausliefern können. - Du setzt KI-Tools als festen Bestandteil deiner Arbeit ein – als Verstärker deiner eigenen Denkleistung, nicht als Ersatz für Verständnis und saubere Entscheidungen. Qualifications - Mehrere Jahre Praxiserfahrung mit PHP und Laravel. Du kennst das Framework nicht aus dem Tutorial, sondern aus echten Projekten. - Eine selbstständige Arbeitsweise. Du treibst Themen eigenständig voran und wartest nicht auf Anweisungen. - Erfahrung darin, wartbare und skalierbare Software zu bauen, die auch nach Jahren noch verständlich ist. - Sicherheit in der Entwicklung und Integration von APIs. - Erfahrung mit Testautomatisierung. Benefits - Remote arbeiten. - Betriebliche Altersvorsorge. - Firmenhandy. - Firmenlaptop. - Flexible Arbeitszeiten. - Mentoring. Company Description Wir sind meinMPP – und wir machen aus einem sperrigen Steuerthema ein richtig gutes Mitarbeiter-Benefit. - Konkret: Über das Mitarbeiter-PC-Programm bekommen Beschäftigte hochwertige Hardware – Smartphone, Notebook, Tablet, was auch immer sie brauchen – per Gehaltsumwandlung. - Sie sparen dabei spürbar, und weil die Sozialabgaben unangetastet bleiben, bleibt auch die Rente unangetastet. - Für die Unternehmen ist das Ganze kostenneutral, ohne Vertragslaufzeit und ohne Risiko. - Wir betreiben die transparenteste MPP-Plattform am Markt: der einzige öffentlich einsehbare Shop mit über 2.500 Geräten, rund um die Uhr verfügbar, ein Onboarding von zwei Minuten. - Datensparsamkeit ist bei uns Grundhaltung – nur wer wirklich bestellt, legt überhaupt Daten an. - Unsere komplette Infrastruktur läuft ausschließlich auf europäischer Software. - Hinter alldem steht ein kleines, vollständig remote arbeitendes Team, das seit 2017 an dieser Idee baut. - Bei uns hat jede und jeder echten Einfluss auf das Produkt und die Richtung – kurze Wege, keine endlosen Abstimmungsrunden. - Wir arbeiten direkt, ehrlich und langfristig gedacht und bauen Lösungen, die auch in fünf Jahren noch tragen.

Germany
Weekday (YC W21) logo

Lead Backend Engineer

Weekday (YC W21)

We are a Y-Combinator-backed startup building your AI-powered Recruiter Agent

Full TimeRemoteTeam 11-50Since 2021H1B No Sponsor

• Architect and build the core backend and platform from the ground up, the foundational systems everything else depends on. • Design and ship LLM agents that reason over large, messy, real-world organizational data, and make them reliable enough to trust. • Make the foundational calls, architecture, infrastructure, data, tooling, and set the bar for engineering quality on the team. • Operate with full autonomy. In a team this small, your judgment directly shapes the product, the codebase, and the company.

India
₹5,000K - ₹10,000K / year