Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ7

【Linux・Hadoop】分析基盤向けPoC支援案件

某大手Sier内で行っているHadoop、Apache Sparkなど分析基盤のPoCおよび環境構築を担当頂く想定です。 Linux、Hadoop、Apache Sparkなどの技術を扱う環境です。

【Hadoop】分析基盤の設計、構築支援案件

Hadoopを利用した分析基盤の設計構築を担当頂きます。 Apache Spark、Zookeeper、Ambari、YARN、Hive等の構築を行うので、最新のテクノロジーにも触れられる環境です。

【Python】学術系成果物管理システム 保守開発案件

学術系成果物管理システムの保守開発をお願いします ■ 環境： 【技術】Python 【インフラ】CentOS7, Riak, Solr, Spark 【開発環境】MacOS. Git. ■ 案件詳細：以下システムの機能追加開発、および保守運用 * 学術系論文や書籍等の成果物情報を収集、正規化、名寄せを実施するシステム * 正規化/名寄せデータを外部サービスへ提供するシステム（主としてWeb API）

【SQL(AWS尚可)/基本リモート】製品利用ログ分析基盤の開発・運用

クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 AWS EMRを使用したETL, データ前処理 (Python, Spark) ■現状の主な作業 ユーザの操作ログやDB(Dynamo や DocumentDB)などのビッグデータを　AWS の Redshift にロードし、そこから集計処理(Redshift to Redshift のテーブル 設計・集計実行)を行うバックエンド作業。 既存のSQL分を読み解いて、別の新規のSQLを作ったり、効率化を進めたりする。 集計処理後のテーブルデータは、Tableau などに渡して月次報...

（Python/Hadoop）ビックデータの基盤構築案件

某大手事業会社内でのビックデータ案件になります。 現在稼働しているHadoop環境の運用、保守に加え、 新規機能の開発などがスタートしたため人員の増員を計画しております。 データ分析は別チームが存在しますので、あくまで分析を行うための 環境構築を行って頂くポジションとなりますが、現場の状況、 また適正次第では分析業務にも関わっていただく可能性がございます。 ※具体的な業務内容※ ・Sparkを利用して、Hadoopクラスタ上のデータを分析するツールの開発 ・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守 ・Hadoopクラスタの運用

【Java】IoT基盤構築案件

IoTビジネスを拡大するにあたり、弊社クライアントビジネスのヒアリングはフレクトプロパーが担当するので、 そのビジネス要件に基づきアプリ基盤業務を遂行できる方の募集をします。 想定される環境は、AWS、heroku上へのアプリ構築になります。 センサーデバイス（httpとは限らない）からデータを吸い上げ、 加工、集約、そして、見せる。までが近々でのミッションとなります。 直近フェーズにおいては、ビッグデータではあるものの集約機構をつくるだけなので、性能要件が求められるかたち。 現時点の見通しとしては、hadoopやspark、インパラなどの処理基盤構築はしない可能性が高い。 treasure dataのようなクラウ...

【Python/SQL】データエンジニアの求人・案件

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用 データ分析システム・サービスの監視設計・運用 日々の運用業務から発生する課題の解決・改善 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watc...

薬局業界向けの各プロダクトのバックエンド開発案件/Python/フルリモート

各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、 いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。 高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、 アプリケーションコード、AWSのインフラ、DevOps などを...

【AWS/フルリモート(新浦安)】ライブ配信サービスのインフラエンジニア募集

【仕事内容】 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム体制 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■環境 • 分散DB（Cloud Spanner） • 言語：Go言語 • 通信 ：connect-go proto • コンピューティング：Kubernetes → Cloud Run • DWH・パイプライン構築 ◦ BigQuery ◦ Apache Spark ■働き方 ...

【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件

現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テー...

【SQL/Python】新規データマート作成の求人・案件

・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築 既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQL...

【SQL】トライネットシステム開発支援の求人・案件

■開発環境 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のための...

【Python/SQL】小売業界向けデータ基盤構築エンジニアの求人・案件

クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

【Python/SQL】小売業界向けデータパイプライン構築の求人・案件

データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 ...

【Pythonなど】小売/卸売業向けAI系サービス/データ基盤構築の求人・案件

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 業務内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用しま...

【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件

【仕事内容】 ・DWH層テーブルの要件定義・設計・開発・保守 関係者からのヒアリング・データ調査 メンテナンス性・汎用性を意識したテーブルの設計 SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査

【Python/SQL】Saasのデータ基盤構築の求人・案件

【概要】 ・在庫最適化システムを支えるデータ基盤の構築 ・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増 ・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、 集計後、データストアに投入する基盤の構築 ・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制 【工程】 基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用

【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件

・DWH層テーブルの要件定義・設計・開発・保守 - 関係者からのヒアリング・データ調査 - メンテナンス性・汎用性を意識したテーブルの設計 - SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査

【Python/SQL】小売業界/データエンジニアの求人・案件

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用 データ分析システム・サービスの監視設計・運用 日々の運用業務から発生する課題の解決・改善 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watc...

【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【Java】アプリケーション開発エンジニアの求人・案件

大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。 RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）

【Python】バックエンドエンジニアの求人・案件

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

【Python/SQL】データ基盤構築の求人・案件

【業務内容】 在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【Java】大規模データ収集基板構築の求人・案件

大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。 ・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発

【Python/SQL】データ基盤構築の求人・案件

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。 【募集背景】新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。

求人システムのバックエンドエンジニア募集/scala/渋谷駅/リモート有

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 ■工程：要件定義,基本設計,詳細設計,開発,単体テスト,結合テスト,総合テスト,運用 ■開発環境： サーバーサイド：Scala, Play Framework, ZIO, Spark, Flink プロビジョニング：Terraform, Ansible フロントエンド：JS, TypeScript, Vue.js 監視：DataDog, Kibana クラウドサービス：AWS, ...

【Azure/リモート】インフラ・Azure構築案件

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

【Scala,Python/リモート】バックエンド・求人システムのバックエンドエンジニア募集

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 開発環境: サーバーサイド:Scala, Play Framework, ZIO, Spark, Flink プロビジョニング:Terraform, Ansible フロントエンド:JS, TypeScript, Vue.js 監視:DataDog, Kibana クラウドサービス:AWS, GCP 分析基盤:fluentd, BigQuery, Athena, Google ...

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

フルリモート【Python/AWS/GCP】自社データインフラのデータ移行作業

・某ITメガベンチャーにて自社データインフラグループのデータ移行作業を担当頂きます。 1. AWSのデータレイク(S3+Glue data catalog) → BigQueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については応募者の意向、能力等を鑑みて決定) 技術環境 O S ：Linux 言　語 ：Python, Hive, Spark Cloud ：AWS, GCP AWS　 ：EMR, Glue, Athena, Lambda, APIGateway GCP　　：BigQuery, GCS, Pub/Sub, Dataflow, CloudCo...

【データ分析補佐】GPSデータを用いた予測支援

1.GPSデータを用いた予測支援 2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

フルリモート/Python/Hive/Bigqeryデータ基盤整備

業務内容」 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 開発環境 [言語] Python, Hive, Spark [AWS] EMR, Glue, Athena, Lambda, APIGateway [GCP] BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows [CI・CD・その他] Terraform, CircleCI, GithubActio...

【分析基盤エンジニア】データエンジニア業務

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

【Python/AIエンジニア】探索型BIツール開発におけるデータサイエンティスト

[ポジション]：AIエンジニア 自社で探索型BIツールを開発しており、そこにおける人材を募集 ・検索・機械学習エンジンの開発・実装、および性能改善 ・自然言語処理を使用した検索エンジンの開発 ・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

【Python,SQL/分析基盤エンジニア】法人営業企業系 データ分析及び、システムデータ分析基盤構築支援 (分析エンジニア/分析基盤エンジニア)

[ポジション]：分析基盤エンジニア ◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、 A: 定型化されたデータ分析の実行（集計/加工/分析/可視化/アドホック対応など) B: 関連するデータ分析基盤システム構築（インフラ,システム開発/仮想化/など）　のいずれかをご対応いただく予定です。 ・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。 ・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。 [稼働先最寄り] ・基本リモート or 現場常駐（出社時は東京都 港区エリア） ※現状、タスクに応じて50/50で対応中 ※ご面談設定の際に、詳細情...

分析基盤クラウド構築案件

オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。 データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。 クラウド環境：AWS

メディアデータを収集したDMP活用、様々なアルゴリズムの開発

概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

【PHP】サーバサイドエンジニア★国内大手コスメECサイト開発

日本最大のコスメ・美容の総合サイトを運営してる企業にて、PHPを用いた自社ECサイトのサーバーサイド開発をご担当いただきます。 当企業は月間3億PV、会員480万人などのビッグデータを元に様々なサービス提供を行なっております。 今回想定している主な担当工程は、詳細設計～実装がメインではありますが、スキル次第では要件定義、基本設計フェーズから参画して頂く可能性もございます。 チームは機能ごとに複数チームに分かれており、１チーム２～８名規模でアジャイル開発で進めております。 また、言語はサービスによって都度求められる環境や条件に応じて選択しており、モダンな技術にも非常に積極的に取り組んでいます。 ※現場環境： ・言語：...

人材業界でのデータエンジニア募集

■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服