Apache Spark × 80万円以上の業務委託案件・フリーランス求人一覧｜ページ4

Python／ビックデータの分析およびDB構築案件・求人

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック）

■内容：スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース） ■期間：7月～（8月～でもok）※基本長期となる予定 ■その他 テレワーク：対応可 顧客事務所（品川等）での対応：有　※フルリモート希望の場合は別途ご相談ください 稼働率は基本100％の想定

【Python/機械学習】データエンジニア募集

■概要 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、 データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

システム運用エンジニア案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActions, digdag, embulk [担当工数] 1.開発/保守改修 2.基...

データ基盤整備案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [業務環境] メンバー：3名（TL1名、エンジニア2名） ※部全体：50名弱 [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActio...

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

【Java】サーバサイドエンジニア案件

日本No1.のコスメ・美容の総合サイトおよび関連サービス全ての 基盤部分の開発・運用を担当をしていただきます。 ■業務内容： ・ポイント関連 ・会員に関する情報管理 ・認証基盤 ・各種検索機能 ・弊社内だけではなくBtoBのサービスとして社外へも提供している様々なAPIの開発及び運用 ※能力に応じて、企画やデザインから検討会議に参加していただくことが可能です。 ■開発環境 ・言語：Java、PHP、(Ruby) ・PHPフレームワーク：Laravel、CakePHP ・JavaScriptフレームワーク：Vue.js ・Javaフレームワーク：Spring boot ・データベース：MySQL、Microsoft SQL ...

【Python/Java/Scalaなど】ディープラーニングエンジニア案件

R&D部門にて、各種サービスの基盤開発や速度改善、ターゲティングやビッグデータを利用した開発、それらを支えるインフラストラクチャ再構築とデータ構造の再構築などを主に担当しています。 技術開発グループ、技術戦略グループは、ともに、速度改善やサービス基盤開発を行いながら、ビッグデータを活用した分析処理や、ストリーミング処理など先進的な技術を用いながら試行錯誤を繰り返しながら機能開発をメインに行っており、 インフラストラクチャグループはスケールしやすく、耐障害性、可用性の向上のための施策、保守・運用を行なうグループです。 ■業務内容： 技術研究とそれらを用いた開発を行う部署にて、様々なデータを扱い、新たなサービス開発と改善 また...

【PHP/Hack/Java/Goなど】急成長中企業のアプリケーションエンジニア案件

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 ■業務内容事例： ・クチコミサイトの開発 ・ブログサイトの開発 ・Q&Aサイトの開発 ・ポイントサイトの開発 ・ECサイトの開発 ・サロン予約サイトの開発 ・新規事業の開発 ・上記開発を支えるAPI開発　など （経験・適性に応じて上記開発案件の配属チーム、アサイン業務を決定いたします） ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scala ・PHPフレームワーク：Laravel(5)、CakePHP(2、3)、Zend Fr...

【PHP/Ruby/Java/Goなど】急成長中企業のアプリケーションエンジニア案件（BtoB向け）

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 経験・適性に応じて配属チーム、アサイン業務を決定いたします ■ 業務内容事例 ・サービスの開発・保守・運用 機能開発はエンジニアだけでなく、他部署のプランナーやデザイナーとMTGを行い進めていく場合があります。 ・他サービスへの機能提供API開発 ・オンプレ環境からクラウド環境への移行作業 ・サービスの仮想化 ・定例MTGの実施 朝会、夕会、週次定例、コードレビュー会などを必要に応じ、適時実施しています。 ■開発環境： ・言語：PHP、Go、Ruby、Java ・PHPフレームワーク：Lar...

【PM/PMO】急成長中企業のエンジニアリングマネージャー案件

下記いずれかの部門のマネージャー業務をお願いいたします。 ①ソリューション開発部 ②メディア開発統括部 ③システムアーキテクチャ部 ■業務内容： ・開発チームのチーム編成や、プロジェクトにおけるチーム管理 ・プレイヤーとしての開発業務 ・エンジニアの目標設定・評価・育成 ・プロジェクトマネジメント、技術面以外も含めた問題解決、組織的改善 ・他部署との調整、コミュニケーションづくり ・人材採用 ・率先した継続的なアプリケーション改善 ※技術選定やアプリケーション設計などにも参加いただくこともございます。 ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scal...

【Linux・Hadoop】分析基盤向けPoC支援案件

某大手Sier内で行っているHadoop、Apache Sparkなど分析基盤のPoCおよび環境構築を担当頂く想定です。 Linux、Hadoop、Apache Sparkなどの技術を扱う環境です。

薬局業界向けの各プロダクトのバックエンド開発案件/Python/フルリモート

各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、 いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。 高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、 アプリケーションコード、AWSのインフラ、DevOps などを...

【AWS/フルリモート(新浦安)】ライブ配信サービスのインフラエンジニア募集

【仕事内容】 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム体制 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■環境 • 分散DB（Cloud Spanner） • 言語：Go言語 • 通信 ：connect-go proto • コンピューティング：Kubernetes → Cloud Run • DWH・パイプライン構築 ◦ BigQuery ◦ Apache Spark ■働き方 ...

【SQL/Python】新規データマート作成の求人・案件

・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築 既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQL...

【Python/SQL】小売業界向けデータ基盤構築エンジニアの求人・案件

クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

【Python/SQL】小売業界向けデータパイプライン構築の求人・案件

データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 ...

【Java】アプリケーション開発エンジニアの求人・案件

大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。 アプリケーションの設計、開発、テストがメイン業務となります。 アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。 RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）

【Python】バックエンドエンジニアの求人・案件

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

【Java】大規模データ収集基板構築の求人・案件

大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。 ・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発

求人システムのバックエンドエンジニア募集/scala/渋谷駅/リモート有

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 ■工程：要件定義,基本設計,詳細設計,開発,単体テスト,結合テスト,総合テスト,運用 ■開発環境： サーバーサイド：Scala, Play Framework, ZIO, Spark, Flink プロビジョニング：Terraform, Ansible フロントエンド：JS, TypeScript, Vue.js 監視：DataDog, Kibana クラウドサービス：AWS, ...

【Azure/リモート】インフラ・Azure構築案件

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

【Scala,Python/リモート】バックエンド・求人システムのバックエンドエンジニア募集

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 開発環境: サーバーサイド:Scala, Play Framework, ZIO, Spark, Flink プロビジョニング:Terraform, Ansible フロントエンド:JS, TypeScript, Vue.js 監視:DataDog, Kibana クラウドサービス:AWS, GCP 分析基盤:fluentd, BigQuery, Athena, Google ...

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

フルリモート【Python/AWS/GCP】自社データインフラのデータ移行作業

・某ITメガベンチャーにて自社データインフラグループのデータ移行作業を担当頂きます。 1. AWSのデータレイク(S3+Glue data catalog) → BigQueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については応募者の意向、能力等を鑑みて決定) 技術環境 O S ：Linux 言　語 ：Python, Hive, Spark Cloud ：AWS, GCP AWS　 ：EMR, Glue, Athena, Lambda, APIGateway GCP　　：BigQuery, GCS, Pub/Sub, Dataflow, CloudCo...

フルリモート/Python/Hive/Bigqeryデータ基盤整備

業務内容」 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 開発環境 [言語] Python, Hive, Spark [AWS] EMR, Glue, Athena, Lambda, APIGateway [GCP] BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows [CI・CD・その他] Terraform, CircleCI, GithubActio...

【分析基盤エンジニア】データエンジニア業務

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

分析基盤クラウド構築案件

オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。 データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。 クラウド環境：AWS

メディアデータを収集したDMP活用、様々なアルゴリズムの開発

概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

【PHP】サーバサイドエンジニア★国内大手コスメECサイト開発

日本最大のコスメ・美容の総合サイトを運営してる企業にて、PHPを用いた自社ECサイトのサーバーサイド開発をご担当いただきます。 当企業は月間3億PV、会員480万人などのビッグデータを元に様々なサービス提供を行なっております。 今回想定している主な担当工程は、詳細設計～実装がメインではありますが、スキル次第では要件定義、基本設計フェーズから参画して頂く可能性もございます。 チームは機能ごとに複数チームに分かれており、１チーム２～８名規模でアジャイル開発で進めております。 また、言語はサービスによって都度求められる環境や条件に応じて選択しており、モダンな技術にも非常に積極的に取り組んでいます。 ※現場環境： ・言語：...

人材業界でのデータエンジニア募集

■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服

【MW,機械学習,ブロックチェーン】パッケージ製品ベンダーの研究開発

AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、 その研究開発のご支援となります。 具体的には、 ・機械学習等のAI機能を用いたグループウェア機能の最適化 ・OCR機能を用いた帳票処理自動化機能 ・ブロックチェーンを用いたBPM連携 等々がスコープとなっております。

【Python,Scala,Hadoop】大手金融事業社でのビックデータ案件

某大手金融事業社内でのビックデータ案件になります。 現在稼働しているHadoop環境の運用、保守に加え、 7月から新規機能の開発などがスタートするため、 人員の増員を計画しております。 データ分析は別チームが存在しますので、あくまで分析を行うための 環境構築を行って頂くポジションとなりますが、現場の状況、 また適正次第では分析業務にも関わっていただく可能性がございます。 ・PySparkでHadoopクラスタ上のデータを分析するアプリの開発 ・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守

【機械学習,画像認識】パッケージ製品へのAI関連の機能開発支援

パッケージ製品へのAI関連の機能の 拡充を検討されており、その開発のご支援となります。 具体的には、 ・機械学習を用いた処理の最適化機能 ・画像認識機能、OCR機能 ・音声での対話入出力機能 が初期スコープとなっております。