Apache Spark × 100万円以上の業務委託案件・フリーランス求人一覧｜ページ2

モバイルアプリデータ解析支援

モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモートのエンジニア求人・案件 プロジェクト管理 / PM / 指揮型PMO / 支援型PMO / プロジェクトサポート/秘書 / システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド) / スマホアプリ開発(ネイティブ) / フロントエンドエンジニア / 業務系エンジニア / データサイエンティスト / コンサル・プロジェクト管理 / PM (プロジェクトマネージャー) / PMO / インフラ・ネットワークエンジニア / DBA (データベース)管理者 / HTMLコーダー / IT / CRM/SFA/BI / AI / IoT / マーケティング / デジタルマーケティング / データサイエンティスト/アナリスト

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモート

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【SRE/常駐/週5日】　メガバンク向けAMLパッケージカスタマイズ開発案件

海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 （現場PM・メンバーは日本人となっております） 案件担当のコメント 【作業場所】 ・東京駅近辺...

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【AIエンジニア】カード会社の不正検知学習モデル構築の設計・実装の求人・案件

【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム）

■概要 製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） ■主な担当業務 Bronzeにあるデータを変換して次のSilver Layerに持っていく。（Bronze⇒Silver⇒Gold） Gold　LayerのデータをMLなどに活用、BIで分析（別チームが動いている） - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計 ■働き方 リモート併用

【Python/SQL】小売業界向けデータ基盤構築エンジニアの求人・案件

クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

【Python/SQL】小売業界向けデータパイプライン構築の求人・案件

データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 ...

【Python】バックエンドエンジニアの求人・案件

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

【Java】大規模データ収集基板構築の求人・案件

大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。 ・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発

求人システムのバックエンドエンジニア募集/scala/渋谷駅/リモート有

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 ■工程：要件定義,基本設計,詳細設計,開発,単体テスト,結合テスト,総合テスト,運用 ■開発環境： サーバーサイド：Scala, Play Framework, ZIO, Spark, Flink プロビジョニング：Terraform, Ansible フロントエンド：JS, TypeScript, Vue.js 監視：DataDog, Kibana クラウドサービス：AWS, ...

【Azure/リモート】インフラ・Azure構築案件

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

【分析基盤エンジニア】データエンジニア業務

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

分析基盤クラウド構築案件

オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。 データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。 クラウド環境：AWS

メディアデータを収集したDMP活用、様々なアルゴリズムの開発

概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

人材業界でのデータエンジニア募集

■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服