Apache Spark × 90万円以上の業務委託案件・フリーランス求人一覧｜ページ2

【AWS/GCP/データパイプライン】インフラ・データエンジニア募集

AWS（データレイク）とGCP（DWH）を組み合わせたハイブリッドクラウド基盤を拡張中です。 全社で高速にデータ活用を進めるため、AWS Glue や BigQuery を用いたデータパイプラインの設計・実装・運用をお任せします。 主な業務: - データレイク/ETL基盤の構築 - AWS Glue（Apache Spark/PySpark）による分散処理・ETL開発 - S3 / Lake Formation を活用したデータ管理・セキュリティ設計 - BigQuery ベースのDWH整備 - AWS→GCP 間のデータ連携パイプライン最適化 - BigQuery によるデータモデリング/クエリ最適化 - IaC を軸とし...

【フルリモート/CI/CD】ヘルステック企業での患者向けコンテンツ配信基盤エンジニア

既存プロダクトと連携し、患者向けコンテンツ配信基盤の役割を担うPEHubと呼ばれるプロダクトの開発を担当頂きます。 ・プロダクトマネージャとの仕様策定 ・各種AWSサービスをフル活用したアーキテクチャ設計 ・社内プロダクトや社内サービスとのシステム連携 ・他プロダクトチームとシステム仕様・アーキテクチャのすり合わせ ・設計したシステムの実装と運用 ・各種インフラ運用の自動化、CI/CDの強化

【Python/SQL/dbt・Databricks】某企業向け_データ活用基盤移行(ETL開発)

大手企業向けのデータ活用基盤移行プロジェクトにおいて、dbt を用いたETL/ELT開発を担当いただきます。 主なミッションは、既存の Informatica で構築された処理を、Databricks 環境で動作する dbt ベースのデータパイプラインへリプレースすることです。 具体的には、要件整理・変換ロジックの再設計、dbt モデルの実装・テスト、データ品質の担保、運用を見据えたパイプライン整備を行います。Databricks 上での開発経験や PySpark を用いた分散処理の知見がある方は歓迎します。 就業形態は原則リモートですが、状況により都内23区内でのオンサイト対応をお願いする場合があります。

【Python/AWS・ETL/リモート】内製システムの自動化開発（DEVチームリード）

顧客内製システムにおける自動化開発プロジェクトです。 人手で行っている障害発生時の切り分け作業を、業務フローを統合して自動化する仕組みを開発します。DEVチームに所属し、進捗に応じてQA支援を行う場合があります。 ・対象：データパイプライン（ETL）、サーバレス／マイクロサービス基盤、ワークフロー自動化 ・役割：設計〜実装〜テスト〜運用の推進、フレームワーク／ツール／プロセスの選定、チームリード ・出社：基本フルリモートだが、月1回程度 品川出社の可能性あり

【PMO/AWS・Databricks】データ分析基盤PMO支援（基本リモート）

大規模なデータ分析基盤およびサーバー更改プロジェクトにおいて、PMOとしてご参画いただきます。 進行管理、課題管理、クライアント/社内向けの各種報告資料作成、品質管理（レビュー）、メンバー育成、ナレッジ集約、並びにクライアント折衝を一貫してご担当いただきます。 AWSやDatabricksを活用した基盤構築・更改案件のPMOとして、中長期で腰を据えて推進いただける方を想定しています。

【フルリモート/Python/AWS】製薬業界向けサービスを展開する事業会社でのアプリケーションエンジニア募集

薬局経営を支援する薬局ダッシュボードの画面・機能開発する責務を担っていただきます。 ■開発環境 ・React、Next ・TypeScript ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python ・その他(GitHub、Datadog、Google Analytics、GTM、KARTE)

【フルリモート/アーキテクト】Web3.0ベースのデータスペース相互接続

■課題 データスペース間の接続方式（セマンティックウェブ、Web3.0）に基づくアーキテクチャ検討が必要。 初期受注時はスコープアウトしていたがDADC（IPA）要請を受けて対応が必須な状況。 ■概要 データスペース間接続に関する共通コンポーネント開発の全体アーキテクト設計及び実装ができる技術要員の支援 ■ポジション アーキテクト ・基盤となる海外 PF との相互接続機能、トラスト機能などの開発 ・（不要）ビジネス要求定義　※ビジネス化検討は他PJチームにて実施するため ・システムアーキテクチャ設計設計 ・機能要件の詳細化 ・プロトタイプ開発・PoC ■備考 作業場所：リモート 契約期間：2025/08/01

【二子玉川/SQL/Python】 AIプラットフォームの構築

AIモデルのエンドツーエンド開発：ビジネス部門との議論、データ収集、EDA（探索的データ分析）、モデル学習、評価、リリースまでを担当 モデル評価と改善：月次でのパフォーマンス評価と継続的な改善 ビジネスへの説明：EDAやモデル結果をビジネス部門に分かりやすく説明 目標の共有と調整：ビジネス部門と目標を共有し、フィードバックを反映

【リモート併用/大崎/Python/dbt】 モダンなデータ基盤構築・運用

Pythonを中心としたプログラミングによるデータ基盤の構築・運用を担当します。 SQLを用いたデータ分析やモデリング、dbtによるデータパイプラインの設計・開発、AWSまたは GCPを活用したインフラ構築も含まれます。 加えて、DatabricksやSnowflakeといった最新技術を用いた基盤の設計・運用や、TerraformによるIaC、 自動化されたワークフロー設計なども歓迎されます。 アジャイル（スクラム）開発の現場で、チームと連携しながら業務を推進していただきます。 【環境】 言語：Python、SQL クラウド：AWS、GCP ツール：dbt、Terraform、Databricks、Snowflake、Apa...

【原則フルリモート・データ基盤の設計/構築・Python】 自社プロダクトにおけるデータエンジニア

・データエンジニアとして、現在構築を進めている新データ基盤への移行を進めるための開発作業をお任せします。 ■工程・担当業務 ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ■募集人数 ・１名 ■開発環境 クラウドサービス：AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.) データ基盤：Databricks, Redash, etc. データモデリング：dbt プロビジョニング：Terraform 開発ツール：GitHub, Slack, JIRA

【データアナリスト】大手SIer データ基盤構築/活用支援（Snowflake）の求人・案件

国内外の様々なお客様にSnowflakeの導入とそれに伴うデータ活用の支援 -Snowflakeの導入コンサルティング -Snowflakeを中心としたデータ基盤の開発支援、データ活用支援 -Snowflakeや周辺技術領域（モダンデータスタック）の情報収集、技術検証 -データ基盤やデータエンジニアリングに関する技術情報発信

【Kubernetes】既存プロダクトにおけるバックエンド開発支援(フルリモート)

・コア基盤の技術選定、アーキテクチャ設計、開発、および持続的な運用 ・データ変換、意味づけ、活用を柔軟に行うための、プロダクト向けデータプラットフォームの設計・開発 ・各アプリケーションとデータプラットフォームの境界を定義し、抽象化されたAPIの設計・開発 ■募集背景 既存プロダクトにおける開発組織を強化するため。

工場データの共通基盤構築支援【長崎】/半導体メーカーのエンジニア求人・案件 IT

・データ共通基盤構築(要件定義～基本設計) ・開発ベンダーの管理(進捗、成果物レビュー)

【Databricks/Azure/Python】小中学生向け学習支援サービスにおけるデータ分析基盤の保守開発支援(フルリモート)

・既存システムのキャッチアップ ・データ分析基盤の保守開発 Databricksをベースとした既存データ分析基盤からの即時キャッチアップが求められており、加えて即時運用開発へ移行できる即戦力要員を募集しております。 ■募集背景 人員不足のため。

【Python/AWS】データマート作成などにおける上流SE支援(基本出社)

・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります。 ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 - AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築 - 既存の基盤改修・改善 ・データマート日次運用保守業務 ■募集背景 人員不足のため。

【エンド直/フルリモート/フレックス有/Python/AWS】データエンジニア募集

【仕事内容(概要)】 - 『SaaS+Database』サービスを支えるビッグデータ（数十TBオーダー）基盤の構築・改善 【仕事内容】 以下のいずれか、もしくは複数を対応いただきます。 - Webデータクローリングのためのパイプライン新設や改善 - データのクレンジングやエンリッチメント処理 - データの品質改善を目的とした品質モニタリング環境の構築 - スケーラブルかつコスト効果の高いデータ基盤への改善 - 将来的なデータサイエンス活用を踏まえたデータ基盤やデータ品質整備設計

【SQL】【インフラエンジニア】製造業様向けAzure Databricks開発の求人・案件

製造業様向けAzure Databricks開発業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・顧客の作成中のソースのレビュー、データ変換・移行に関する分析\n・Bronzeにあるデータを変換して次のSilver Layerに持っていく（Bronze⇒Silver⇒Gold）\n・Gold LayerのデータをMLなどに活用、BIで分析\n・Azure Databricksソリューションの設計とデリバリー\n・要件分析とソリューションアーキテクチャ設計及び仕様の作成\n・データモデリングとデータアーキテクチャ設計\n・ETL、データ統合、およびデータ移行の設計\n・データ品質システムとプロセスの設計...

Python／広告事業のデータマイニング・機械学習エンジニア募集案件・求人

複数ある自社広告配信プロダクトの100億レコード以上/日のログを分析し、広告配信を最適化する業務を担当いただきます。 【主な仕事内容】 ・ビジネスインパクトが大きなKPI改善の見極め ・KPI（CPCなど）最適化の改善及び運用

【Java/Python/生成AI】生成AI/LLM専任チーム

■概要 ・プロダクトへの生成AI/LLM技術適応の開発 ・生成AI・LLMに関わるサービスの技術選定、アプリケーションのアーキテクチャ設計 ・生成AI・LLMに関わる最先端の技術キャッチアップ・外部発信

【六本木/リモート併用】AzureDatabricks開発支援

■概要 Azure Databricks 開発案件（CXプロジェクトの一環としてデータマネージメントシステム）。 顧客の作成中のソースのレビュー、データ変換・移行に関する分析。 １つLayerにあるデータを変換して次のLayerに持っていく。 （Layer 1⇒Layer 2⇒Layer 3） Layer 3でMLなどに活用、BIで分析（別チームが動いている）

モバイルアプリデータ解析支援

モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤構築支援(フルリモート)

・ETL/ELTパイプラインの実装（AWS Glue/Pythonを用いたデータ抽出・加工・ロード） ・データモデリング、分析用データベース（Aurora/Athena等）の設計、正規化・非正規化の判断 ・大量データ処理（数千万〜数億件規模の時系列・センサーデータ）の集計最適化 ・IaC（Terraform/CDK）によるデータ基盤の構成管理、監視・アラート設計 ■募集背景 太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤（データプラットフォーム STEP3-2）の構築に伴い、体制強化のためデータエンジニアを募集します。 ■その他歓迎スキル ・データレイク関連（Spark/Glue、Apache I...

【AWS/GCP/BigQuery】データ基盤構築支援（出社必須）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 <データレイク / ETL基盤の整備> ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 <運用効率化と品質確保> ・Airflowなどを用いたワークフローの管理と...

【AWS/GCP/BigQuery】データ基盤構築支援（基本出社）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 データレイク / ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 BigQueryベースのDWH環境構築 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 運用効率化と品質確保 ・Airflowな...

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモートのエンジニア求人・案件 プロジェクト管理 / PM / 指揮型PMO / 支援型PMO / プロジェクトサポート/秘書 / システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド) / スマホアプリ開発(ネイティブ) / フロントエンドエンジニア / 業務系エンジニア / データサイエンティスト / コンサル・プロジェクト管理 / PM (プロジェクトマネージャー) / PMO / インフラ・ネットワークエンジニア / DBA (データベース)管理者 / HTMLコーダー / IT / CRM/SFA/BI / AI / IoT / マーケティング / デジタルマーケティング / データサイエンティスト/アナリスト

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモート

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【SRE/常駐/週5日】　メガバンク向けAMLパッケージカスタマイズ開発案件

海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 （現場PM・メンバーは日本人となっております） 案件担当のコメント 【作業場所】 ・東京駅近辺...

Go／SaaSアプリケーション開発案件・求人

kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／BtoB向けコミュニケーションツール基盤開発案件・求人

消費者のオフライン行動(位置情報やセンサー情報)とオンライン行動(web閲覧や購買)情報を活用した 高度な1to1コミュニケーションの実現を目指しています。 このサービスでは、サイトの閲覧ログや会員属性、Beaconログ、位置情報などを基に、 オウンドメディア横断で顧客に最適なタイミング、チャネル、内容でコミュニケーションを可能とする 統合配信基盤としての役割を担います。 ECサイト内のレコメンド枠や小売店のポイントアプリのPUSH通知、 企業のオウンドメディアのバナー枠など、多岐に渡る配信先を想定しています。 ※顧客データの接続など個別のカスタマイズをしつつご提供をしていきます。 今回は上記サービスにおけるバ...

Ruby／ECカートシステム関連アプリケーション開発案件・求人

ECカートシステムと関連する周辺アプリケーションの開発 ※フルリモート可

Ruby／検索事業領域の開発案件・求人

国内大手ECサイトを中心に導入いただいている検索ソリューションの開発を担当していただきます。 多くのECサイトにとって、検索機能はユーザーの購買行動の主軸のひとつであり、購買体験に大きく作用します。 入力されたキーワードの意図を理解した上で、適切な商品を選び出し、エンドユーザーが求めている順番に並べる必要があります。 意図や並び順という絶対的な正解がない世界で、ログを分析し、仮説検証を繰り返しながら サイトやそのユーザーに適切な商品を提示していくことで、ECサイトの購買体験を向上させ、 売上に寄与する手応えが得られます。 経験豊富な検索エンジニアチームがチューニングした検索エンジンをベースに、 お客様に合わせた検...

Go／SaaS開発案件・求人

・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／ECサイトSaaS開発案件・求人

■案件概要： ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

TypeScript／クラウドサービス、Webアプリケーション開発案件・求人

既存サービス（電帳対応、インボイス関連等）に関するプロトタイピング及びフロントエンド及びバックエンド開発。 バックエンド、フロントエンド両面でのフルスタックに活躍いただく案件になります。 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【AIエンジニア】カード会社の不正検知学習モデル構築の設計・実装の求人・案件

【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム）

■概要 製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） ■主な担当業務 Bronzeにあるデータを変換して次のSilver Layerに持っていく。（Bronze⇒Silver⇒Gold） Gold　LayerのデータをMLなどに活用、BIで分析（別チームが動いている） - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計 ■働き方 リモート併用

【Python/機械学習】データエンジニア募集

■概要 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、 データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。