Apache Spark × 80万円以上の業務委託案件・フリーランス求人一覧｜ページ2

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハンメーカー内にて、データ利活用のコンサルティングを担当いただきます。 具体的には、Databricksを活用したデータ整形・加工プロセスの設計/構築、顧客要望のヒアリングから要件定義、活用定着までの伴走支援、社内に蓄積されたデータの可視化（BIツール活用）および分析基盤の運用までを一貫してご対応いただきます。 常駐を基本としつつ、一部リモートの相談も可能です。

【Python・SQL/リモートあり】AI SaaSサービス データ分析・AI活用プロジェクトデータサイエンティストポジション

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 SaaSサービス データ分析・AI活用プロジェクトデータサイエンティストポジション 【業務内容】 本サービスは、ChatGPT、GPT-4 など生成AIを活用した法人向けプラットフォームおける、データ分析・AI活用プロジェクトデータサイエンティストポジションの募集になります。 ・生成AIプラットフォームの利用ログや業務データを活用したデータ分析・可視化 ・ユーザー行動分析、離脱率分析、機能利用状況の可視化 ・AIモデル出力データを用いた品質評価（精度・誤答率・業務貢献度など） ・Pythonを用いたデータ前処...

【リモート併用/Python】クラウド環境 データ基盤構築・運用支援（AI・分析対応）

クラウド環境におけるデータ基盤構築および運用支援業務。ETL/ELTによるデータ取込と整形、データ品質管理、AI/分析チームとの連携・調整。MLOpsや生成AIなど新技術の検証・活用支援も担当。 【技術スタック】 ・開発言語：Python、SQL ・クラウド：Azure／AWS／GCP（いずれか） ・ETL基盤：Databricks、Spark、Data Factory（尚可） ・技術領域：MLOps、生成AI、NLP、RAG（尚可）

Java／車載ビッグデータ可視化システム追加開発案件・求人

「走行データ」という巨大な資産を価値に変える。エンジニアとしての知的好奇心を刺激するプロジェクトです。本プロジェクトでは、車両から収集される膨大なデータを可視化するシステムの機能追加・維持保守を担当します。 ・監視レポート作成および分析報告 ・設計、製造、単体〜システムテスト、リリース作業までの一貫したデリバリー 市場価値・キャリアメリット： 「Connected Car × Cloud」の専門性を磨き、市場価値の高いエンジニアへ。 現在、自動車業界で最も注目される車載データの活用に携わることで、IoT分野の深い知見が得られます。また、AWSを用いたビッグデータ処理の経験は、今後のクラウドネイティブなキャリアにおいて強力...

【リモート併用/データ分析】生命保険向けBSA・システム分析業務

大手生命保険会社向けの業務分析およびシステム分析業務。要件定義からデータモデリング、データフロー設計、開発チームとの連携による仕様策定や成果物のレビューまで幅広く担当いただきます。日英バイリンガルスキルがある方を歓迎し、Hadoop/Spark環境での分析業務も含まれます。 【技術スタック】 ・データベース：Oracle、MS SQL Server、MongoDB ・ビッグデータ基盤：Hadoop、HBase、Spark ・OS：Linux

【Python】【SE】農機具メーカー向けデータ管理基盤運用・保守、開発支援の求人・案件

農機具メーカー向けデータ管理基盤運用・保守、開発支援にご参画していただきます。\n主な業務内容は以下のとおりです。\n・要件整理支援(機能、非機能要件をまとめる業務)\n・開発支援 等\n\n開発環境：Python、DataBricks、Azure、spark\n\n最寄り駅：堺東駅

【AWS/GCP/Terraform】データ基盤構築（データレイク・DWH・ETL）

AWSとGCPを活用したデータ基盤の構築をご担当いただきます。サービス運用やビジネス分析、出版社支援など多様なデータ活用ニーズに応えるためのスケーラブルな基盤を目指します。 主な担当領域: - データレイク/ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理・ETL開発 ・S3やLake Formationを活用したデータガバナンス/セキュリティ設計 - BigQueryベースのDWH構築 ・AWS→GCP間のデータ連携フロー最適化 ・BigQueryにおけるデータモデリングとクエリ性能改善 - IaCによるマルチクラウド管理 ・Terraformでの環境差異の制御と自動化 - 運用効率化と品質...

流通向けアプリケーション開発【Java】【日本人限定/一部リモート】

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日（月〜金）で稼働可能な方 ＊副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・データ分析基盤構築およびアプリケーション開発(Java、Scala、Spark) ・AWS上でのJavaバックエンド開発 週5日、リモート

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造販売メーカー向けに、車両のGPSログを用いたリアルタイム可視化アプリのパフォーマンス最適化を行います。 現状、膨大なGPSデータ解析で処理遅延が発生しており、Databricks（PySpark/Scala）およびAzureデータ基盤を中心に、抜本的なチューニングと改善施策の設計・実装をご担当いただきます。 想定業務: ・Databricks（PySpark, Scala）のパフォーマンス最適化 ・大規模バッチ/ストリーミング処理の実装・改修 ・Azureデータ基盤（ADF/SQL/Functions等）の性能改善 ・保守運用、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて、初月は週3出社、その後は週1...

【Python/機械学習/レコメンド/フルリモート】大規模消費者向けサービスのレコメンド基盤MLエンジニア（リード）

大規模MAUを誇るソーシャル系アプリ/WEBサービスにおいて、レコメンド領域のML基盤構築と改善をリードいただきます。 モデル開発からMLOps、プロダクト適用までを一貫して推進するポジションです。 具体的な担当業務： ・レコメンド向けML基盤（Training/Serving/Monitoring）の設計・構築 ・レコメンド/ランキング/パーソナライズモデルの研究開発 ・技術選定、開発ロードマップ策定および推進 ・特徴量設計、データ前処理、MLOpsの自動化推進 ・リアルタイム推論の最適化とスケール対応 ・技術課題の洗い出しと改善、品質向上施策の推進

【Python/AWS/GCP/常駐/週5日】WEBサービスデータ基盤構築/データエンジニア

データ基盤構築をお任せします。 ・データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テストの自動化

【AWS/GCP/BigQuery/Terraform】データ基盤構築案件

AWS×GCPを活用したデータ基盤の設計・構築を担当いただきます。サービス運用支援、ビジネス分析、出版社支援など、多様なデータ活用ニーズに応えられる基盤を目指します。 主な業務: ・データレイク／ETL基盤の整備 └ AWS Glue（Apache Spark/PySpark）での分散処理およびETL開発 └ S3やLake Formationを用いたデータガバナンス／セキュリティ設計 ・BigQueryベースのDWH環境構築 └ AWS→GCP間のデータ連携フロー最適化 └ BigQueryでのデータモデリング／性能チューニング ・IaCによるマルチクラウド管理 └ Terraformでの環境差異管理と自動化 ・運用効率化...

【AWS/GCP/Terraform】データ基盤構築案件（AWS×GCP）

AWSとGCPを横断したデータ基盤の構築をご担当いただきます。サービス運用、ビジネス分析、出版社支援など多様なデータ活用ニーズに対応できるプラットフォームを目指します。 主な業務内容: ・データレイク/ETL基盤整備 - AWS Glue（Apache Spark/PySpark）による分散処理・ETL開発 - S3やLake Formationを活用したデータガバナンス/セキュリティ設計 ・BigQueryベースのDWH構築 - AWS→GCPのデータ連携フロー最適化 - BigQueryでのデータモデリング、クエリ最適化（パフォーマンス改善） ・IaCによるマルチクラウド管理 - Terraformで環境差異の...

【AWS/GCP/常駐/週5日】WEBサービス向けマルチクラウドデータ基盤構築エンジニア

データ基盤構築を担っていただきます。サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 データレイク / ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 BigQueryベースのDWH環境構築 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 運用効率化と品質確保 ・Airflowなどを用い...

【AWS/GCP/BigQuery/Terraform】データ基盤構築エンジニア

AWSとGCPを併用したデータ基盤の設計・構築・運用を担当いただきます。サービス運用やビジネス分析、出版社支援など多様なデータ活用ニーズに対応できる堅牢な基盤を目指します。 主な業務内容: ・データレイク/ETL基盤の整備 └ AWS Glue（Apache Spark/PySpark）を用いた分散処理・ETL開発およびパフォーマンス最適化 └ S3、Lake Formationを活用したデータガバナンス/セキュリティ設計 ・BigQueryベースのDWH構築 └ AWS→GCPのデータ連携フロー最適化 └ BigQueryでのデータモデリング、クエリ最適化（パーティション/クラスタリング） ・IaCによるマルチクラウド管理...

【Python/機械学習/フルリモート】ソーシャルECアプリのレコメンド基盤開発リード

ソーシャルコマースアプリにおけるレコメンド領域のML基盤構築・改善をリードいただきます。 - レコメンド向けML基盤の設計・構築（Training／Serving／Monitoring） - レコメンド／ランキング／パーソナライズなどの機械学習モデルを活用したプロダクト開発 - ロードマップ策定、技術選定、開発推進 - 特徴量設計、前処理、MLOps、実運用と継続的改善 - 実験管理・運用フローの自動化 - リアルタイム推論の性能最適化 - 関連プロダクトの品質改善や技術課題の解消 勤務地はフルリモート（渋谷オフィスあり）、長期参画を予定しています。

【AWS/GCP/データパイプライン】インフラ・データエンジニア募集

AWS（データレイク）とGCP（DWH）を組み合わせたハイブリッドクラウド基盤を拡張中です。 全社で高速にデータ活用を進めるため、AWS Glue や BigQuery を用いたデータパイプラインの設計・実装・運用をお任せします。 主な業務: - データレイク/ETL基盤の構築 - AWS Glue（Apache Spark/PySpark）による分散処理・ETL開発 - S3 / Lake Formation を活用したデータ管理・セキュリティ設計 - BigQuery ベースのDWH整備 - AWS→GCP 間のデータ連携パイプライン最適化 - BigQuery によるデータモデリング/クエリ最適化 - IaC を軸とし...

Python／設備事業者向けDatabricks/Tableauを用いた統合データ基盤構築、BIシステム開発案件・求人

設備事業を展開するクライアントのDX推進プロジェクトとして、 社内外の膨大なデータを一元的かつ効率的に管理するための統合データ基盤構築に参画いただきます。 現在稼働中のTableau環境に加え、新たに高速かつ柔軟なデータ処理が可能な「Databricks」を導入し、 データレイクとDWH（データウェアハウス）の統合を目指します。 エンジニアの方には、主に以下の業務をお任せします。 ・Databricksを用いたデータ基盤環境の追加構築 ・Python/Sparkを活用した高効率なデータパイプラインの設計および実装 ・周辺データの準備処理（ETL/ELT）およびワークフローの整備 モダンなデータエンジニアリング技...

【基本リモート】データ分析基盤構築案件

案件概要：データ分析基盤構築案件 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG

【基本リモート】データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど)

案件概要：データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど) 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG

運動施設向けSaaSにおけるデータ基盤エンジニア（テックリード）

・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等） ・ETL/ELTパイプラインの改善・最適化 ・データモデル設計／マルチテナント対応 ・データガバナンス、セキュリティ設計・運用、コンプライアンス対応 ・全社業務データ／IoTデータ／行動データの統合管理 ・BIツール連携設計 ・データ基盤運用・最適化、チーム技術育成・レビュー ＜工程＞ 要件定義、設計、構築、運用、最適化、技術リード ＜開発環境＞ 言語：Python／Go／Java クラウド：AWS／GCP／Snowflake IaC：Terraform／CloudFormation／CDK DWH：BigQuery／RDB...

【フルリモート/CI/CD】ヘルステック企業での患者向けコンテンツ配信基盤エンジニア

既存プロダクトと連携し、患者向けコンテンツ配信基盤の役割を担うPEHubと呼ばれるプロダクトの開発を担当頂きます。 ・プロダクトマネージャとの仕様策定 ・各種AWSサービスをフル活用したアーキテクチャ設計 ・社内プロダクトや社内サービスとのシステム連携 ・他プロダクトチームとシステム仕様・アーキテクチャのすり合わせ ・設計したシステムの実装と運用 ・各種インフラ運用の自動化、CI/CDの強化

【AWS/Snowflake/Talend/リモート】データエンジニア/DWH・ETL設計構築

六本木を拠点にリモート併用で、DWH/ETL基盤の設計・実装・移行を担当いただきます。 ・データベースおよびDWHのスキーマ設計、レイヤー間（RAW→STG→DW/DM 等）のデータ移行設計と実装 ・顧客との要件整理、課題抽出、ソリューション提案 ・実装したソリューションの技術ドキュメント作成（データフロー、ジョブ設計、運用手順） ・開発〜テスト〜運用保守までの一連の対応 開始時期は10月想定、1名募集です。

【Python/AWS/ETL】内製開発: 開発チーム(ETL)／リモート併用

顧客内製システムの自動化開発案件です。 現在、人手で実施している障害発生時の切り分けを、各業務フローを一元化し自動化します。ETL/Data Pipeline を中核に、Airflow を用いたワークフロー自動化、サーバレス/マイクロサービスを活用した実装を進めます。 DEV/QA を横断しての支援をお願いする可能性があります。

【Python/SQL/dbt・Databricks】某企業向け_データ活用基盤移行(ETL開発)

大手企業向けのデータ活用基盤移行プロジェクトにおいて、dbt を用いたETL/ELT開発を担当いただきます。 主なミッションは、既存の Informatica で構築された処理を、Databricks 環境で動作する dbt ベースのデータパイプラインへリプレースすることです。 具体的には、要件整理・変換ロジックの再設計、dbt モデルの実装・テスト、データ品質の担保、運用を見据えたパイプライン整備を行います。Databricks 上での開発経験や PySpark を用いた分散処理の知見がある方は歓迎します。 就業形態は原則リモートですが、状況により都内23区内でのオンサイト対応をお願いする場合があります。

【Python/AWS・ETL/リモート】内製システムの自動化開発（DEVチームリード）

顧客内製システムにおける自動化開発プロジェクトです。 人手で行っている障害発生時の切り分け作業を、業務フローを統合して自動化する仕組みを開発します。DEVチームに所属し、進捗に応じてQA支援を行う場合があります。 ・対象：データパイプライン（ETL）、サーバレス／マイクロサービス基盤、ワークフロー自動化 ・役割：設計〜実装〜テスト〜運用の推進、フレームワーク／ツール／プロセスの選定、チームリード ・出社：基本フルリモートだが、月1回程度 品川出社の可能性あり

【PMO/AWS・Databricks】データ分析基盤PMO支援（基本リモート）

大規模なデータ分析基盤およびサーバー更改プロジェクトにおいて、PMOとしてご参画いただきます。 進行管理、課題管理、クライアント/社内向けの各種報告資料作成、品質管理（レビュー）、メンバー育成、ナレッジ集約、並びにクライアント折衝を一貫してご担当いただきます。 AWSやDatabricksを活用した基盤構築・更改案件のPMOとして、中長期で腰を据えて推進いただける方を想定しています。

【Java/リモートあり】官公庁のデータ連携基盤構築に伴う設計・開発

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ■概要: 官公庁のデータ連携基盤構築に伴う設計・開発業務になります。 データ連携基盤を活用する業務は、現時点では監査業務になります。 【詳細】 当該省庁が保有している各システムのデータをETLにて連携し、データマート又はデータウェアハウスを構築します。 また、ユーザーが検索する画面(Webアプリ)の構築も行います。 ■必須スキル: ・Azureの構築経験1年以上(ネットワーク等のインフラ構築周り) ・ETLツール等を用いたデータ連携基盤の構築経験 ・サブリーダー経験 ■尚可スキル: ・ガバメントクラウド(行政システム専...

【フルリモート/Python/AWS】製薬業界向けサービスを展開する事業会社でのアプリケーションエンジニア募集

薬局経営を支援する薬局ダッシュボードの画面・機能開発する責務を担っていただきます。 ■開発環境 ・React、Next ・TypeScript ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python ・その他(GitHub、Datadog、Google Analytics、GTM、KARTE)

【Python・PowerBI/品川】データ利活用エンジニア／大手メーカーDX支援

某大手メーカーのDX推進におけるデータ利活用支援を担当します。2025年9月より、性能要件を踏まえたデータ整備やデータマートの概要設計を行い、10月以降は以下の2つの業務に本格的に着手します。1つ目は、AWS Glue上でのSparkジョブ（Python）を用いたデータ収集・加工プログラムの開発、2つ目は、整備されたデータマートを基にしたPowerBIでのダッシュボード開発です。開発後は結合テストや他チームとの連携も含めた活動に参加いただきます

【フルリモート/アーキテクト】Web3.0ベースのデータスペース相互接続

■課題 データスペース間の接続方式（セマンティックウェブ、Web3.0）に基づくアーキテクチャ検討が必要。 初期受注時はスコープアウトしていたがDADC（IPA）要請を受けて対応が必須な状況。 ■概要 データスペース間接続に関する共通コンポーネント開発の全体アーキテクト設計及び実装ができる技術要員の支援 ■ポジション アーキテクト ・基盤となる海外 PF との相互接続機能、トラスト機能などの開発 ・（不要）ビジネス要求定義　※ビジネス化検討は他PJチームにて実施するため ・システムアーキテクチャ設計設計 ・機能要件の詳細化 ・プロトタイプ開発・PoC ■備考 作業場所：リモート 契約期間：2025/08/01

【二子玉川/SQL/Python】 AIプラットフォームの構築

AIモデルのエンドツーエンド開発：ビジネス部門との議論、データ収集、EDA（探索的データ分析）、モデル学習、評価、リリースまでを担当 モデル評価と改善：月次でのパフォーマンス評価と継続的な改善 ビジネスへの説明：EDAやモデル結果をビジネス部門に分かりやすく説明 目標の共有と調整：ビジネス部門と目標を共有し、フィードバックを反映

【リモート併用/大崎/Python/dbt】 モダンなデータ基盤構築・運用

Pythonを中心としたプログラミングによるデータ基盤の構築・運用を担当します。 SQLを用いたデータ分析やモデリング、dbtによるデータパイプラインの設計・開発、AWSまたは GCPを活用したインフラ構築も含まれます。 加えて、DatabricksやSnowflakeといった最新技術を用いた基盤の設計・運用や、TerraformによるIaC、 自動化されたワークフロー設計なども歓迎されます。 アジャイル（スクラム）開発の現場で、チームと連携しながら業務を推進していただきます。 【環境】 言語：Python、SQL クラウド：AWS、GCP ツール：dbt、Terraform、Databricks、Snowflake、Apa...

≪ITエンジニア≫金融機関向けDatabricks開発

★【~87万円/フリーランス】≪ITエンジニア≫金融機関向けDatabricks開発※30～50代活躍中!!【業務内容】 大手金融機関向けに、Databricksを使用した開発を担当していただきます。 データエンジニアリング領域での業務です。【求める人物像】 【必須条件】 ・過去1年以内に当社への応募履歴のない方 ・業務委託(準委任契約)が可能な方 ・100％（平日の週5日）稼働が可能な方。 ※副業希望の方はご案内ができかねます。 ・日本語ネイティブな方。（日本語でのコミュニケーション必要不可欠になります。） ・日本在住の方 ・ITスキルを使用した実務経験をお持ちの方 【尚可条件】 ・首都圏にお住まいの方 ・出社ができる方(フ...

【原則フルリモート・データ基盤の設計/構築・Python】 自社プロダクトにおけるデータエンジニア

・データエンジニアとして、現在構築を進めている新データ基盤への移行を進めるための開発作業をお任せします。 ■工程・担当業務 ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ■募集人数 ・１名 ■開発環境 クラウドサービス：AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.) データ基盤：Databricks, Redash, etc. データモデリング：dbt プロビジョニング：Terraform 開発ツール：GitHub, Slack, JIRA

【Databricks】データ解析システム開発支援(基本リモート)

Databricksによるデータ解析システムの開発案件です。 データエンジニアを1名募集致します。設計～テストまでご担当頂きます。 ■募集背景 人員不足のため。

【Python】データ解析システム構築支援(基本リモート)

Databricksによるデータ解析システムの構築支援 ■募集背景 増員のため

【データアナリスト】大手SIer データ基盤構築/活用支援（Snowflake）の求人・案件

国内外の様々なお客様にSnowflakeの導入とそれに伴うデータ活用の支援 -Snowflakeの導入コンサルティング -Snowflakeを中心としたデータ基盤の開発支援、データ活用支援 -Snowflakeや周辺技術領域（モダンデータスタック）の情報収集、技術検証 -データ基盤やデータエンジニアリングに関する技術情報発信

【Kubernetes】既存プロダクトにおけるバックエンド開発支援(フルリモート)

・コア基盤の技術選定、アーキテクチャ設計、開発、および持続的な運用 ・データ変換、意味づけ、活用を柔軟に行うための、プロダクト向けデータプラットフォームの設計・開発 ・各アプリケーションとデータプラットフォームの境界を定義し、抽象化されたAPIの設計・開発 ■募集背景 既存プロダクトにおける開発組織を強化するため。

工場データの共通基盤構築支援【長崎】/半導体メーカーのエンジニア求人・案件 IT

・データ共通基盤構築(要件定義～基本設計) ・開発ベンダーの管理(進捗、成果物レビュー)