Apache Spark × 80万円以上の業務委託案件・フリーランス求人一覧

大手インターネット企業におけるMLエンジニア【BigQuery・Terraform・MCP Server・RAG・LLM・Python・Apache Spark・codex・claude code/リモートあり】

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 大手インターネット企業におけるMLエンジニア 【業務概要】 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計（IAM / VPC / データガバナンス） ・AIデータアクセス基盤（MCP /...

【定番】【リモート相談可 / Python / 週4日〜】「スポーツ × AI × データ解析」自社メディアのAI開発

自社で開発した人工知能をメディアに搭載し、現在はプロ野球を中心に勝敗予測、3D一球速報を展開しています。 Bリーグ、Jリーグに加え、今後も領域を拡大予定。 各競技毎にアルゴリズムを調整し、最適化を実現していくための増員募集です。 主に今後拡大予定のスポーツそれぞれに機械学習のアルゴリズム開発、調整をお願いします。 公開_備考：※月額報酬額は”最大稼働可能日数”で換算した際の金額です。

【定番】【フルリモ / AWS / 週3日〜】分散DBを用いたデータ基盤のインフラ運用改善

テレビ視聴データを分析するデータ基盤のインフラエンジニアとして、特に AWS EMR での Spark, HBase, Hive, Presto, Hudi といった分散DBの知見のある方を募集いたします。 データ基盤以外のインフラ全般について担当するエンジニアと連携して、システム基盤の運用改善に取り組んでいただきます。 公開_備考：※月額報酬額は”最大稼働可能日数”で換算した際の金額です。

【Scala】大手広告系企業向けツール開発案件

広告配信企業向けのデータ処理・分析基盤や自社DSPの開発、保守運用を担当していただきます。 新規機能追加や既存機能の改修が主な作業です。

【Scala】動画広告の配信ログの処理システム開発案件

動画広告の配信ログの処理システムの開発を担当していただきます。 ログデータの集計や解析のためのバッチ処理の開発や、リアルタイムでのログの収集・解析のための開発をお任せします。

【Scala】教育動画サービス開発案件

教育分野に特化した動画配信サービスの開発を担当していただきます。 新規機能の開発や既存機能の改善、品質向上などをお任せします。

【Scala】マーケティングデータ分析基盤開発案件

マーケティングデータ分析基盤の開発を担当していただきます。 ビッグデータ分析技術や機械学習技術を駆使し、最適な解析環境の構築を目指します。

【Hadoop/Spark/Kafka/Hive】広告プラットフォームの開発・運用（ビッグデータ処理）案件

広告プラットフォームの開発・運用をご担当いただきます。 具体的な業務内容はデータ処理フレームワークおよびテクノロジを使用した大規模なバッチおよびリアルタイムのデータ・パイプラインの構築・保守・運用 、適切なアーキテクチャ選定、および開発・運用プロセスを推進するためのエンジニアリングチーム（または、プロジェクトチーム）のリード、実装における技術選定（アーキテクチャと開発プロセス）および本番システムの品質担保（運用・保守）です。

【Databricks/AWS/データエンジニア】フルリモート可 データ基盤開発

以下、概要になります ・フルリモート可能です ・Databricksを用いたデータ基盤の開発において、設計から製造・テストまで一連の工程を担当するポジション ・役割：開発メンバー ・フェーズ：要件定義～テスト ・主な業務：データ基盤の設計・開発・テスト、一部要件定義など

デジタルバンク新設に伴うデータ基盤構築／開発支援 ※シニアデータエンジニア

DXコンサルティング企業（エンド：金融業）でのプロジェクト案件。 □プロジェクト概要 ・デジタルバンク新設に伴うDatabricksを中心としたデータ基盤構築プロジェクトへ参画 ・目的：レイクハウス環境におけるデータパイプライン設計／実装および品質管理の遂行 ・期待：シニアデータエンジニアとしてチーム内の技術リードおよびレビューを担う □業務内容 ・Databricks上でのデータパイプライン設計／実装 ・データ品質管理、照合、性能最適化および運用改善 ・データモデル設計、下流API連携、チーム内の技術リードおよびレビュー ■求めるプロ人材、コンサルタントのスキル・経験・素養 ・データエンジニアリングまたはアナリティクス...

デジタルカード事業の動画クリエイター募集

新規開発中のデジタルカード事業での動画クリエイターの募集です。ディレクターと連携し、動画を中心にデジタルカードやプロモーション用動画等の制作、外注会社のディレクション、制作方針の策定、制作物の検品を担当いただきます。 ■業務内容 - デジタルカードやプロモーション用動画の制作 - 外注会社のディレクション - 制作方針の策定 - 制作物の検品 - ディレクターとのコミュニケーション 【アピールポイント】 - ポートフォリオ提出必須によるスキルの明確化 - 即日参画可能でプロジェクトにすぐ関われる - 週2日のリモートで柔軟な働き方が可能 - 上限80万円の高単価案件 - 長期プロジェクトで安定した就業可能性

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造・販売メーカー向けに、車両輸送状況をリアルタイムに可視化する業務アプリのパフォーマンス改善を担当いただきます。現状、車両から送信される膨大なGPSログ解析で処理遅延が発生しており、Databricks を中心にデータ処理基盤の抜本的なチューニングと改善実装を行います。 想定業務: ・Databricks（PySpark/Scala）環境のパフォーマンス最適化 ・大規模データ処理（数億行規模）の実装・改修 ・Azure データ基盤（Data Factory など）のパフォーマンス改善 ・保守運用、構成管理、リファクタリング 商流はエンド→弊社→貴社。弊社から複数名稼働中で意思決定・動きは速い環境です。

【Databricks/SQL/Python/フルリモート】データ解析システム構築支援案件

【募集背景】 【作業内容】 Databricksによるデータ解析システムの構築支援（設計/実装/テスト）を行います。 【求める人物像】 受け身や指示待ちでなく、主体的に業務に取り組み積極的に行動できる方。 チームメンバーとも積極的にコミュニケーションが取れ、チームとしての動きを意識できる方。 前向きに仕事と向き合える方。 周囲に対して気配りができる方。 【ポジションの魅力】 最新のデータ解析技術に携わり、スキルアップを図ることができます。 【開発環境】 Databricks、Azure Blob Storage、Azure Data Factory、SQL/Python、Power BI

【週４リモート/AWS・Databricks】ビッグデータ解析・分散処理基盤開発データエンジニア募集！

自社サービスのデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。 ＜具体的な業務例＞ ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械...

【Python／Shell】【PL】大手製造小売業におけるデータ設計開発業務の求人・案件

大手製造小売業におけるデータ設計開発業務の運用リーダーとしてご参画していただきます。\n\n主に下記作業をご担当いただきます。\n・AWS を活用したデータ基盤（DWH／データレイク）の設計・構築・運用\n・Glue・Spark／PySpark・MWAA などを用いた ETL／\nデータパイプラインの開発・改善\n・分析向けデータモデル（DWH スキーマ等）の設計および dbt を用いたモデル開発\n・データ処理の品質管理、パフォーマンス改善、運用フローの最適化\n・運用チームのタスク管理・トラブルシューティングなどのリーダー業務\n\n【開発環境】\n使用言語: Python, Shell Script, SQL\nデータ処...

【Python/Azure/フルリモート/週5日】WEBサービス小中学生向け学習支援サービスにおけるデータ分析基盤

小中学生向け学習支援サービスにおけるデータ分析基盤の保守開発を担当していただきます。 ・既存システムのキャッチアップ ・データ分析基盤の保守開発

【Python/Azure/リモート併用/週5日】教育系データサイエンティスト

必要技術に記載した技術を活用したデータ分析基盤構築の経験が豊富な方 ・既存システムの仕様を読み取り キャッチアップをスムーズに行える方 ・保守経験が豊富な方

【二子玉川/AI×セキュリティデータ】某大手EC企業のデータエンジニアポジション

データ分析とインサイト抽出：サイバーセキュリティ関連データの詳細な分析を行い、傾向、パターン、異常を特定。可視化やレポートを通じてステークホルダーに共有。 AIモデルの展開と運用：AI/MLモデルを本番環境に展開・監視・保守し、高可用性と高パフォーマンスを確保。 AIインフラ管理：クラウドリソースや専用ハードウェアを含むAI／データインフラの選定、導入、管理。 データパイプラインの構築：大規模なサイバーセキュリティ関連データの取り込み、処理、変換のための堅牢かつスケーラブルなパイプラインを設計・構築・保守。 AIモデルの性能最適化：本番環境でのAI/MLモデルの性能を最適化（ファインチューニング、スケーリング、リソース...

【SE募集】Azure・Sparkによる学習支援サービスのデータ基盤開発案件

学生向け学習支援サービスにおけるデータ分析基盤の保守開発をご担当いただきます。 既存システムの仕様を迅速にキャッチアップし、Azure関連技術を活用したシステムの保守および開発に従事していただきます。 【具体的には】 ◆既存データ分析基盤の保守・開発業務 ◆既存システムの仕様把握・キャッチアップ ◆Azure Data Factory、Data Lake Storage、Databricks 等の利用 ◆SQL、Python（PySpark）、Apache Sparkを用いた開発

≪SQLエンジニア≫顧客ID採番用ロジック・テーブル作成支援

★【~105万円/フリーランス】≪SQLエンジニア≫顧客ID採番用ロジック・テーブル作成支援※30～50代活躍中!!【業務内容】 ・Azure Databricksを用い、4つの個人情報データを基に顧客IDを採番するロジック・テーブルの作成（保険会社向け） ・基本設計、開発、テスト 【求める人物像】 【必須条件】 ・過去1年以内に当社への応募履歴のない方 ・業務委託(準委任契約)が可能な方 ・100％（平日の週5日）稼働が可能な方。 ※副業希望の方はご案内ができかねます。 ・日本語ネイティブな方。（日本語でのコミュニケーション必要不可欠になります。） ・日本在住の方 ・ITスキルを使用した実務経験をお持ちの方 【尚可条件】 ・...

大手インターネット企業におけるLLMOps【LLM・LLMOps・ML・RAG・Langfuse・TypeScript・Node.js/リモートあり】

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 大手インターネット企業におけるLLMOps / MLエンジニア 【業務概要】 ・Langfuseを用いたLLMトレース・評価基盤の設計 ・自動評価 / 人手評価の設計および運用 ・ログデータ分析による品質課題の特定 ・プロンプト / モデル改善提案と検証 ・改善サイクルの仕組み化（再現可能な運用設計） ・コスト・トークン最適化設計 ◆主な開発環境・ツール -Cloud Google Cloud（BigQuery / GCS / STS / VPC-SC / IAM） Oracle Cloud（Exadata ...

Python／リース会社向け情報系システムにおけるDatabricks移行・バッチ性能改善エンジニア開発案件・求人

・大手リース会社の根幹を支える情報系システムにおいて、現行のバッチ処理における性能課題を打破する極めて重要なミッションです。 具体的には、Databricksへの移行を通じて、膨大なデータの高速処理を実現していただきます。 現行のSQLロジックを深く読み解き、最適なアーキテクチャへの再設計（基本、詳細設計）から、テストツールを駆使した品質担保、さらにはジョブ性能のチューニングまで、エンジニアとしての技術的好奇心を刺激する一気通貫の業務内容です。 ・データ基盤の近代化という、クライアントのビジネススピードを加速させるやりがいの大きなプロジェクトに、あなたのスキルを最大限に活かしてみませんか。 ※リモートワーク可

データ分析基盤構築リモート併用大手インターネット事業会社データエンジニア募集

インターネット事業を主軸に展開している東証プライム上場企業にて、データエンジニアとして参画。全社データ分析基盤のアーキテクチャ設計・構築。データレイク / DWH基盤の設計・運用。ETL / ELTパイプラインの設計・開発。クロスクラウドデータ連携の設計・実装。データモデリングの設計。Terraformを用いたIaCによるインフラ管理。データ基盤に関わるネットワーク・セキュリティ設計。AIデータアクセス基盤の構築。

【Python/SQL/リモート併用/週5日】全社データ分析基盤のアーキテクチャ設計・構築支援

大手インターネット企業にて、全社データ分析基盤のアーキテクチャ設計および構築をMLエンジニアとして担当していただきます。 主な業務は、数千万〜数億レコード規模の大規模データを扱うデータレイクやDWH（BigQuery）の設計・運用です。 具体的には、OCIからGCPへのクロスクラウドデータ連携の実装や、ETL/ELTパイプラインの開発、Terraformを用いたIaCによるインフラ管理を担っていただきます。 また、AIデータアクセス基盤（MCP/Agent）の構築や、データガバナンス・セキュリティ設計（IAM/VPC）など、最先端のデータ基盤構築に幅広く携わることができる環境です。

【AI/データ分析/常駐】AI・データ分析案件（豊洲）：データサイエンティスト/AIエンジニア

経営に寄与するデータ分析の推進を担当いただきます。分析テーマの実行と手順書作成、セマンティックレイヤやカタログの設計・運用、AIを活用した分析機能の検討と結果取りまとめ、関連組織との調整や優先度策定、進捗・リスク管理を行います。

データエンジニア（AWS × GCP）

・ データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理 ・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テストの自動化

【定番】【フルリモート可】LLM/AIエンジニア

【業務内容】 ●担当領域 SaaS/キャリアプラットフォームで用いるLLM/AIエージェントシステムの開発 ●担当役割 LLM/AIエージェントの開発、LLM関連APIの開発、Vector DBの整備 ●担当業務（必須） ・LLMを用いたエージェントの構築 ・RAGにおけるRetrieverの実装 ・LLMOpsの整備 ・CI/CDの構築とエージェントのデプロイ ・エージェントを用いたAPIの実装 ・開発したエージェントのAPI化 ●担当業務（スキルベースでご相談） ・LLM/AIエージェントの開発・デプロイ ・LLM/AIエージェントの運用基盤構築および運用 ・RAGのためのデータ基盤・データベースの整備 ・エージェン...

【定番】【リモート相談可 / Go / 週4日〜】自社プロダクトのデータ分析基盤（API / 解析基盤）の開発・運用

今回は自社開発中のデータ統合プラットフォームのサーバーサイドエンジニアを募集します。 - k8s on GCPを使ったデータパイプライン基盤/API開発 - Spark on k8s を使ったパイプライン内のサーバーレスコンピューティング基盤開発 - Data Prep-Model Scoring までをサーバーレスで一気通貫で提供するML基盤開発 公開_備考：※月額報酬額は”最大稼働可能日数”で換算した際の金額です。

【AWS/GCP/Python/DWH】サーバーサイドエンジニア

【概要】 クライアント内のデータレイク・DWH管理するDWHチームの募集になります。 アダルトコンテンツ：有 【主な作業内容】 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 【求める人物像】 ・根気よく問題と向き合い解決まで取り組んでいただける方 ・課題を俯瞰的に捉え、似た課題を効率的に解決するような創意工夫が行える方 【開発環境】 [言語] Python, Hive, Spark [AWS] EMR, Glu...

Python／大手インターネット企業におけるLLMOps / MLエンジニアの開発案件・求人

大手インターネット企業の全社横断的なデータ分析基盤、およびAIデータアクセス基盤をゼロベースから設計・構築していただきます。 クロスクラウド環境でのデータ基盤構築から、最新のMCP/Agentを用いたAI連携まで、モダンなデータエンジニアリングの最前線に立つワクワクするプロジェクトです。 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・デ...

【生成AI/機械学習/一部リモート】大手ネット企業内の業務改善推進（企画〜開発〜運用）

大手インターネット企業の社内において、生成AI・機械学習を活用した業務改善およびビジネス価値創出を推進いただくポジションです。 不正決済検知（ML）、ユーザースコアリング（ML）、業務効率化プロセス（生成AI）などの類似テーマの知見を活かし、以下のフェーズを一気通貫で担当いただきます。 1) 企画：目的・課題の明確化、実現可能性の検討、ROIの試算 2) 開発：システム/モデル設計、モデル構築、オフライン/オンライン評価とビジネスインパクト検証 3) 運用：業務への導入、保守運用、継続的改善 ビジネス視点でのAI利活用を上流から担える希少な案件です。エンド側プロパーも参画しているため、すべての領域の第一人者である必要はあり...

【基本フルリモート/Python/AWS】生成AIテキスト分析システム最適化エンジニア

自動車会社およびコールセンター向けSNSに投稿される顧客評価テキストデータを対象に、生成AIを用いて分類および要約を行うデータ分析システムの構築プロジェクトです。 本案件ではPoC段階ではなく、本番稼働に向けたシステム構築フェーズに参画いただきます。分析精度を維持しながら処理性能を高め、生成AIの利用コスト削減を実現するための処理ロジックの設計および実装を担当します。 主な業務は、データ分析システムのバッチ処理設計、Pythonを用いたデータ処理ロジックの開発、処理パフォーマンスの改善、生成AI呼び出し処理の最適化などです。 テキストデータの分析処理を効率的に実行するためのアーキテクチャ設計や、生成AIを活用した業務シス...

【Python/SQL/リモート併用/週5日】クラウドデータ基盤構築エンジニア

企業のマーケティングDXや事業変革をデータ活用で支援するコンサルティングファームにて、データ基盤（DWH・ETL・データレイク）の設計・構築を担当いただきます。 東証プライム上場企業を中心とした大手クライアントに対し、データドリブン経営の核となる基盤づくりをリードするポジションです。 具体的には、Snowflake、BigQuery、Databricksといった最新のクラウドDWHの導入支援や、Python/SQLを用いた効率的なデータパイプライン（ETL/ELT）の設計・実装に携わっていただきます。 また、ストリーミングデータ処理やデータガバナンス設計など、大規模かつ複雑なデータ環境において最適なアーキテクチャを提案・構築...

データ基盤構築案件

データレイク / ETL基盤の整備として、AWS Glue（Apache Spark）を用いた分散処理およびETL開発、S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計を行います。

【AWS/GCP/データエンジニア】データ基盤構築（常駐）

エンド直案件にて、九段下常駐でデータレイク/ETL基盤の設計・構築・運用を担当いただきます。 主な業務は以下の通りです。 ・データレイクおよびETL基盤の構築 ・AWS Glue（Apache Spark/PySpark）による分散処理とETL開発 ・S3/Lake Formation を利用したデータ管理とセキュリティ設計 ・BigQuery を中心としたDWH環境の整備、データモデリング、クエリ最適化 ・AWS→GCP 間のデータ連携パイプライン最適化 ・Terraform を活用したIaCによるマルチクラウドの構成管理/自動化 ・Airflow/MWAA 等のワークフロー管理とCI/CD基盤整備 ・データ品質テストの自動...

【センター北/C言語・Python】自動車ADAS・自動運転開発プロジェクト

大手自動車関連プロジェクトにて、ADAS（先進運転支援システム）および自動運転、コネクテッド領域の開発を担当します。 ご経験に応じて、プロジェクトマネジメント、モデルベース開発、車載組込みソフト開発、データ基盤構築、品質評価・検証などのポジションをご提案します。 自動車業界における大規模開発プロジェクトで、機能安全や品質基準に準拠した開発を推進していただきます。英語を用いたドキュメント対応や海外拠点との連携が発生する可能性もあります。 【技術スタック】 ・開発言語：C言語、C++、Python、Java ・クラウド：AWS、Azure ・データ処理：Spark ・その他：AUTOSAR

【Databricks/BI】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカーにおけるデータ利活用コンサルティング案件です。 Databricks を用いたデータ整形・加工プロセスの設計および実装、要望ヒアリングから要件定義、活用定着までの伴走支援を担当いただきます。 また、社内に蓄積されたデータの可視化（BIツール活用）と、分析基盤の運用・改善もお任せします。 常駐が基本ですが、一部リモートの相談も可能です。

【エンド直】マルチクラウド環境のデータ基盤構築・運用改善/データエンジニア募集

データ基盤構築をお任せします。 ・データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テスト...

【Azure/Databricks/Azure AI Search】エネルギー会社向けセキュリティ審査支援AIエージェント開発【上級SE】

貴方様には、役員直下のポジションとして、財務・IR・M&A等、幅広い業務を通じて経営に貢献していただきます。上場企業としてのガバナンス強化、持続的な成長に向けた戦略立案から実行支援まで、経営層と密接に連携しながら、経営の中枢を担う重要な役割を担っていただきます。 【具体的には】 ◆ADLS→Databricks取込の実装（増分・エラー処理・再実行性を含むジョブ化） ◆Medallion（Bronze/Silver/Gold）実装（Deltaテーブル作成／スキーマ定義含む） ◆Gold出力〜Azure AI Search格納の実装（ADLS出力＋インデクサ設定・実行まで） ◆AI Searchのインデックス設計（フィールド/フ...

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカー内にて、データ利活用のコンサルティングを担当いただきます。 - Databricks を用いたデータ整形・加工プロセスの設計および実装 - 顧客ヒアリングから要件定義、活用定着までの伴走支援 - 社内蓄積データの可視化（BIツール活用）および分析基盤の運用 - 運用改善やダッシュボード高度化の提案 常駐が基本ですが、状況により一部リモートの相談が可能です。