Apache Sparkの業務委託案件・フリーランス求人一覧

【Maya/Unity】大手ゲーム会社3DCGゲーム_エフェクトアーティスト

◆案件概要 ・某大手ゲーム開発会社において3DCGゲームのエフェクトアーティストを担当いただきます。 ◆業務内容 モバイルゲーム及びコンシューマーゲーム開発におけるエフェクト制作業務を行なっていただきます。 ・ゲーム開発におけるエフェクト制作業務 ・エフェクト表現の検証、作業効率化の為のツール支援業務 ・エフェクトに関するクオリティ管理、監修業務

(一部リモート)在庫最適化システムのデータ基盤構築【Python】(日本人限定)

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 週5日、リモート

セキュリティ機能の開発案件

セキュリティ機能の開発

【Hadoop/Spark】大規模データレイクの保守・運用業務支援の求人・案件

Hadoopに関する運用業務（ユーザサポート・定常業務・メンテナンス）の支援、プロダクト保守/運用業務、利用者からの問い合わせ対応（Trino/Sparkジョブ、クラスタ自体に関する質問等）、定常的なクラスタ運用業務（定期メンテナンスや増強、利用者要望への対応など）の対応。

大手インターネット企業におけるMLエンジニア【BigQuery・Terraform・MCP Server・RAG・LLM・Python・Apache Spark・codex・claude code/リモートあり】

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 大手インターネット企業におけるMLエンジニア 【業務概要】 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計（IAM / VPC / データガバナンス） ・AIデータアクセス基盤（MCP /...

【Hadoop / Spark / フル出社】大規模データレイク基盤（Hadoop/Spark）の保守・運用支援

大規模データレイクの安定稼働を支える保守・運用案件です。 HadoopやApacheSparkを用いた運用に加え、 問い合わせ対応やメンテナンスに携わっていただけます。 5名のチーム体制で募集しています。

大手企業でのフロント業務支援スタッフ募集

大手企業の総務部にて、フロント業務を担当していただきます。主な業務は受付対応、電話応対、来客案内、会議室への案内、そして事務作業やオフィス環境の維持管理です。 ■ 業務内容 - 受付業務と来客対応 - 電話応対と問い合わせ対応 - オフィス環境の整備と事務作業 【アピールポイント】 - 定時勤務で残業が少ない環境 - 大手企業での経験価値が高い案件 - 高いコミュニケーションスキルを活かせます

大手インターネット企業におけるMLエンジニア【BigQuery・Terraform・MCP Server・RAG・LLM・Python・Apache Spark・codex・claude code/リモートあり】

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 大手インターネット企業におけるMLエンジニア 【業務概要】 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・データ基盤に関わるネットワーク・セキュリティ設計（IAM / VPC / データガバナンス） ・AIデータアクセス基盤（MCP /...

セキュリティ機能の開発案件

セキュリティ機能の開発

日銀向けシステム開発エンジニア案件【Java・Python】

日本銀行向けのプロジェクトで、Java＋JUnitまたはPython＋pysparkを使用したシステムの製造フェーズにご参画いただきます。銀行に特化した経験がある方を募集しており、即戦力として活躍できる場を提供します。面談回数は2回を予定しており、場合によっては1回に減ることもあります。 ■ 業務内容 ・システムの製造フェーズ作業 ・既存システムの改善 ・技術的な課題解決 【アピールポイント】 ・銀行系システムに深く関わる経験が積める ・安定した金融機関プロジェクトによる長期稼働可能性 ・チーム体制で働くことで協調性を活かせる ・最寄駅が品川でアクセスが良い ・スキルに応じた報酬体系

【Scala】大手広告系企業向けツール開発案件

広告配信企業向けのデータ処理・分析基盤や自社DSPの開発、保守運用を担当していただきます。 新規機能追加や既存機能の改修が主な作業です。

【Scala】動画広告の配信ログの処理システム開発案件

動画広告の配信ログの処理システムの開発を担当していただきます。 ログデータの集計や解析のためのバッチ処理の開発や、リアルタイムでのログの収集・解析のための開発をお任せします。

【Scala】教育動画サービス開発案件

教育分野に特化した動画配信サービスの開発を担当していただきます。 新規機能の開発や既存機能の改善、品質向上などをお任せします。

【Scala】マーケティングデータ分析基盤開発案件

マーケティングデータ分析基盤の開発を担当していただきます。 ビッグデータ分析技術や機械学習技術を駆使し、最適な解析環境の構築を目指します。

【Hadoop/Spark/Kafka/Hive】広告プラットフォームの開発・運用（ビッグデータ処理）案件

広告プラットフォームの開発・運用をご担当いただきます。 具体的な業務内容はデータ処理フレームワークおよびテクノロジを使用した大規模なバッチおよびリアルタイムのデータ・パイプラインの構築・保守・運用 、適切なアーキテクチャ選定、および開発・運用プロセスを推進するためのエンジニアリングチーム（または、プロジェクトチーム）のリード、実装における技術選定（アーキテクチャと開発プロセス）および本番システムの品質担保（運用・保守）です。

【DWH / クラウド構築 / 基本リモート】超大規模ゲームにおけるデータ分析基盤開発・運用

累計利用者数5,000万人を超える人気タイトルゲームを中心とした、 大規模データの分析基盤を支えるエンジニアを募集します。 BigQueryやGoogleCloudを活用したデータパイプラインの構築から、 BIツールを用いた可視化、AIエージェントの活用まで、 裁量を持って取り組める非常にやりがいのある案件です。

【Databricks/AWS/データエンジニア】フルリモート可 データ基盤開発

以下、概要になります ・フルリモート可能です ・Databricksを用いたデータ基盤の開発において、設計から製造・テストまで一連の工程を担当するポジション ・役割：開発メンバー ・フェーズ：要件定義～テスト ・主な業務：データ基盤の設計・開発・テスト、一部要件定義など

データ基盤パイプライン開発エンジニア募集

現行のデータ活用基盤からDatabricksへのデータ複製を行う パイプライン開発に携わっていただきます。初期構築は完了 しており、継続的な開発および一部維持管理を担当します。 ■ 業務内容 - データ複製パイプラインの設計と開発 - 継続的なデータ基盤の改良 - データ管理の効率化と品質改善 - 顧客ニーズのヒアリングと提案 【アピールポイント】 - 最先端技術を使用したデータ基盤強化プロジェクトに参画 - 技術力を活かして長期間プロジェクトに貢献可能 - 柔軟なプロジェクトマネジメント環境 - コミュニケーションスキルを活かせる場面が多い - キャリアアップにつながる経験を積める

エフェクトデザイナー／SPARK GEAR・Unity／ゲーム開発

＜＜スマホゲームを中心に、「ゲームで世界に感動を創り出す」企業！！＞＞ ゲーム開発におけるエフェクトデザイナー業務をお任せします。 ■□具体的には…□■ ・バトルキャラクター、モンスターのエフェクトデザイン制作 ・シナリオキャラクターのエフェクトデザインの制作 ・エフェクト演出制作 ・組み込み、実装 ・使用ツール ∟SPARK GEAR／Unity／Photoshop／Maya ＜こんな方におすすめです！＞ ・デザインスキルを活かしたい方 ・新しい技術や表現に挑戦したい方

デジタルバンク新設に伴うデータ基盤構築／開発支援 ※シニアデータエンジニア

DXコンサルティング企業（エンド：金融業）でのプロジェクト案件。 □プロジェクト概要 ・デジタルバンク新設に伴うDatabricksを中心としたデータ基盤構築プロジェクトへ参画 ・目的：レイクハウス環境におけるデータパイプライン設計／実装および品質管理の遂行 ・期待：シニアデータエンジニアとしてチーム内の技術リードおよびレビューを担う □業務内容 ・Databricks上でのデータパイプライン設計／実装 ・データ品質管理、照合、性能最適化および運用改善 ・データモデル設計、下流API連携、チーム内の技術リードおよびレビュー ■求めるプロ人材、コンサルタントのスキル・経験・素養 ・データエンジニアリングまたはアナリティクス...

(リモート)【Python】Saasプロダクトデータ基盤構築

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日（月〜金）で稼働可能な方 ＊副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 【開発環境】 ・開発言語：Python、SQL ・DB：Aurora(PostgreSQL互換)、Redshift ・ライブラリフレームワーク：Pandas、Numpy...

(リモート)【Python】AI系サービスデータ基盤構築

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日（月〜金）で稼働可能な方 ＊副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。 ・新規データ取得のETL及びデータウェアハウスの実装 ・データ基盤の運用及び保守開発 ・データの可視化 ・定例MTG対応 ・仕様書等ドキュメント作成（一部） 〜技術環境〜 OS：Linux、Windows 言語：Python、SQL DB：Redshift、Aurora(PostgreS...

デジタルカード事業の動画クリエイター募集

新規開発中のデジタルカード事業での動画クリエイターの募集です。ディレクターと連携し、動画を中心にデジタルカードやプロモーション用動画等の制作、外注会社のディレクション、制作方針の策定、制作物の検品を担当いただきます。 ■業務内容 - デジタルカードやプロモーション用動画の制作 - 外注会社のディレクション - 制作方針の策定 - 制作物の検品 - ディレクターとのコミュニケーション 【アピールポイント】 - ポートフォリオ提出必須によるスキルの明確化 - 即日参画可能でプロジェクトにすぐ関われる - 週2日のリモートで柔軟な働き方が可能 - 上限80万円の高単価案件 - 長期プロジェクトで安定した就業可能性

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造・販売メーカー向けに、車両輸送状況をリアルタイムに可視化する業務アプリのパフォーマンス改善を担当いただきます。現状、車両から送信される膨大なGPSログ解析で処理遅延が発生しており、Databricks を中心にデータ処理基盤の抜本的なチューニングと改善実装を行います。 想定業務: ・Databricks（PySpark/Scala）環境のパフォーマンス最適化 ・大規模データ処理（数億行規模）の実装・改修 ・Azure データ基盤（Data Factory など）のパフォーマンス改善 ・保守運用、構成管理、リファクタリング 商流はエンド→弊社→貴社。弊社から複数名稼働中で意思決定・動きは速い環境です。

【Databricks/SQL/Python/フルリモート】データ解析システム構築支援案件

【募集背景】 【作業内容】 Databricksによるデータ解析システムの構築支援（設計/実装/テスト）を行います。 【求める人物像】 受け身や指示待ちでなく、主体的に業務に取り組み積極的に行動できる方。 チームメンバーとも積極的にコミュニケーションが取れ、チームとしての動きを意識できる方。 前向きに仕事と向き合える方。 周囲に対して気配りができる方。 【ポジションの魅力】 最新のデータ解析技術に携わり、スキルアップを図ることができます。 【開発環境】 Databricks、Azure Blob Storage、Azure Data Factory、SQL/Python、Power BI

SaaSのデータ基盤構築【Python】【日本人限定/一部リモート】

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日（月〜金）で稼働可能な方 ＊副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 ・顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 ・基本設計、詳細設計、開発、体テスト、結合テスト、総合テスト、運用をご担当いただきます。 〜開発環境〜 ・開発言語：Python、SQL ・DB：Aurora(Post...

需要予測サービスの導入支援【Python】【日本人限定/一部リモート】

下記ご確認の上、ご応募お願いいたします。 ーーーーーーーーーーーーーーーーーー ・本案件は、日本人限定 ・東京の顧客先に出社可能な方 ・週5日（月〜金）で稼働可能な方 ＊副業、請負案件ではございません。 ーーーーーーーーーーーーーーーーーー ・小売業向け需要予測サービスの導入支援 ・ベンダー側SEとして要件定義から導入までの対応 ・お客様からの要望に合わせて下記対応 -モデルに読み込ませるデータの加工、ストレージへの対応 -モデル構築、インターフェースの開発 -システムの移行、データの移行(パフォーマンス検証) 週5日、リモート

【Databricks/PySpark/Azure】商用車ロジスティクス可視化基盤のデータ処理最適化

【作業内容】 ・Databricks（PySpark, Scala）環境のパフォーマンス最適化を行います。 ・大規模データ処理の実装・改修を担当します。 ・Azureデータ基盤のパフォーマンス改善を行います。 ・保守・構成管理およびリファクタリングを担当します。

【週４リモート/AWS・Databricks】ビッグデータ解析・分散処理基盤開発データエンジニア募集！

自社サービスのデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。 ＜具体的な業務例＞ ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械...

【Java/Spark/AWS】メガバンク向けシステム一元化案件

大手メガバンク向けに、銀行側と信託側のシステムを統合（一元化）する大型プロジェクトです。 12月～基本設計、1月～詳細設計、3月～CD/UT、5月～IT（結合/総合テスト）を予定し、C/Oは2027年2月を見込みます。良好であれば以降の延長可能性もあります。 担当想定は以下の通りです。 ① 既存システムの保守・運用 ② 銀行側と信託側のシステム統合（取込）により、信託側をクローズ 環境はJava、Shell（Java起動）、Spark（分散処理・データマッピング）、Python（Spark起動）で、AWS上での稼働が想定されています。 稼働は水天宮前/人形町駅付近での常駐、定時は8:50～17:30です。弊社体制で参画中で、ベ...

【Python/AWS/データ基盤】大手製造小売向けデータプラットフォーム開発・運用（リモート）

大手製造小売企業における、AWSベースのデータ基盤の構築・運用案件です。 主な業務は以下の通りです。 ・AWSを活用したデータ基盤の設計、構築、運用 ・Airflow等を用いたETL/データパイプラインの設計〜改善 ・Spark/PySparkによる大規模データ処理の実装 ・分析用データモデルの設計、dbtを用いたモデリング・開発 ・運用チームのタスク管理、コードレビュー、トラブルシューティング対応 など 期間は2026年1月開始の長期予定（初月単月契約、以降応相談）。勤務地は茅場町を拠点としたリモート併用で、就業時間は9:00〜18:00です。 面談は1回（弊社同席）。募集は1名、年齢不問です。 二段階認証（Authent...

【Python／Shell】【PL】大手製造小売業におけるデータ設計開発業務の求人・案件

大手製造小売業におけるデータ設計開発業務の運用リーダーとしてご参画していただきます。\n\n主に下記作業をご担当いただきます。\n・AWS を活用したデータ基盤（DWH／データレイク）の設計・構築・運用\n・Glue・Spark／PySpark・MWAA などを用いた ETL／\nデータパイプラインの開発・改善\n・分析向けデータモデル（DWH スキーマ等）の設計および dbt を用いたモデル開発\n・データ処理の品質管理、パフォーマンス改善、運用フローの最適化\n・運用チームのタスク管理・トラブルシューティングなどのリーダー業務\n\n【開発環境】\n使用言語: Python, Shell Script, SQL\nデータ処...

【Java/Spark】メガバンク向けシステム一元化開発

メガバンク向けに、銀行側と信託側のシステムを一本化する大規模プロジェクトです。既存システムの保守・運用を行いつつ、段階的に基本設計、詳細設計、製造・単体テスト、結合テスト、ITを実施し、最終的に信託側システムをクローズします。 期間の目安： ・12月～ 基本設計 ・1月～ 詳細設計 ・3月～ 製造/UT ・5月～ IT ・C/O：2027年2月予定（以降の延長可能性あり） 環境：Java、Shell（Java起動）、Spark（分散処理・データマッピング）、Python（Spark起動）、AWS想定 作業場所：水天宮前/人形町駅（常駐） 定時：8:50～17:30 体制：元請けから複数名体制で参画中。ベテラン＋若手のセット提案...

【Python/Spark・AWS Glue/Step Functions】データサービス基盤(ODS/Data-Hub)開発

データ活用基盤において、各種源泉システムからのデータ蓄積を担う ODS(Operational Data Store) と、源泉システムと ODS 間のデータ連携を実現する Data-Hub を中核コンポーネントとして設計・実装します。 基本設計以降の工程を担当し、ETL/ELT パイプラインの設計・構築、バッチ/ストリーミング処理、API 連携の実装、クラウド上での運用まで幅広く対応いただきます。 主な利用技術は Python、Spark、AWS Glue、AWS Step Functions、EMR、Lambda、各種データベースとなります。

【基本リモート】データ分析基盤構築案件

案件概要：データ分析基盤構築案件 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG

【Java/TypeScript/Python/フルリモ】官公庁向け情報管理システムPoC開発

【作業内容】 来年度の本番開発に向けて、主な機能を構築してPoC実施するプロジェクトの開発部分を担当しています。 DBより情報を抽出して、帳票（Excel）出力する機能の開発を行います。また、既存仕様書をもとに自立的に開発・実装を推進し、コンテナ環境やクラウドサービスを活用したシステム構築を行います。 データ基盤やアプリケーションの品質担保や課題解決も担当していただきます。 開発（コーディング）を中心に進行します。 ※仕様書上不明瞭な部分があるため、課題管理表やチャットなどを中心にクライアントの確認程度は発生することがあります。 【求める人物像】 ・仕様書を読み解き、主体的にタスクを進められる方 ・問題解決...

【基本リモート】データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど)

案件概要：データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど) 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG

【AWS/インフラ/Spark】大手通信系データ分析基盤の高度化開発PJT サブリーダー

大手通信企業向けの大規模データ分析基盤における保守・機能拡張プロジェクトです。 AWSを中心に、新サービス導入の技術検討からインフラ構成検討・設計、リリースまで一連の工程を担当します。 直近ではCI/CD、Databricks、チャットボット、コンテナなどの新技術をPOC的に継続導入しています。今回は技術面でのサブリーダーとして、リーダーの補完やメンバーフォローを担える方を募集します。上位からは現在7名参画中です。 ＜想定業務＞ ・AWS環境でのサーバ構築やシステム開発 ・Spark/EMRによるデータ分析・抽出 ・データ集計、手動更新、テストデータ投入 ・AWS Lambdaでのジョブ実行コントロール ほか ＜システム...

【web面談設定済み、弊社同席、リモート併用】大手通信業者様データ情報系システムのモダナイズ案件/

大手通信業者様のデータ情報系システム（大規模DWH）を 段階的にクラウドシフトしている案件です。

【AWS/Python/Spark】データ分析基盤の保守開発サブリーダー

大手通信企業向けの大規模データ分析基盤にて、保守開発および新規技術導入を推進するサブリーダーを募集します。 AWSを中心に、インフラ構成の検討・設計からリリースまで一連を担当。CI/CD、Databricks、チャットボット、コンテナ等のPOC的導入・刷新にも関与いただきます。 具体的には、AWS環境でのサーバ構築やシステム開発、EMR/Sparkを用いたデータ分析・抽出、データ集計・手動更新、テストデータ導入、AWS Lambdaによるジョブ実行コントロールなどをお任せします。