Hadoop × 100万円以上の業務委託案件・フリーランス求人一覧

【Scala】大手広告系企業向けツール開発案件

広告配信企業向けのデータ処理・分析基盤や自社DSPの開発、保守運用を担当していただきます。 新規機能追加や既存機能の改修が主な作業です。

【Hadoop/Spark/Kafka/Hive】広告プラットフォームの開発・運用（ビッグデータ処理）案件

広告プラットフォームの開発・運用をご担当いただきます。 具体的な業務内容はデータ処理フレームワークおよびテクノロジを使用した大規模なバッチおよびリアルタイムのデータ・パイプラインの構築・保守・運用 、適切なアーキテクチャ選定、および開発・運用プロセスを推進するためのエンジニアリングチーム（または、プロジェクトチーム）のリード、実装における技術選定（アーキテクチャと開発プロセス）および本番システムの品質担保（運用・保守）です。

【Databricks/PySpark/Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造販売メーカー向けに、商用車の輸送状況をリアルタイム可視化する業務アプリのパフォーマンス改善を担当いただきます。 膨大な車載GPSログの解析で発生している処理遅延を解消するため、Databricks（PySpark/Scala）を中心にデータ処理基盤の抜本的なチューニングおよび改善実装を実施します。 主な作業内容: ・Databricks（PySpark, Scala）環境のパフォーマンス最適化 ・大規模データ処理の実装/改修（数億行規模） ・Azure上のデータ基盤のボトルネック解析と改善 ・保守、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて初月は週3出社、その後は週1出社を想定（状況により変更の可能...

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造・販売メーカー向けに、車両輸送状況をリアルタイムに可視化する業務アプリのパフォーマンス改善を担当いただきます。現状、車両から送信される膨大なGPSログ解析で処理遅延が発生しており、Databricks を中心にデータ処理基盤の抜本的なチューニングと改善実装を行います。 想定業務: ・Databricks（PySpark/Scala）環境のパフォーマンス最適化 ・大規模データ処理（数億行規模）の実装・改修 ・Azure データ基盤（Data Factory など）のパフォーマンス改善 ・保守運用、構成管理、リファクタリング 商流はエンド→弊社→貴社。弊社から複数名稼働中で意思決定・動きは速い環境です。

【Databricks/PySpark・Scala】商用車ロジスティクス可視化基盤のデータ処理最適化

トラック製造販売メーカー向けに、車両のGPSログを用いたリアルタイム可視化アプリのパフォーマンス最適化を行います。 現状、膨大なGPSデータ解析で処理遅延が発生しており、Databricks（PySpark/Scala）およびAzureデータ基盤を中心に、抜本的なチューニングと改善施策の設計・実装をご担当いただきます。 想定業務: ・Databricks（PySpark, Scala）のパフォーマンス最適化 ・大規模バッチ/ストリーミング処理の実装・改修 ・Azureデータ基盤（ADF/SQL/Functions等）の性能改善 ・保守運用、構成管理、リファクタリング 稼働形態は新川崎駅近辺にて、初月は週3出社、その後は週1...

【ApachFlink/Hadoop】会計処理システムのリプレイス案件

社内システムのリプレイス（会計処理システム）案件にご参画いただきます。 既存システムのリプレイス、アーキテクチャから見直していただきます。 リプレイスに先立ち、コアとなるバッチ処理の一部機能をApache Flink、Hadoopを適用して一部移行(実装)し、 既存システム全体のFlink、Hadoopに置き換えた際の動作担保、性能検証を行います。 そのうえで、リプレースの規模感や、要件整理のためのPoCとします。 バッチ処理で、ApachFlinkやHadoopDBを使用することを検討しており、 アーキテクチャ設計や検討（Poc）可能な要員を募集しています。 ＜想定作業＞ ・既存機能の把握 ・ 一部機能の実...

【定番】【リモート相談可 / Linux / 週5日】一般企業向けビッグデータ配信システム/データセンター基盤構築及び保守支援

①インフラ枠 SNS企業からのデータを加工し契約法人向け配信しているシステム基盤の構築と維持を行っていただきます。(保守) ②システム枠 環境はLinux上にHadoop/Elasticsearchを使い、Python/Javaにてデータ分析・抽出を行っていただきます。 公開_備考：※月額報酬額は”最大稼働可能日数”で換算した際の金額です。

【SE】会計処理システムリプレイスの求人・案件

社内会計処理システムのリプレイス案件にご参画していただきます。\n既存システムのアーキテクチャを見直し、バッチ処理にApache\nFlinkやHadoopを適用したPoCを実施します。\n中核となるバッチ処理の一部機能をFlink、Hadoopにて実装・移行し、動作担保・\n性能検証を行い、リプレイスの規模感や要件整理の基盤とします。\n\n主に下記作業をご担当いただきます。\n・既存機能の把握\n・一部機能の実装（Flinkの適用）\n・実装を動作させるためのインフラ構築\n・動作検証、性能検証\n\n最寄り駅：虎ノ門駅・竹芝駅・天王洲アイル駅

Ruby／自社DMPプロダクトバックエンド開発案件・求人

自社で提供するDMP（データマーケティングプラットフォーム）の開発業務をご担当いただきます。 Ruby on Railsによるアプリケーションと分析、媒体連携用データを保持する Google Cloudのデータ基盤を開発、運用します。 ▼工程 基本設計から実装、保守運用まで実施いただきます。 ビジネス要件はビジネス担当部門が行います。 設計に必要な要件の明確化などのコミュニケーションは適宜行っていただきます。 ▼主な業務内容 ・管理画面の開発、保守、運用 ・分析データ基盤の開発、保守、運用

≪データエンジニア≫生成AI×モダンデータスタックを用いた全社横断のデータ基盤構築

★【~100万円/フリーランス】≪データエンジニア≫生成AI×モダンデータスタックを用いた全社横断のデータ基盤構築※30～50代活躍中!!【業務内容】 データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 業務内容は多岐に渡り、自社AIプロダクトにおけるデータ基盤の設計構築や、DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 データの収集元はテキストデータを中心に多岐に渡る想定であり、収集したデータはLLM/RAG技術を活用し、ChatGPTのようなボットの活用を行い、問い合わせの自動対応を実現することを行います。 初期的にはMicrosoft Az...

【データアナリスト】大手SIer データ基盤構築/活用支援（Snowflake）の求人・案件

国内外の様々なお客様にSnowflakeの導入とそれに伴うデータ活用の支援 -Snowflakeの導入コンサルティング -Snowflakeを中心としたデータ基盤の開発支援、データ活用支援 -Snowflakeや周辺技術領域（モダンデータスタック）の情報収集、技術検証 -データ基盤やデータエンジニアリングに関する技術情報発信

【RHEL/Windows】スマートデータレイク基盤の導入 | のエンジニア求人・案件 システムエンジニア・プログラマー / Windows系エンジニア / インフラ・ネットワークエンジニア / サーバエンジニア

・クライアントプロジェクト「情報系システム統廃合フェーズ２」における分析基盤の更改およびスマートデータレイク基盤の導入がPJの目的 ・①分析基盤(SAS): SASサーバとなるWindowsサーバのNW・OS等の設計、設定、認証、監視、運用設計、HULFT連携の移行作業などを担当 ・いずれのサーバもストレージ・NASとしてDELL PowerScale(旧EMC Isilon)を利用 ・基本的なラックへの設置・結線作業、OSプリインストール等はサーバベンダーにて実施 ・②データレイク(Cloudera): Cloudera CDP(Hadoop)を動作させるRHELのNW・OS設計、設定、認証、監視、Clouder...

通信事業会社データー分析/解析支援

・提案技術支援業務（客先同行訪問、コンサルティング） ・データ分析業務（顧客保有データの解析/分析）

【ApachFlink/Hadoop】会計処理システム更改のアーキテクチャ見直しPJのエンジニア求人・案件 システムエンジニア・プログラマー / インフラ・ネットワークエンジニア

・大手通信業務向け会計処理システム更改に伴うアーキテクチャ見直し支援 ・顧客社内システムのリプレイスに合わせて、アーキテクチャの見直しから実施 ・バッチ処理で、ApachFlinkやHadoopDBを使用することを検討している ・リプレイスに先立ち、コアとなるバッチ処理の一部機能をApache Flink、Hadoopを適用して一部移行 ・その後、既存システム全体のリプレースの規模感や、要件整理のためのPoCを行う

【Phyton/embulk/digdag/Linux】美容総合プラットフォームなどの事業を展開する企業でデータ分析基盤の運用/保守支援

■募集背景： 今後のデータ利用拡大のための新しいデータ分析基盤の構築を進めています。 今回は、素早く安心なデータ利用のためにデータマネジメントを意識したデータ基盤を構築・運用できる体制を整えるため、チーム強化の増員を行っています。 ■業務内容： オンプレミス上のデータ分析基盤の運用保守 <業務内容詳細> ・同期DBの追加作業(yamlファイルの更新、リリース作業) ・DWHのクエリ改修 ・停止したデータパイプラインの再実行（embulk, digdag）

Python／某携帯キャリアのデータ関連受託開発案件・求人

大手キャリアが提供するスーパー販促プログラムにおいて、加盟店（飲食店、小売等）が利用するシステム（クーポン入稿、ターゲティング設定、配信効果分析など）のデータ関連の開発および、顧客企業との仕様調整、実現性検討を行っていただきます。

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

ETLツール導入支援/保険業界のエンジニア求人・案件 IT / インフラ

AWSのサーバ上で稼働するデータ分析基盤のバッチ基盤の開発支援。 Hadoop(Amazon EMR)、Amazon Redshift、Informatica社の別製品(Bigdatamanagement)の導入を検討中であり、 これらのサービスとミドルウェアの設計と構築の実施を支援。 ※バッチはPython3.Xで開発。ETLとしてInformatica社のPowerCenterを利用。

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【Azure】クラウドエンジニアの求人・案件

在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

【Python】バックエンドエンジニアの求人・案件

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

【Java】アプリケーションの新基板への移行/コンテナ化の求人・案件

大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。 アプリケーションの設計、開発、テストがメイン業務となります。アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。 RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト 新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）

【Java】大規模データ収集基板構築の求人・案件

大規模データ収集基板構築（オンプレにて構築）に伴い、システム検証/設計、ミドルウェア選定、パフォーマンス検証等にご協力いただける方を募集します。 ・新環境（分散FS環境）向け機能開発、既存機能の新環境向け修正 ・アプリケーションの改修、機能追加 ・新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）、運用機能の開発

【Azure/リモート】インフラ・Azure構築案件

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

分析基盤クラウド構築案件

オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。 データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。 クラウド環境：AWS

メディアデータを収集したDMP活用、様々なアルゴリズムの開発

概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

人材業界でのデータエンジニア募集

■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服