Hadoopの業務委託案件・フリーランス求人一覧｜ページ3

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

【Java,Javascript,MySQL,基本設計,Hadoop】レコメンドエンジン開発

・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成

【JavaLinux,bash,hadoop,AWS】ビッグデータサービス環境設計、構築

顧客ビックデータ組織のR＆Dチームに配属 業務側との調整をしながら、顧客要望を取り入れ 最適なサービスを設計・構築・運用していくミッション

ETLツール導入支援/保険業界のエンジニア求人・案件 IT / インフラ

AWSのサーバ上で稼働するデータ分析基盤のバッチ基盤の開発支援。 Hadoop(Amazon EMR)、Amazon Redshift、Informatica社の別製品(Bigdatamanagement)の導入を検討中であり、 これらのサービスとミドルウェアの設計と構築の実施を支援。 ※バッチはPython3.Xで開発。ETLとしてInformatica社のPowerCenterを利用。

ゲーム機用オンラインサービスに関するビッグデータ分析基盤構築のエンジニア求人・案件 SAP / SAP(CO) / SAP(CO-PC) / IT

・家庭用ゲーム機用オンラインサービスに関するビッグデータ分析基盤の構築、サービス開発および運用 ・クラウドサービスを用いたETLアプリケーション、Web API開発 ・システム要件定義 、アーキテクチャ設計 ・Lightweight Language言語を用いた開発 ・Hadoop、Hive、Spark、ParquetなどのBigData解析技術を用いた開発 ・Linuxを用いたサーバ開発・運用 ・RDBやKVSを用いた開発 ・システムのテスト及びテストの自動化 ・アジャイル開発

【Python/Ruby】自社内システム開発支援/メディア・エンターテインメントのエンジニア求人・案件 IT

・自社内システム開発運用保守支援 ・ビッグデータの解析と分析 ・データ設計 ・集計ジョブ開発 ・データ管理 ・保守運? ・開発環境：使??語 Python, Ruby, Java サーバOS Centos6系 バージョン管理システム GitHub Enterprise クラウド AWS(S3), GCP(GCS, BQ) OSS MySQL, Hadoop, Hive, Kafkaなど CI Jenkins コミュニケーションツール Sla

【Python/SQL】コマーステクノロジ領域のデータ関連支援(リモート併用可)

・課題の特定からアドホック分析、モデル構築、モデルデプロイメントまでの一連のデータサイエンスワークフローの遂行 ・当該企業が保有する多様なデータまたは外部データを活用した、顧客行動の分析インサイトの導出 ・ビジネス課題を解決するためのSQLやSparkなどを活用した大規模データの処理、適切な予測モデルやアルゴリズムの選択・実装、革新的なソリューションの提案 ・汎用的なデータサイエンスプロダクトの開発 ・データサイエンティスト、コンサルタント、プロジェクトマネージャー、データ戦略家との協働 ・スキルやナレッジを共有・学習する文化の創出 ・Spark、Hive、Kafka、Spark-Streaming、Hadoop、Google...

【Python】Webクローラー開発の求人・案件

某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

【Android/高単価】人材業界求人アプリ開発の求人・案件

- 人材業界求人アプリ開発をご担当いただきます。 - 作業内容の詳細は下記です。 - ・Android環境 - ・新規開発 - ※これまでのご経験やスキルに応じて上流から下流まで幅広くご担当いただきます。

【リモート併用(渋谷)】BtoB向け AIサービス 移行プロジェクト(AWS,Kubernetes)

案件概要：BtoB向け AIサービス 移行プロジェクト(AWS,Kubernetes) 業務内容： プライベートクラウドで管理されたKubernetes環境やHadoop環境を パブリッククラウドへ移行する。移行に伴い主に下記業務を想定 ・パブリッククラウドのインフラ設計・構築 ・Kubernetes コンテナ環境の設計・構築 ・CI/CD、モニタリング環境の設計・構築 勤務時間：10:00-19:00※相談可 場所：渋谷※フルリモート 外国籍：応相談 ビジネスレベル、日本在住の方のみ

【リモート併用(渋谷)】BtoB向け AIサービス 移行プロジェクト(AWS,Kubernetes)

案件概要：BtoB向け AIサービス 移行プロジェクト(AWS,Kubernetes) 業務内容： プライベートクラウドで管理されたKubernetes環境やHadoop環境を パブリッククラウドへ移行する。移行に伴い主に下記業務を想定 ・パブリッククラウドのインフラ設計・構築 ・Kubernetes コンテナ環境の設計・構築 ・CI/CD、モニタリング環境の設計・構築 勤務時間：10:00-19:00※相談可 場所：渋谷※フルリモート 外国籍：応相談 ビジネスレベル、日本在住の方のみ

【PM/一部リモート/週5日】開発系PMO_某EC事業会社向け 開発企画アシスタントディレクター

1. プロジェクト管理 ・プロジェクトの計画立案、進捗管理、リスクマネジメント ・定例会議の設定、アジェンダ作成、ファシリテーションの実施 ・タスク・課題管理､ プロジェクト管理プロセスの継続的改善 2. API管理ワークフローの設計・推進 ・API内でのフラグの追加・変更・削除に関するワークフローの設計と推進 ・APIドキュメントの整備とバージョン管理、リリースノートの作成 3. 技術サポート ・開発チームへの技術サポート ・社内外のステークホルダーとの調整 ■プロジェクト例 ・AB テストのツールの導入 ・API 利用のガイドライン策定　等

PHP／CaMPの開発案件・求人

携帯会社のシステムでプラン変更等行った際に発生する代理店のインセンティブを計算したり 支払いをしたりするシステムの開発を行っていただきます。 1人称で開発を行える方をお探ししています。

Java／CaMPの開発案件・求人

某携帯キャリアのシステムでプラン変更等行った際に発生する代理店のインセンティブを計算したり 支払いをしたりするシステムの開発を行っていただきます。 ※詳しくは面談時にお伝えいたします

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

Python／広告事業のデータマイニング・機械学習エンジニア募集案件・求人

複数ある自社広告配信プロダクトの100億レコード以上/日のログを分析し、広告配信を最適化する業務を担当いただきます。 【主な仕事内容】 ・ビジネスインパクトが大きなKPI改善の見極め ・KPI（CPCなど）最適化の改善及び運用

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック）

■内容：スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース） ■期間：7月～（8月～でもok）※基本長期となる予定 ■その他 テレワーク：対応可 顧客事務所（品川等）での対応：有　※フルリモート希望の場合は別途ご相談ください 稼働率は基本100％の想定

【 AWS/Python/品川/リモート併用】データ分析システム開発・運用作業

某S社グループ内のデータ利活用を目的としたビッグデータの加工・集計業務（主にAWSを利用しての開発） スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース）

【Linux】アプリケーション、ミドルウェアのパフォーマンス改善業務案件

・高速なレスポンスを実現するためのアプリケーション、ミドルウェアのパフォーマンス改善 ・プロダクト開発と連携したミドルウェア検証・導入 ・各種基盤の監視体制の整備・強化 【開発環境】 Google Cloud Platform 、BigQuery 、StackDriver 、Kubernetes 、Spinnaker 、Docker 、Go 、Linux:CentOS、Ubuntu 、MySQL 、Redis 、Aerospike 、Fluentd 、Apache Spark 、Hadoop(Dataproc) 、Digdag 、DataDog 、 New Relic、Terraform 、Packer Ansible...

【iOS】新規事業に伴うスマホアプリ開発案件(仮想通貨関連)

新規事業推進のプロジェクトにおいて、最上流フェーズから携わって頂き、実装・テストまで一連のご支援をお願い致します。 開発するアプリは仮想通貨関連のスマホアプリです。 【開発環境】 言語：Java8、jquery、Scala、Swift バージョン管理：Git フレームワーク：SpringBoot 本番環境：AWS、GCP コミュニケーション：Slack、Atlassian CI：wercker DB：MySQL、Redis 大規模データ管理：hadoop 開発環境：Vagrant、Docker ログ収集：Fluentd、Embulk 自動テスト：junit

【フルリモート/Linuxの設計～構築経験必須】基盤構築案件

某電力の顧客電力使用量を収集し、活用するシステム対応。 1日約3億件超のデータを処理するインフラ基盤の詳細設計および構築。 また、それに伴う運用スクリプトの設計・製造。

ビッグデータ関連におけるシステム開発エンジニア募集案件

大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、 オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、 ビッグデータ関連システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります

Python/バッチ開発・運用案件

自社独自のデータ集積のプラットフォームを持つ運営する企業にて 主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。 ・Pythonを使ったバッチ開発/改修/運用 ・データインサート …etc. 【環境】　　：言語：Python インフラ： Google Cloud Platform データベース： PostgreSQL DWH：BigQuery ワークフロー： Google Cloud Composer (Apache Airflow) その他ミドルウェア： Dataflow(Apache Beam), Dataproc(Apach Spar...

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【HTML/CSS/JavaScript】UI/UXデザイナー案件

日本最大級のサービス（アプリ含む）のUI／UXデザイナーを募集致します。 化粧品口コミサイトのほか、ECサイトも運営し、首都圏を中心に実店舗も展開している企業様で 複数サービスがあるため、ユーザー向けサービス、ビジネス(法人)向けサービスと横断的に携わるチャンスがあります。 【業務詳細】 ■ユーザーストーリーに基づいたモックアップの作成 ■WEBサイトやアプリのサービス設計、情報設計、ユーザビリティ・アクセシビリティ設計 ■ワイヤーフレーム、プロトタイプの作成 ■マニュアル作成など運用チームやCSチームとの連携 ■UIデザイン ■エンジニアと連携してソースコードの調整やテスト業務 ■サービステストの計画や実施 ...

【Python/Java/Scalaなど】ディープラーニングエンジニア案件

R&D部門にて、各種サービスの基盤開発や速度改善、ターゲティングやビッグデータを利用した開発、それらを支えるインフラストラクチャ再構築とデータ構造の再構築などを主に担当しています。 技術開発グループ、技術戦略グループは、ともに、速度改善やサービス基盤開発を行いながら、ビッグデータを活用した分析処理や、ストリーミング処理など先進的な技術を用いながら試行錯誤を繰り返しながら機能開発をメインに行っており、 インフラストラクチャグループはスケールしやすく、耐障害性、可用性の向上のための施策、保守・運用を行なうグループです。 ■業務内容： 技術研究とそれらを用いた開発を行う部署にて、様々なデータを扱い、新たなサービス開発と改善 また...

【JavaScript】フロントエンジニア案件

日本最大級のサービス（アプリ含む）をはじめとした自社サービスの制作がメインです。 設計段階からPJTに参加し、新サービスや既存改修のフロントエンド領域（HTML/CSS/JavaScript）を担当していただきます。 システム開発を伴う開発がメインとなるため、社内エンジニアと連携し、システム組み込み後もソースコードの調整やテスト業務など、サービスリリースの最終工程まで取り組んでいただきます。 またフロントエンド開発業務だけでなく、後輩育成やチームメンバーのコードレビューなど、クオリティ管理やチームマネジメントもお任せしていきます。 【業務詳細】 ■ユーザーストーリーに基づいたモックアップの作成 ■WEBサイトやアプリのサ...

【PHP/Hack/Java/Goなど】急成長中企業のアプリケーションエンジニア案件

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 ■業務内容事例： ・クチコミサイトの開発 ・ブログサイトの開発 ・Q&Aサイトの開発 ・ポイントサイトの開発 ・ECサイトの開発 ・サロン予約サイトの開発 ・新規事業の開発 ・上記開発を支えるAPI開発　など （経験・適性に応じて上記開発案件の配属チーム、アサイン業務を決定いたします） ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scala ・PHPフレームワーク：Laravel(5)、CakePHP(2、3)、Zend Fr...

【PHP/Ruby/Java/Goなど】急成長中企業のアプリケーションエンジニア案件（BtoB向け）

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 経験・適性に応じて配属チーム、アサイン業務を決定いたします ■ 業務内容事例 ・サービスの開発・保守・運用 機能開発はエンジニアだけでなく、他部署のプランナーやデザイナーとMTGを行い進めていく場合があります。 ・他サービスへの機能提供API開発 ・オンプレ環境からクラウド環境への移行作業 ・サービスの仮想化 ・定例MTGの実施 朝会、夕会、週次定例、コードレビュー会などを必要に応じ、適時実施しています。 ■開発環境： ・言語：PHP、Go、Ruby、Java ・PHPフレームワーク：Lar...

【PM/PMO】急成長中企業のエンジニアリングマネージャー案件

下記いずれかの部門のマネージャー業務をお願いいたします。 ①ソリューション開発部 ②メディア開発統括部 ③システムアーキテクチャ部 ■業務内容： ・開発チームのチーム編成や、プロジェクトにおけるチーム管理 ・プレイヤーとしての開発業務 ・エンジニアの目標設定・評価・育成 ・プロジェクトマネジメント、技術面以外も含めた問題解決、組織的改善 ・他部署との調整、コミュニケーションづくり ・人材採用 ・率先した継続的なアプリケーション改善 ※技術選定やアプリケーション設計などにも参加いただくこともございます。 ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scal...

【Ruby・Python】広告配信プラットフォーム及びDSPバッチ開発案件

自社サービスである広告プラットフォームとDSPの開発における集計バッチ処理をメインに担当いただきます。 RubyとPythonによりバッチ処理の他HiveQL(SQLに似たもの)やAnsile、Hadoop、Hiveなどの運用にも携わっていただく予定です。 広告配信プラットフォームでは大規模な広告配信機能に加えて、レポーティング機能、セグメント管理機能、広告配信設定機能など 広告配信におけるPDCAサイクル実現を目的とした機能が盛り込まれています。 【開発環境】 言語：Python、Ruby OS：Linux、AWS DB：MySQL、Tokyocabinet その他：Hadoop、Ansible、Hive

【Java】ショッピング系大規模ECサイトの追加開発・保守案件

ECサイトの保守、保守開発及び新規追加開発を実施していきます 領域としては実績管理、ランキング、レコメンド、会員アプローチになります。 ■実績管理 ECサイトのアクセスログ、注文情報を元に、時間別、商品別等でどんな商品が売れたか？ どんな商品にアクセスがあるのか？等を分析するデータの作成 集計にはHadoopを使用 また、実績の確認については一部Google Anaanalyticsを使用 ■ランキング 実績管理で作成したデータを元に、24時間、1週間、4週間単位のランキングデータを作成。 ■レコメンド 外部ASPサービスを使用し、サイト内にレコメ...

【Python/フルリモート】データインテグレーション業務

コーディングをバリバリやるようなシステム開発ではなく データの整備やジョブの作成などがメインの業務を担当いただきます。

【Python】ビックデータ/AI施策分析/開発案件

主にレジュメ/ジョブディスクリプション等の非構造データのパーシング分析/開発を、ビジネス観点での検討を含む基礎集計から分析、開発、そして運用まで一貫してご担当頂きます。 また、パーシング案件の他に、求人紹介/求職者紹介のレコメンドエンジンのエンハンス、BPR向け予測エンジンのエンハンス、といった施策へのアサインも可能性がございます

エンド直【AWS/GCP】自社SaaSシステムの刷新プロジェクトでのインフラエンジニアの募集案件

自社SaaSシステムの刷新プロジェクトの基本設計において、 アーキテクトと連携しながらインフラの検討及び構築をお願いします。 本プロジェクトの環境はAWS（一部GCP）となります。 主な業務内容は下記となります。 ・Terraform、CloudFormationによるIaaS環境の整備 ・GitHub Actionsなどを利用したCI / CD環境の整備 ・ビッグデータ解析・集計基盤の整備 今回ビッグデータの解析・集計処理も行うため、 そのための解析基盤（Hadoopを想定）の検討・構築にも関わっていただきます。

【ビッグ・データ】ETLツールを使用した、BigDataPlatformへのETLシステム開発案件

ETLツールを利用して、大手自動車メーカ内部の業務ユーザごとに 管理しているDBデータをBigDataPlatform(Hadoop)へ一元化する仕組みを開発しています。 フェーズとしては、要件定義、設計、開発・単体、結合テスト、リリースとなりますが、 要件定義ではデータを加工する場合の認識合わせなどです。 エンジニア要員 ・ETL支援 ・informatica EDC構築支援 ・ データベース知識 ・ソフトウェアインフラ構築経験

【データ分析】行動分析基板の設計構築支援案件

・地図データ（位置情報）を含む人間の行動分析を行っている部門にて、行動仮説の検証から分析、そのレポーティングを行って頂きます。 ・仮説を基に、設計、データ取得、加工、検証、結果レポーティングを順次行って頂く形となります。 ・SEの方であれば設計以降、PGの方であればSQLやその他スクリプトを用いてデータ取得以降をご担当頂きます。 ・可視化するビューアー等のツール作成も必要に応じてご依頼します。

【Java】IoT基盤構築案件

IoTビジネスを拡大するにあたり、弊社クライアントビジネスのヒアリングはフレクトプロパーが担当するので、 そのビジネス要件に基づきアプリ基盤業務を遂行できる方の募集をします。 想定される環境は、AWS、heroku上へのアプリ構築になります。 センサーデバイス（httpとは限らない）からデータを吸い上げ、 加工、集約、そして、見せる。までが近々でのミッションとなります。 直近フェーズにおいては、ビッグデータではあるものの集約機構をつくるだけなので、性能要件が求められるかたち。 現時点の見通しとしては、hadoopやspark、インパラなどの処理基盤構築はしない可能性が高い。 treasure dataのようなクラウ...