Apache Spark × 70万円以上の業務委託案件・フリーランス求人一覧｜ページ4

QL/Python/週2~3/フルリモート/国内シェアNo.1のクラウド会計サービス運営企業におけるアナリティクスエンジニア

意思決定をデータドリブンに行っていくために必要なDWH層のテーブルの設計・開発・保守を行っていただきます！ 想定している業務内容は以下になります。 ・DWH層テーブルの設計 ・DWH層テーブルのSQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 ・DWH層開発環境の設計・開発・保守・運用 以下のような方はお見送りになっております...。 ・DWH層の設計・構築経験が読み取れない方 ・クラウドのDWHの利用経験がない方 ・実装メインのため、プロジェクトマネージャーとしてのご経験が主な方 ・自然言語処理、画像処理がメインの方

【エフェクトデザイナー】自社スマホゲーム開発会社でのエフェクトデザイナー募集！

3Dエフェクトの制作実務経験 ゲーム業界での業務経験1年以上 / RPGやアクションゲームのリアルタイム3Dエフェクト制作経験 / spark gearの使用経験 / Bishamon等エフェクト制作ミドルウェアの使用経験 / MAYA等3Dツールを使用したモデリング経験

分析プログラム改修 - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【分析プログラム改修】☆ Pyhonのバージョンアップ改修 Scala記述部分のApacheApark差し替え

システム開発案件

開発、運用を繰り返すイメージです。 AWS上でのデータ解析基盤の構築 画面側はPython,html,cssなどを使います。 利用するAWSサービスの候補 - Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction

某大手製造メーカー系会社　データ処理インフラ基盤の構築

■業務内容 製造メーカー系会社のデータ処理基盤の設計・構築 → 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用

モバイルアプリデータ解析支援

モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装

【 hadoop,kafka,storm,spark】セキュリティプラットフォーム基盤構築

通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して 新規構築する案件となります。各種製品ログをデータレイクに蓄積し、 リアルタイムなアラート検知、およびインタラクティブな集計／分析を 可能とするプラットフォームの構築案件です。

【Spark,Tensorflow】産学連携AIシステム開発における基盤構築

広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、 日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。 言語に関する大規模データの処理

【Python,Spark】テキストマイニング

AIエージェントAPIの開発を行う企業にて テキストマイニング

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤構築支援(フルリモート)

・ETL/ELTパイプラインの実装（AWS Glue/Pythonを用いたデータ抽出・加工・ロード） ・データモデリング、分析用データベース（Aurora/Athena等）の設計、正規化・非正規化の判断 ・大量データ処理（数千万〜数億件規模の時系列・センサーデータ）の集計最適化 ・IaC（Terraform/CDK）によるデータ基盤の構成管理、監視・アラート設計 ■募集背景 太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤（データプラットフォーム STEP3-2）の構築に伴い、体制強化のためデータエンジニアを募集します。 ■その他歓迎スキル ・データレイク関連（Spark/Glue、Apache I...

【AWS/GCP/BigQuery】データ基盤構築支援（出社必須）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 <データレイク / ETL基盤の整備> ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 <運用効率化と品質確保> ・Airflowなどを用いたワークフローの管理と...

【AWS/GCP/BigQuery】データ基盤構築支援（基本出社）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 データレイク / ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 BigQueryベースのDWH環境構築 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 運用効率化と品質確保 ・Airflowな...

【Python】設備事業者/BIシステム改修プロジェクトの求人・案件

既存のTableau環境に対しDatabricksを追加採用し、社内外データを一元的・効率的に管理できる統合データ基盤を構築するプロジェクトになります。 現状：Tableau (BIツール) のみ導入済み。 構築対象範囲： ・Databricksデータ基盤環境の追加構築。 ・データレイク、DWH（データウェアハウス）の統合。 ・周辺のデータ準備処理およびワークフローの整備。 主要業務: データパイプラインの設計・構築

データ共通基盤の構築支援/半導体メーカーのエンジニア求人・案件 プロジェクト管理 / PM / コンサル・プロジェクト管理 / PMO / IT

・要件定義～開発までの一連の業務を担当 ・環境：Apache/SQL Server/Spark/Talend/HyperStore/Kafka/Attunity/NiFi ・クライアントの要望ヒアリングや調整業務

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモートのエンジニア求人・案件 プロジェクト管理 / PM / 指揮型PMO / 支援型PMO / プロジェクトサポート/秘書 / システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド) / スマホアプリ開発(ネイティブ) / フロントエンドエンジニア / 業務系エンジニア / データサイエンティスト / コンサル・プロジェクト管理 / PM (プロジェクトマネージャー) / PMO / インフラ・ネットワークエンジニア / DBA (データベース)管理者 / HTMLコーダー / IT / CRM/SFA/BI / AI / IoT / マーケティング / デジタルマーケティング / データサイエンティスト/アナリスト

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

データ共通基盤の構築支援/半導体メーカー

・要件定義～開発までの一連の業務を担当 ・環境：Apache/SQL Server/Spark/Talend/HyperStore/Kafka/Attunity/NiFi ・クライアントの要望ヒアリングや調整業務

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモート

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【SRE/常駐/週5日】　メガバンク向けAMLパッケージカスタマイズ開発案件

海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 （現場PM・メンバーは日本人となっております） 案件担当のコメント 【作業場所】 ・東京駅近辺...

【Python/SQL】コマーステクノロジ領域のデータ関連支援(リモート併用可)

・課題の特定からアドホック分析、モデル構築、モデルデプロイメントまでの一連のデータサイエンスワークフローの遂行 ・当該企業が保有する多様なデータまたは外部データを活用した、顧客行動の分析インサイトの導出 ・ビジネス課題を解決するためのSQLやSparkなどを活用した大規模データの処理、適切な予測モデルやアルゴリズムの選択・実装、革新的なソリューションの提案 ・汎用的なデータサイエンスプロダクトの開発 ・データサイエンティスト、コンサルタント、プロジェクトマネージャー、データ戦略家との協働 ・スキルやナレッジを共有・学習する文化の創出 ・Spark、Hive、Kafka、Spark-Streaming、Hadoop、Google...

【Python /一部リモート/週5日】フロー管理システムの開発・保守作業

フロー管理システムの開発・保守作業

女性向けヘルスケアアプリの開発業務／データエンジニア

自社サービスである女性向けヘルスケアアプリの開発業務において、データエンジニアとしてデータ分析基盤の関連業務を担当していただきます。 具体的には下記の業務を想定しております。 * データベース設計 * ファクトテーブル、ディメンションテーブルの選定や？多次元モデルのクエリ実装などデータの処理・保存・整理を実施 * スタースキーマ等 各種スキーマの実装と正規化を実施 * マテリアライズドビューの実装 * DMSやS3レプリケーションを使用したデータ連携 * クラウドエンジニアとともに各種サービスからDWHへのデータ連携 * PythonやBashを使用したETL処理 * 関数、単体テスト、オブジェクト指向プログラミング、AW...

Go／SaaSアプリケーション開発案件・求人

kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／BtoB向けコミュニケーションツール基盤開発案件・求人

消費者のオフライン行動(位置情報やセンサー情報)とオンライン行動(web閲覧や購買)情報を活用した 高度な1to1コミュニケーションの実現を目指しています。 このサービスでは、サイトの閲覧ログや会員属性、Beaconログ、位置情報などを基に、 オウンドメディア横断で顧客に最適なタイミング、チャネル、内容でコミュニケーションを可能とする 統合配信基盤としての役割を担います。 ECサイト内のレコメンド枠や小売店のポイントアプリのPUSH通知、 企業のオウンドメディアのバナー枠など、多岐に渡る配信先を想定しています。 ※顧客データの接続など個別のカスタマイズをしつつご提供をしていきます。 今回は上記サービスにおけるバ...

【Python】Webクローラー開発の求人・案件

某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

Ruby／ECカートシステム関連アプリケーション開発案件・求人

ECカートシステムと関連する周辺アプリケーションの開発 ※フルリモート可

Ruby／検索事業領域の開発案件・求人

国内大手ECサイトを中心に導入いただいている検索ソリューションの開発を担当していただきます。 多くのECサイトにとって、検索機能はユーザーの購買行動の主軸のひとつであり、購買体験に大きく作用します。 入力されたキーワードの意図を理解した上で、適切な商品を選び出し、エンドユーザーが求めている順番に並べる必要があります。 意図や並び順という絶対的な正解がない世界で、ログを分析し、仮説検証を繰り返しながら サイトやそのユーザーに適切な商品を提示していくことで、ECサイトの購買体験を向上させ、 売上に寄与する手応えが得られます。 経験豊富な検索エンジニアチームがチューニングした検索エンジンをベースに、 お客様に合わせた検...

Go／SaaS開発案件・求人

・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／ECサイトSaaS開発案件・求人

■案件概要： ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

TypeScript／クラウドサービス、Webアプリケーション開発案件・求人

既存サービス（電帳対応、インボイス関連等）に関するプロトタイピング及びフロントエンド及びバックエンド開発。 バックエンド、フロントエンド両面でのフルスタックに活躍いただく案件になります。 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【AIエンジニア】カード会社の不正検知学習モデル構築の設計・実装の求人・案件

【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

【DWH/ETLなど】内製開発：ETLチームの求人・案件

・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム）

■概要 製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） ■主な担当業務 Bronzeにあるデータを変換して次のSilver Layerに持っていく。（Bronze⇒Silver⇒Gold） Gold　LayerのデータをMLなどに活用、BIで分析（別チームが動いている） - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計 ■働き方 リモート併用

Python／ビックデータの分析およびDB構築案件・求人

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック）

■内容：スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース） ■期間：7月～（8月～でもok）※基本長期となる予定 ■その他 テレワーク：対応可 顧客事務所（品川等）での対応：有　※フルリモート希望の場合は別途ご相談ください 稼働率は基本100％の想定

【 AWS/Python/品川/リモート併用】データ分析システム開発・運用作業

某S社グループ内のデータ利活用を目的としたビッグデータの加工・集計業務（主にAWSを利用しての開発） スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース）

【Linux】アプリケーション、ミドルウェアのパフォーマンス改善業務案件

・高速なレスポンスを実現するためのアプリケーション、ミドルウェアのパフォーマンス改善 ・プロダクト開発と連携したミドルウェア検証・導入 ・各種基盤の監視体制の整備・強化 【開発環境】 Google Cloud Platform 、BigQuery 、StackDriver 、Kubernetes 、Spinnaker 、Docker 、Go 、Linux:CentOS、Ubuntu 、MySQL 、Redis 、Aerospike 、Fluentd 、Apache Spark 、Hadoop(Dataproc) 、Digdag 、DataDog 、 New Relic、Terraform 、Packer Ansible...

【Python/機械学習】データエンジニア募集

■概要 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、 データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。