Gunosy Tech Blog

Gunosy Tech Blogは株式会社Gunosyのエンジニアが知見を共有する技術ブログです。

digdag

Gunosy のデータ活用を支える統合データ基盤 Baikal の話

はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoD…

digdag の retry と for_each を使う時のハマりどころをなんとかして回避したお話

はじめに ハマりどころ詳細 ワークアラウンド ワークアラウンド詳細 Require Operator で for_each を含む Workflow を別 attempt で実行する Require Operator の retry_attempt_name にランダム文字列を渡す retry_attempt_name をretry 後毎回評価し、静…