認識間違っている箇所あるかもしれないがとりあえずメモ

  • context.output使わずにreturnすると処理を終わらせることができる(後続の処理に続かなくなる)
  • Serializableでないとエラーになる(DIするもの(インスタンス変数となるもの)がSerializableインターフェースを実装してないとエラーになるのでDIしてテスタブルにしようとする思想とは相容れなさそう。)
  • 入力、加工、出力、状態を保持しないって考え方を持って取り組むと良さげ(どっかに注意点が書いてあった。関数型の思想)
  • template作るときはmetadataも同じようにgcsに上げる必要がある
  • coderってやつを書いてserialize、deserializeの方法を記述する必要がある

参考にするとよさげなやつ

GoogleのDataflowTemplate
MercariのDataflowTemplate
beam sdkのドキュメント
Cloud Dataflowのドキュメント