URL

「Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん」のグラフ

Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさんhttp://mitomasan.hatenablog.com/entry/2016/02/17/232019
月のグラフ

コメント

(2018/06/22 00:51:45 更新)
  • バッチ処理:wiz72017-09-08 20:07:46
  • バッチ処理の参考に:kkabetani2016-03-15 20:32:47
  • バッチ処理のノウハウ:naga_sawa2016-03-03 06:14:45
  • 知見固まってた:razokulover2016-02-25 23:05:54
  • いいね:tmatsuu2016-02-25 23:00:25
  • 3日前に読みたい記事であるのでした:yanagikouta2016-02-24 09:46:52
  • “ 一時テーブルなどに変更結果やインサートデータを投入しておいて、更新クエリ一発で対象データをガッツリ書き換える”、"可能であれば冪等に実装する":iox2016-02-23 09:28:22
  • 首が痛くなるぐらい頷いた。:zorio2016-02-21 01:00:43
  • バッチは本とかあってもおかしくないと思うんだけど、意外とない。:northlight2016-02-20 16:45:06
  • ロックファイルはロックにならないはず。/ データドリブンにするのが王道かと。処理対象か/処理済みか、いつ処理するか/されたかなどを全てデータ(DBレコード)で判断、全バッチを同じステートチャートに載せて。:pmint2016-02-20 06:26:40
  • 知見だらけだ:murasaki112016-02-20 04:34:41
  • 良記事。参考書とかないのかな:tnakamura2016-02-19 15:22:02
  • 誰か突っ込んでるとは思うけど、更新予定の行は先にUロックとらなきゃ:onefootinthegrave2016-02-19 08:33:35
  • なるほど:sh22016-02-19 07:24:53
  • バッチについてのまとまった記事は初めてかも。:catnapper_mar2016-02-18 23:50:06
  • つEmbulk:toyama09192016-02-18 21:35:39
  • ググればおk:ancolle2016-02-18 19:02:49
  • ありそうでないバッチにまつわる知見、貴重です。ベテランCOBOLerの書いた本とか無いのかな。:windish2016-02-18 17:50:39
  • 実行中の進捗状況を確認できるようにする、を加えて欲しい:oscdis7652016-02-18 17:18:21
  • バッチ処理、マスタ更新とかデータに直結する部分だから、実行怖い印象ある。失敗時のリカバーの方法は考えておかないと。:hagane2016-02-18 17:09:01
  • 更新中にデータ読み出しされないように:natu3kan2016-02-18 16:27:09
  • 「感覚の話でアーキテクチャを決めてはいけない」 → 「理由をでっちあげて君だけのかっこいいデーモンを作り上げよう」 しびれる:fashi2016-02-18 16:13:18
  • Web系の自分が想像と障害で学んだバッチ処理・設計の基本:d_animal1412016-02-18 15:26:11
  • バッチ処理は処理本体よりもトラブルシューティングやリトライ用の処理の比率が大きくなっていって複雑になっていくのが理解されないのがつらい。:rryu2016-02-18 15:04:33
  • batch って気軽に作れるので言語も思想もまとまらないよね〜。:shag2016-02-18 14:50:04
  • 素晴らしい:tarotheripper2016-02-18 14:11:33
  • Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん: バッチ処理 というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと:toshi196501042016-02-18 13:58:18
  • みんな苦戦しながらやってるんだな。どろくさい作業嫌いじゃないよ。:kuniku2016-02-18 13:23:09
  • 実際に障害出して痛い目にあったことが多いな:eichisanden2016-02-18 13:16:31
  • コメント欄も勉強になります。:nn10212016-02-18 12:59:30
  • いい基本やなー:zeha2016-02-18 12:57:33
  • QueueJobとかの話:at_yasu2016-02-18 12:52:30
  • バッチ設計のまとめ。基本的なことは網羅されてる:Pome2016-02-18 12:51:18
  • 今のアプリはイベント毎の処理が多くて、大量データのバッチ処理なんて少ない?/これでフローチャートがかけて(頭にうかんで)COBOLまでかける人が昔はいたけど今は希少?抽出して処理してソートしてマージしてとか:kaiton2016-02-18 12:45:03
  • 異常動作したときのあらーとも欲しいかなぁ? どれだけ事前に網羅したつもりになっても予期せぬでーたが飛んでくるし,気づくの遅くなるとその分めんどくなるのです(ーωー;【みかん:mumincacao2016-02-18 12:42:20
  • バッチ処理の設計について:efcl2016-02-18 12:35:13
  • 障害起こった時に対応しやすいように融通効かせる設計にするとかログ出力を考えとくしかないのかな。 あとテスト環境と本番環境のディレクトリ構成は常に同じにしておくとかそういうのも大事です。環境差分怖い。:shngmsw2016-02-18 12:32:47
  • 細かいアプローチはUNIX系とWIN系で割と違ってたりする。多重起動防止策とか。:dev0000_12016-02-18 12:27:16
  • “冪等”:ichirop2016-02-18 12:24:29
  • ログをきちんと出す みたいな初歩的なことすらできてないバッチもあるからな。。闇だらけ:tankdesant2016-02-18 12:15:10
  • バッチに関してだけは汎用機経験しといて良かったってたまに思う。:masayoshinym2016-02-18 12:07:12
  • バッチ処理の知識、本来であれば汎用機時代からの膨大な知恵の蓄積がどこかにあると思うんだけど見当たらない。RDBMSとかクラウドとか時代ごとの技術が違うのでそこは読み替えが必要だろうけども。:kagamihoge2016-02-18 11:56:49
  • あるあるが多くて、見事な知見の言語化だ。:raimon492016-02-18 11:52:41
  • 全部やって当たり前のことだけど、あとはメモリリークと使用量膨らまないか確認しないと気持ちよく寝れないwだいたい同じフローなので一連のコードを仕組み化するとかなり便利。:yoshikidz2016-02-18 11:40:03
  • エラーが起きたときにすぐ止まる。いつ、どこで、なにが起きたかわかる。基本だけどレガシーなシステムでそうでないものが見られる。あと、特定のディレクトリでしか動かないようなバッチを作らない。:te2u2016-02-18 11:39:22
  • Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん: バッチ処理 というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、い:japanitnt2016-02-18 11:38:55
  • 現場の経験がまとまってる / バッチ処理開始時にマテリアライズドビューでデータのスナップショットを用意しておくと良さげ:shin1x12016-02-18 11:37:48
  • よくあるトラブル対策としてまとまってる。あとは制御用ファイル置いとくとエラーで死んだときに残りっぱなしになる問題はあるな。:khtno732016-02-18 11:19:39
  • 難しそう。:kentakitasawa2016-02-18 10:55:57
  • 現場っぽい:takanamito2016-02-18 10:53:49
  • 思っていたより大体知っていた内容だった。けど言ってることは至極真っ当でこれを全て実現できてる人は少ないと思う。:sionsou2016-02-18 10:47:44
  • よい:oooooo41502016-02-18 10:35:22
  • ぼくも業務で何本か書いたけど、経験がなかったので助けを求めてもチーム内規則もなければ、本やネットの海から探して勉強してる暇もなかったのでもっと早く巡り合いたかった事案:totoadad2016-02-18 10:29:09
  • CSVバッチ業界の人間として参考になる記事だ:yukiyan_w2016-02-18 10:25:17
  • 知見:esuji52016-02-18 10:22:28
  • dry-runあると助かる:jojo8002016-02-18 10:15:26
  • バッチの設計知見、冪等・並行化・遅延更新・処理対象引数・ロック・停止ファイル・世代管理・デーモン採用:Jxck2016-02-18 10:02:54
  • 現場の知見だ:teppeis2016-02-18 09:51:37
  • 設計段階では冪等性。DAG 制御、排他制御、リソース制御、遅延監視、死活監視はフレームワーク化。且つ、フレームワーク自体が SPOF にならないように。:dimitry2016-02-18 09:42:51
  • バッチは出来るだけ細分化して、シンプルにした方がテストもやりやすいと思う。:su_zu_ki_10102016-02-18 09:19:58
  • ロックファイル周りは処理が異常終了して解放されず、毎回手作業が発生するトラブルには遭遇したな。ロック解放処理を終了時のハンドラ登録する、サーバ再起動時に強制クリアする、で対応した:thaim2016-02-18 09:11:40
  • 冪等って久々に聞いたな…ホストのバッチだとアンロードとってDB使わない純バッチで処理したりするから意識しないことも多いね。DBの更新系バッチを冪等にするのは正常系だけ考えると難しくはないんだが…:NOV19752016-02-18 09:11:33
  • 確かに、バッチて個人ではなかなか勉強しづらいですね。/データの出力先が他システムの「連係」てのも良くある。:ikd96842016-02-18 09:07:52
  • うむ:love0hate2016-02-18 08:58:48
  • バッチ処理:margaman2016-02-18 08:48:55
  • 『可能であれば冪等に実装する』:fellfield2016-02-18 08:38:57
  • Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん: バッチ処理 というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、い:digitalglm2016-02-18 08:33:57
  • 現場感ある:nnhrsk2016-02-18 07:11:20
  • 終わらない、よく止まる、リトライできない の残念バッチ三原則をいかに避けるかだと思うんだけど、どこまでなるかはケースバイケース。突き詰めるとキリがないが、選択肢があるに越したことはない。:yuukigoodman2016-02-18 06:28:45
  • 冪等と引数指定は規約に入れたい:terazzo2016-02-18 03:31:03

関連エントリ