Web Application 的日誌從裡面根據標記（Tag）選出特定的資料，然後往下處理，這件事情在我的理解是屬於 Data Pipeline 的一種

可是同事跟我說不是

然後他說 Fluentd 也不是 Data Pipeline 的一種

Data Pipeline雖然我覺得是

還是因為 Golang 的 App 大多輸出 JSON Log 所以他預期裡面的 JSON 形狀都會一樣

你知道我們在講網路的時候，都直接說你哪樣的packet會去哪個地方，直接拋棄L2/L3/L4這種說法(X

我對 Log 的定義很簡單，就是以行為單位的字串，所以 Data Pipeline 的工作是先把他 Parse（解析）然後再處理

tjjh89017: 等等，你的 Packet 是有特徵的嗎 XD

L2 / L3 / L4 的 packet 會一直疊東西進去吧 XD

沒記錯 Header 會變多，像是從 Mac Address 多出 IP Address 這樣，所以看他形狀能分他跑在哪一層

elct9620: 會啊
我們會講說packet A你的行為是甚麼
packet B又是哪種
簡單說都直接列test case出來，然後確認對方行為
那至於那是L2/L3/L4操作，林北不管

elct9620: SDN世界是很可怕的
直接問行為比較快

tjjh89017: 我現在跟他卡的問題是，我想問他我的 Log 長成這樣後續做某某處理時會有解析困難嗎 XD

然後我們開始進入一個「你送進來的形狀就要統一」的輪迴

但是我那是 Web Application Log 會根據吐 Log 的人長得不一樣

概念上就跟 Fluentd 文件說的 Routing 階段差不多，我要看這條 Log 長怎樣決定送去給誰處理

那就要看權責劃分了

還沒到你說的 L2/L3/L4 問題（Routing）的地方，因為我們卡在為什麼他還不是被處理好 Routing 乾淨的過來

tjjh89017: 沒有現有的東西能用，當然是要我們自己做

而且我那堆 Log 是 K8S 收走

不管怎要最後都是從 ElasticSearch 之類的撈出來往下走

前段的 Parse / Filter / Routing 都得自己搞

那就看誰要做吧?
跟主管講好就好XD

問題不是誰做啊，我來做都沒差，但對方是 Data Engineer 我想跟他確認我現在上的標記會不會讓以後很難處理

我根本不在意誰做 XD

那就覺得對方沒搞懂你問題了XDDDD
或是根本不專業(欸

看對方之前工作講的東西是懂拉，雖然我覺得不是到非常厲害那種，但有平均以上

But 剛剛討論感覺，他好像只是覺得不是他要做的，因為他的 Data Pipeline（他的工作）不是我的 Data Pipeline（處理資料的流程）定義

那就是回到權責問題了XD
先劃完權責再來XD

問題是我就沒有問他這個啊

我就只是想確認我的設計有沒有問題而已

XDD

工程師喜歡單幹的原因是因為工程師都很會腦補，所以頻率一直對不上

Log analysis Tool (ELK / Splunk) 跟 Data pipeline 不一定有接起來

tonysanv: 問題不是這個