各位好 小弟目前的工作是後端Web仔寫寫API 後來業務上有接觸到mapreduce Apache Flink 這種大數據運算框架 想請教一下各位前輩 如果為了下一份工作打算 會用這些框架 是有辦法往資料工程師當下一份工作嗎? 或者是說需要補足的知識工具其實更多? 靠刷題之後找Backend Engineer比較容易? 謝謝各位 -- ※ 發信站: 批踢踢實業坊(ptt-web.org.tw), 來自: 111.243.30.197 (臺灣) ※ 文章網址: https://ptt-web.org.tw/Soft_Job/M.1681072593.A.FEC
ripple0129: Chatgpt問世後未來說不準了04/10 06:13
kimoji: 很多資料工程都要值班維運喔04/10 08:35
gpctv: ETL很可怕04/10 08:55
BigCockman: 身兼backend和data 老闆最愛04/10 09:49
hsuchengmath: 要轉data eng ,看他的JD啊,或是去linkedin敲data04/10 12:24
sashare: 這個包養網正妹好多 是真的嗎04/10 12:24
hsuchengmath: eng 然後問04/10 12:24
acgotaku: 這些都是高級excel 只是工具 沒啥優勢或門檻04/10 12:46
acgotaku: AI 取代這種工具類的操作/分析者 是可預見的未來04/10 12:49
samhsu: Data Engineer 炙手可熱,就算沒落也可以轉後端,沒道理04/10 12:56
samhsu: 不選04/10 12:56
sijiex: 真的有這麼多人在找包養04/10 12:56
alan5: 你可以試著取代看看啊 de的重點一直是人不是工具操作04/10 13:00
acgotaku: 我沒有說取代de 是取代初級的分析操作者04/10 13:09
acgotaku: 因為我認為原po敘述 離 de的能力需求還是差滿多04/10 13:12
loadingN: 看你想清資料還是繼續當web仔04/10 13:39
DrTech: 身為專業工程師,有時間可以拿實際證據與實作來說明吧。如04/10 13:39
VLADINA: 有人可以分析一下包養平台的差異嗎04/10 13:39
DrTech: 果DE可以被AI部分取代,真的歡迎拿實際例子來交流學習。04/10 13:39
DrTech: 資料工程師養成,要實務一點,不要會一堆工具,然後什麼都04/10 13:48
DrTech: 沒做過。舉例:有10億筆結構化資料,你要怎麼存與查詢,一04/10 13:48
DrTech: 秒可以查到? 朝這種很實務的角度去學,才是正軌。沒環境04/10 13:48
DrTech: 就自己造垃圾資料,架虛擬環境來玩。04/10 13:48
odemagus: 那個包養網人最多XD04/10 13:48
DrTech: 只是用過工具,然後一遇到實際問題就掛,可能很難找類似工04/10 13:50
DrTech: 作。 04/10 13:50
Hsins: DE 在處理的主要業務不是分析操作,樓上 DrTech 說的才是 D04/10 14:36
Hsins: E 在關心的,需要根據業務需求規劃資料生命周期內的資料儲04/10 14:36
Hsins: 存方式跟型態,說是高級 Excel 工具是在哈囉……04/10 14:36
yes500: 我妹上包養網被我發現= =04/10 14:36
abc65379: 看起來你想走運算平台而不是倉儲?04/10 15:00
Sunal: 原來現在DE只是專注工具的使用?那被AI取代剛剛好04/10 16:00
cmcer: 大家都預設AI不能解決實務的問題也是挺值得討論的點04/10 16:22
alan5: 解決老闆不想用rdb想用mongo存結構化資料的問題04/10 17:15
alan5: ai應該會叫我解決老闆04/10 17:15
alexantiy: 隔壁桌的人竟然在討論包養...04/10 17:15
breccia: 說mapreduce Apache Flink是高級excel是在搞笑嗎= =?先搞04/10 17:30
breccia: 清楚資料分析和data engineer的區別好嗎04/10 17:30
TAKADO: 好的DE跟日本原裝壓縮機一樣十分稀少,要對domain 的深入04/10 19:45
TAKADO: 理解跟大量的技術與經驗積累。遇過那種高手就知道,本來只04/10 19:45
TAKADO: 能等都更炸掉重改的中古垃圾屋,都能給你翻成漂漂亮亮的北04/10 19:45
sowrey: 樓上是不是被包養04/10 19:45
TAKADO: 歐風溫馨文青宅。04/10 19:45
kero961240: 想詢問哪裡可以學到相關知識04/10 20:47
Hsins: 倉儲是資料工程喔,經典著作 The Data Warehouse Toolkit 04/10 22:58
Hsins: 有時間可以慢慢翻一下。會說是高級 Excel 工具應該是指看到 04/10 22:58
Hsins: MapReduce 的部分,但這種操作並不是只能用在分析上…… 04/10 22:58
cw758: 未看先猜這包養 04/10 22:58
Hsins: 至於待遇跟薪水問題,去看 DrTech 寫過的某篇文吧,國家跟04/10 23:09
Hsins: 產業的權重會比職稱和使用的技術要高,你說資料工程跟後端 04/10 23:10
Hsins: 來比誰高,不提產業也無從比較起… 04/10 23:10
Hsins: 框架的大方向未必是處理效率問題,有的是處理擴展性問題 04/10 23:13
Hsins: Hadoop 生態系沒有偏向資料分析呀~ 至於 Flink 是是為了處 04/10 23:16
ludi: 一定又是這包養 04/10 23:16
Hsins: 理一些需要實時計算的資料的,當大量資料實時產生的同時需 04/10 23:18
Hsins: 要分析計算會用到,要看一下你現在的業務到底接觸的是哪一 04/10 23:19
Hsins: 越接近用戶端使用的部分,相較是比較簡單的,上面 D 大提到 04/10 23:29
Hsins: 的,是偏向於提供資料使用人員(DS/DA)去做的 infra 04/10 23:30
Hsins: 多數 DE 會在串接跟維護 Data Pipeline,你說的套用某個規 04/10 23:34
peernut: 包養平台不意外 04/10 23:34
Hsins: 則去整理出某人或是某個部門的資料,可能只是這條 pipeline 04/10 23:34
Hsins: 上,某一個資料出水口需要做的事~ 要挖的東西是滿多的,有 04/10 23:35
Hsins: 興趣可以從這個方向開始切進來~ 04/10 23:35
Hsins: 的確在有些公司 DE 除了基礎服務設施和資料處理之外,還要 04/10 23:37
luce: 現在有人在用mapreduce? 我還真的沒在商業產品上看到過 04/10 23:38
xikimi: 覺得包養網EY嗎 04/10 23:38
Hsins: 包山包海去處理分析和視覺化… 04/10 23:38
alihue: 公司資料量夠大都要靠 map reduce 來做分散式處理吧…幾 04/10 23:42
alihue: 億筆資料的 indexing 難到你要一台機器做 04/10 23:42
alihue: 還有大量 log 的 data pipeline,use case 很多 04/10 23:43
Hsins: 還有不少用 Hive 的,背後做還是 MapReduce,現在的確 Spar 04/10 23:54
Avero: 包養網站葉配啦 04/10 23:54
Hsins: k 跟 Flink 居多 04/10 23:54
alan5: 只是比較沒有純寫mapreduce 框架背後還是mr啊 04/11 12:17
alan5: de會去服務使用flink分析的user de就要了解flink 04/11 12:19
ab07275566: DE 是個坑,每家DE 要的技能點可能都有點些許不同,進 04/12 09:44
ab07275566: 來會發現包山包海,什麼能力都要,可以多看看,再看要 04/12 09:44
ejoz: 記者收了包養網多少啦 04/12 09:44
ab07275566: 不要走 DE 04/12 09:44
weinine32: mapreduce早被淘汰了,居然還有人在用Zzzz 04/12 10:00
daydream772: 分散式運算被後概念就是mr啊,還是你以為跑spark就 04/12 14:54
daydream772: 不是MR 04/12 14:54
weinine32: 那你應該先學Java,順便把原始碼、論文看一看,加油 Zz 04/12 18:18
FishRoom: 包養真亂 04/12 18:18
weinine32: zz 04/12 18:18