flink - 愛碼網

基于FLink實現實時安全檢測的示例代碼

目錄研發背景場景描述組件版本日志結構技術方案關鍵代碼主入口類 mapper算子 filter算子 keyBy算子窗口函數（核心代碼）最后一次map算子 ElasticSearch工具類事件實體類消息實體類研發背景公司安全部目前針對內部系統的網絡訪問日志的安全審 ?

基于FLink實現的實時安全檢測（一段時間內連續登錄失敗20次后，下一次登錄成功場景）

研發背景 ? ? 公司安全部目前針對內部系統的網絡訪問日志的安全審計，大部分都是T+1時效，每日當天，啟動Python編寫的定時任務，完成昨日的日志審計和檢測，定時任務運行完成后，統一進行企業微信告警推送。這種方案在目前的網絡環境和人員規模下，呈現兩個痛點，一是面對日益頻繁的網絡攻擊、釣魚鏈接，T+ ?

《關于我因為flink成為spark源碼貢獻者這件小事》

各位讀者老爺請放下手上的板磚，我可真沒有標題黨，且容老弟慢慢道來。 spark和flink本身相信我不用做過多的介紹，后端同學不管搞沒搞過大數據，應該都多多少少聽過。如果沒聽過，簡單說，spark和flink之于大數據，就好比vue和react之于前端，就好比spring家族之于java。從20 ... ?

Flink實現特定統計的歸約聚合reduce操作

如果說簡單聚合是對一些特定統計需求的實現，那么 reduce 算子就是一個一般化的聚合統計操作了。從大名鼎鼎的 MapReduce 開始，我們對 reduce 操作就不陌生：它可以對已有的數據進行歸約處理，把每一個新輸入的數據和當前已經歸約出來的值，再做一個聚合計算。與簡單聚合類似，reduce ?

Flink自定義Sink端實現過程講解

目錄 Sink介紹 UML關系 Flink addSink 案例 Sink介紹在Fink官網中sink端只是給出了常規的write api.在我們實際開發場景中需要將flink處理的數據寫入kafka,hbase kudu等外部系統。 UML關系自定義Sink需要實現父類的接口和 ?

Java?Flink與kafka實現實時告警功能過程

目錄引出問題 demo設計環境搭建 flink程序代碼項目演示告警系統架構引出問題項目使用告警系統的邏輯是將實時數據保存到本地數據庫再使用定時任務做判斷，然后產生告警數據。這種方式存在告警的延時實在是太高了。數據從產生到保存，從保存到判斷都會存在時間差，按照保存數據定時5分鐘一 ?

Flink 創始人團隊二次收購案！阿里恐成冤大頭！

大數據開源商業化領域近日有一個爆炸性新聞，“Confluent 收購 Immerok”，字越少事越大，先給大家簡單科普一下 Confluent 和 Immerok 這兩家公司，Confluent 是掌控 Apache Kafka 社區的大數據開源商業化公司，Immerok 是 Apache Flin ... ?

基于SpringBoot?使用?Flink?收發Kafka消息的示例詳解

目錄前言準備工作開發階段首先需要引入的包POM文件主要代碼運行效果總結前言這周學習下Flink相關的知識，學習到一個讀寫Kafka消息的示例，自己動手實踐了一下，別人示例使用的是普通的Java Main方法，沒有用到spring boot. 我們在實際工作中會使用spr ?

vivo 實時計算平臺建設實踐

vivo 實時計算平臺是 vivo 實時團隊基于 Apache Flink 計算引擎自研的覆蓋實時流數據接入、開發、部署、運維和運營全流程的一站式數據建設與治理平臺。 ... ?

Flink mini-batch "引發" 的亂序問題

問題描述近期業務反饋，開啟了 mini-batch 之后，出現了數據不準的情況，關掉了 mini-batch 之后，就正常了，因此業務方懷疑，是不是 Flink 的 mini-batch 存在 bug ？問題排查初步分析 mini-batch 已經在內部大規模使用，目前沒有發現一例 ... ?