大家好，現在小編來為大家解答以上問題。Linux實現文件內容去重及求交并差集的方法相信很多人還不知道，現在讓我們一起來看看吧！ 一、數據去重 日常工作中，使用Hive或者Impala查詢導出來可能會存在數據重復的現象，但又不想重新執行一遍查詢（查詢時間稍長，導出文件內容多），因此想到了使用Linux命令將文件的內容重復數據進行去除。 案例如下： 可以看到aaa.txx有3條重復數據
想去掉多余的數據，只保留一條 sort aaa.txt | uniq > bbb.txt 將aaa.txt文件中重復數據去掉，輸出到bbb.txt
可以看到bbb.txt文件中只保留了一條數據 二、數據交、并、差 1)、交集(相當于user_2019 inner join user_2020 on user_2019.user_no=user_2020.user_no)
2)、并集(相當于 user_2019.user_no union user_2020.user_no)
3)、差集 user_2019.txt-user_2020.txt
sort user_2019.txt user_2020.txt user_2020.txt | uniq -u
user_2020.txt - user_2019.txt:
sort user_2020.txt user_2019.txt user_2019.txt | uniq -u
以上Linux實現文件內容去重及求交并差集的方法就是小編為大家收集整理的全部內容了，希望對大家有所幫助。如果您喜歡這篇文章，可以收藏或分享給您的小伙伴們吧！歡迎持續關注我們的后續更新。 |
免責聲明：本站部分文章和圖片均來自用戶投稿和網絡收集，旨在傳播知識，文章和圖片版權歸原作者及原出處所有，僅供學習與參考，請勿用于商業用途，如果損害了您的權利，請聯系我們及時修正或刪除。謝謝！
始終以前瞻性的眼光聚焦站長、創業、互聯網等領域，為您提供最新最全的互聯網資訊，幫助站長轉型升級，為互聯網創業者提供更加優質的創業信息和品牌營銷服務，與站長一起進步！讓互聯網創業者不再孤獨！
掃一掃，關注站長網微信
大家都在看當我們在共享網絡訪問的時候，可能會遇到提示指定的網絡名不再可用的問題，這可能是由于我們的共享網絡出現了錯誤，也可能是被共享的對象所拒絕了。指定的網絡名 ......
1、首先進入到“百度”軟件中， 2、然后在其中輸入“百度識圖”， 3、之后點擊圖中的“開始使用”按鈕， 4、緊接著點擊右下角的“相冊”功能， 5、在相冊下 ......
一、軟件沖突1、首先確認是否是應用程序沖突導致的。2、查看是否只有特定幾個游戲或應用會導致該問題。3、如果是應用沖突，那么只要卸載這些app就可以解決了。二 ......
文/曹楊 原標題：誰還看電視？ 爸爸戴一副老花鏡，媽媽戴一副近視鏡，一人坐在沙發，一人躺在床上，各自刷著自己關注的博主更新的短視頻。電視也許開著，但只是背景。 這樣的畫面，幾乎成了洛奇家的常 ...
圖片來源于簡書 文/郭開森 楊帆 陸玖財經準備開新欄目了，每周一創始人郭開森和楊帆合體郭德帆，對行業進行一些觀察和評論，第一篇我們仍是打算寫社區團購，這是當下最火的話題。 來過陸玖財經做客的朋友們...
一、N100對比intel i3 1、N100的跑分達到了147210分，這個數據可以達到i3的七代級別。 2、在跑分上也是超越了大部分的I3七代CPU，不過比I3八代要弱勢一些。 3 ......
電腦端：1、大家可以點擊右邊鏈接進入網頁版的百度網盤，進入之后點擊“去登錄”。https://pan.baidu.com/2、之后正確的輸入賬號密碼進行登錄就好啦。手機端：1 ......
在填寫一些項目申請書中，總是免不了要選擇一些數字，但是在方框中如何插入數字，該怎么辦呢?那么下面就由學習啦小編給大家分享下word在方框里輸入數字的技巧， ......
8月15日消息 上周，有媒體報道前身為百度圖片的“榴蓮”APP含有大量不雅視頻內容被用戶舉報。對此，百度圖片官方進行了回應，百度圖片表示已經對報道中所涉及的“生吃旋風哥”等爭議內容進行了下線處理。 此外，百度...
迅雷前綴是什么 答：迅雷前綴是（magnet:?xt=urn:btih:）括號里的就是了。 我們只要在這段文字之后輸入后續的內容，就可以創建下載鏈接了。 1、磁力鏈接不基于文 ......
WPS Office手機版怎么加橫線？很多用戶還不知道WPS Office手機版怎么加橫線，WPS Office手機版怎么加橫線，WPS Office手機版怎么打橫線，WPS Office手機版怎么弄 ......
一、內容特權。 1、半價點播。 許多站內視頻都需要付費觀看，而大會員用戶可以直接半價享受； 購買成功后的48h內無限次觀看。有部分的內容是只限在中國大陸內觀 ......
藍奏云怎么打開別人分享的鏈接1、當我們獲得了鏈接以后，首先需要把鏈接粘貼進瀏覽器里回車進入。2、進入以后就會轉到這樣一個頁面，如果有密碼的話我們就輸入給 ......
1、首先打開小米運動的“實驗室功能”。 2、接著點擊“門卡模擬”。 3、然后點擊“我知道了”。 4、最后貼近就可以刷卡成功了。...
答：華為P系列： 華為p40，華為p40plus，華為p50，華為p50e，華為p60 華為mate系列： 華為mate40，華為mate50，華為mate50e，華為mate60 華為nova系列： 華為n ......
近期有用戶反映，電腦在更新Windows 11 Insider Preview 25252.1000后，出現了應用和已壓縮的文件點擊毫無反應，拖拽都不行，只能從開始菜單打開的情況，這是怎 ......
可見單元格就是不包括隱藏或者篩選篩選后隱藏起來的單元格區域。方法：篩選或隱藏數據，復制需要粘貼的值，在目標單元格區域左上角的第一個單元格處右擊，選擇【 ......
答：驍龍8+更好。 驍龍7+gen2實際上就是驍龍8+的低配版本。 在一些其他的核心架構方面都是保持一致的，比如說CPU的架構、GPU的架構等等。 驍龍7+和驍龍8+具體 ......
1、先打開機頂盒進入主界面，并且使用遙控器打開設置。 2、然后選擇“賬號與安全”，并且進入。 3、最后往下面翻就可以看到“ADB調試”的選項，直接開啟就行了 ......
答：在3DMark壓力測試當中，顯卡需要超高97%才能夠算合格，證明顯卡的穩定性是過關的。 1、一般的默認情況下在2500~3000分就算很正常的了。 2、分數越高說明顯卡 ......
文件被win10系統誤報病毒自動刪除了如何進行恢復？有用戶下載了某些破解軟件卻被Win10系統誤認為是病毒文件而自動刪除，當然系統自帶殺毒軟件其實挺不錯的，就是有時候會誤報，大家遇到這種情況的時候就希望把誤刪的...
win11系統如何釋放掉系統默認保留的存儲空間？一般情況下，Windows會保留一些存儲空間，以便設備獲得良好性能和成功更新。但是當出現系統盤儲存空間不足時，我們會將幾個G的保留空間釋放出來，以解燃眉之急。本期教...
文/黎明 一場針對中國互聯網巨頭的反壟斷風暴正在醞釀，而且這次動真格了。 11月10日，國家市場監管總局發布《關于平臺經濟領域的反壟斷指南（征求意見稿）》，要加大對互聯網巨頭涉嫌壟斷的調查和監管。 ...
我們經常用WPS的時候，如果需要輸入波浪號～，會發現鍵盤上的波浪號輸入之后在最上面，但是為了美觀，我們希望波浪號顯示在中間。這里總結了三個方法分享給大家 ......
答：不一樣。 字類不同、數量不同、使用也不同。 1、字類不同 仿宋gb2312只包含符合GB2312標準的簡體字，仿宋包含所有的簡體字，包括特殊的繁體字。 2、版本不 ......
1、下載番茄作家助手，登錄你自己的賬號進入。2、在首頁這里可以看到你創建的書籍，或者新建一個小說，點擊這個黃色的編輯圖標。3、進入以后，再點擊“創建章節 ......
答：中高端水平 i513500hx在處理器當中是處于一個中高端的水平。 i513500hx是第十一代酷睿處理器系列的一員，基礎頻率為2.4GHz，表現十分的不錯。 i513500hx介 ......
羅技g304dpi燈顏色代表什么：1、藍色：這種情況是正常工作的顯示，如果說是常亮或者閃爍，那都沒有問題這是在正常工作呢。2、紅色：如果說是紅燈閃爍的話那就是 ......
打開軟件，直接填寫就可以。 1、下載安裝easyconnect軟件， 2、打開easyconnect應用，在如圖所示的“服務器地址”一欄輸入如圖所示網址，點擊“連接”， 3、等 ......
