跳到主要內容

Dev 日誌 | 一次 Segmentation Fault 和 GCC Illegal Instruction 編譯問題排查


摘要


筆者最近在重新整理和編譯 Nebula Graph 的第三方依賴，選出兩個比較有意思的問題給大家分享一下。


Flex Segmentation Fault——Segmentation fault (core dumped)


在編譯 Flex 過程中，遇到了 Segmentation fault：


make[2]: Entering directory '/home/dutor/flex-2.6.4/src'
 ./stage1flex   -o stage1scan.c ./scan.l
 make[2]: *** [Makefile:1696: stage1scan.c] Segmentation fault (core dumped)

使用 gdb 查看 coredump：


Core was generated by `./stage1flex -o stage1scan.c ./scan.l'.
 Program terminated with signal SIGSEGV, Segmentation fault.
 #0  flexinit (argc=4, argv=0x7ffd25bea718) at main.c:976
 976             action_array[0] = '\0';
 (gdb) disas
 Dump of assembler code for function flexinit:
    0x0000556c1b1ae040 <+0>:     push   %r15
    0x0000556c1b1ae042 <+2>:     lea    0x140fd(%rip),%rax        # 0x556c1b1c2146
    ...
    0x0000556c1b1ae20f <+463>:   callq  0x556c1b1af460 <allocate_array> #這裏申請了buffer
    ...
 => 0x0000556c1b1ae24f <+527>:   movb   $0x0,(%rax) # 這裏向buffer[0]寫入一個字節，地址非法，掛掉了
    ...
 (gdb) disas allocate_array
 Dump of assembler code for function allocate_array:
    0x0000556c1b1af460 <+0>:     sub    $0x8,%rsp
    0x0000556c1b1af464 <+4>:     mov    %rsi,%rdx
    0x0000556c1b1af467 <+7>:     xor    %eax,%eax
    0x0000556c1b1af469 <+9>:     movslq %edi,%rsi
    0x0000556c1b1af46c <+12>:    xor    %edi,%edi
    0x0000556c1b1af46e <+14>:    callq  0x556c1b19a100 <reallocarray@plt> # 調用庫函數申請內存
    0x0000556c1b1af473 <+19>:    test   %eax,%eax # 判斷是否為 NULL
    0x0000556c1b1af475 <+21>:    je     0x556c1b1af47e <allocate_array+30># 跳轉至NULL錯誤處理
    0x0000556c1b1af477 <+23>:    cltq   # 將 eax 符號擴展至 rax，造成截斷
    0x0000556c1b1af479 <+25>:    add    $0x8,%rsp
    0x0000556c1b1af47d <+29>:    retq
    ...
 End of assembler dump.

可以看到，問題出在了 allocate_array 函數。因為 reallocarray 返回指針，返回值應該使用 64 bit 寄存器rax，但 allocate_array 調用 reallocarray 之後，檢查的卻是 32 bit 的 eax，同時使用 cltq 指令將 eax 符號擴展 到 rax。原因只有一個：allocate_array 看到的 reallocarray 的原型，與 reallocarry 的實際定義不符。翻看編譯日誌，確實找到了 implicit declaration of function 'reallocarray' 相關的警告。configure 階段添加 CFLAGS=-D_GNU_SOURCE 即可解決此問題。


注：此問題不是必現，但編譯/鏈接選項 -pie 和 內核參數 kernel.randomize_va_space 有助於復現。


總結：



  • 隱式聲明的函數在 C 中，返回值被認為是 int。

  • 關注編譯器告警，-Wall -Wextra 要打開，開發模式下最好打開 -Werror。


GCC Illegal Instruction——internal compiler error: Illegal instruction


前陣子，接到用戶反饋，在編譯 Nebula Graph 過程中遭遇了編譯器非法指令的錯誤，詳見(#978)[]


錯誤信息大概是這樣的：


Scanning dependencies of target base_obj_gch
 [ 0%] Generating Base.h.gch
 In file included from /opt/nebula/gcc/include/c++/8.2.0/chrono:40,
 from /opt/nebula/gcc/include/c++/8.2.0/thread:38,
 from /home/zkzy/nebula/nebula/src/common/base/Base.h:15:
 /opt/nebula/gcc/include/c++/8.2.0/limits:1599:7: internal compiler error: Illegal instruction
 min() _GLIBCXX_USE_NOEXCEPT { return FLT_MIN; }
 ^~~
 0xb48c5f crash_signal
 ../.././gcc/toplev.c:325
 Please submit a full bug report,
 with preprocessed source if appropriate.

既然是 internal compiler error，想必是 g++ 本身使用了非法指令。為了定位具體的非法指令集及其所屬模塊，我們需要復現這個問題。幸運的是，下面的代碼片段就能觸發：


#include <thread>
 int main() 
 {
     return 0;
 }

非法指令一定會觸發 SIGILL，又因為 g++ 只是編譯器的入口，真正幹活的是 cc1plus。我們可以使用 gdb 來運行編譯命令，抓住子進程使用非法指令的第一現場：


$ gdb --args /opt/nebula/gcc/bin/g++ test.cpp
 gdb> set follow-fork-mode child
 gdb> run
 Starting program: /opt/nebula/gcc/bin/g++ test.cpp
 [New process 31172]
 process 31172 is executing new program: /opt/nebula/gcc/libexec/gcc/x86_64-pc-linux-gnu/8.2.0/cc1plus
 Thread 2.1 "cc1plus" received signal SIGILL, Illegal instruction.
 [Switching to process 31172]
 0x00000000013aa0fb in __gmpn_mul_1 ()
 gdb> disas
 ...
 0x00000000013aa086 <+38>: mulx (%rsi),%r10,%r8
 ...

Bingo！mulx 屬於 BMI2 指令集，報錯機器 CPU 不支持該指令集。
仔細調查，引入該指令集的是 GCC 的依賴之一，GMP。默認情況下，GMP 會在 configure 階段探測當前機器的 CPU 具體類型，以期最大化利用 CPU 的擴展指令集，提升性能，但卻犧牲了二進制的可移植性。解決方法是，在 configure 之前，使用代碼目錄中的 configfsf.guess configfsf.sub 替換或者覆蓋默認的 config.guess 和 config.sub


總結：



  • 某些依賴可能因為性能或者配置的原因，造成二進制的不兼容。

  • 缺省參數下，GCC 為了兼容性，不會使用較新的指令集。

  • 為了平衡兼容性和性能，你需要做一些額外的工作，比如像 glibc 那樣在運行時選擇和綁定某個具體實現。


最後，如果你想嘗試編譯一下 Nebula 源代碼可參考以下方式：


bash> git clone https://github.com/vesoft-inc/nebula.git
 bash> cd nebula && ./build_dep.sh N

有問題請在 GitHub 或者微信公眾號上留言。


附錄



  • Nebula Graph：一個開源的分佈式圖數據庫

  • GitHub：

  • 知乎：

  • 微博：


本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】

※想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計



※不管是台北網頁設計公司、台中網頁設計公司，全省皆有專員為您服務



※Google地圖已可更新顯示潭子電動車充電站設置地點!!



※帶您來看台北網站建置，台北網頁設計，各種案例分享



※小三通物流營運型態?



※快速運回,大陸空運推薦?



Orignal From: Dev 日誌 | 一次 Segmentation Fault 和 GCC Illegal Instruction 編譯問題排查

留言

張貼留言

這個網誌中的熱門文章

旅館疑有臭蟲 北市府稽查找嘸

有民眾抱怨，日前投宿的北市某旅館疑似出現臭蟲，北市觀傳局與衛生局、環保局聯合稽查，但因為沒有發現蟲屍，無法確認該旅館是否真有臭蟲，市府下周將召開專家會議處理該案，市長蔣萬安則允諾會以最高規格防範臭蟲。 北市某旅館傳出疑有臭蟲，議員陳宥丞23日在市政總質詢詢問市府處理進度，並指出法國、澳洲、韓國的臭蟲，起初都現蹤公車或地鐵卻沒被發現，直到大規模爆發，才付出大量社會成本處理，而且一般殺蟲劑無法殺掉臭蟲，北市是否有因應措施？ 觀傳局主任祕書蕭君杰表示，21日聯合環保局、衛生局到該旅館稽查，但沒有發現臭蟲，也沒有查到蟲卵跡象，只能檢查現場環境是否符合衛生相關規定，但環保局有指導業者如何針對臭蟲清潔消毒。觀傳局長王秋冬指出，下周會與專家學者召開會議，以最高規格處理此案。 想知道購買電動車哪裡補助最多? 台中電動車 補助資訊懶人包彙整 ；推薦評價好的 iphone維修 中心擁有專業的維修技術團隊，同時聘請資深iphone手機維修專家，現場說明手機問題，快速修理，沒修好不收錢住家的頂樓裝 太陽光電 聽說可發揮隔熱功效一線推薦東陽能源擁有核心技術、產品研發、系統規劃設置、專業團隊的太陽能發電廠商。 網頁設計 一頭霧水該從何著手呢? 回頭車 貨運收費標準宇安交通關係企業，自成立迄今，即秉持著「以誠待人」、「以實處事」的企業信念 台中搬家公司 教你幾個打包小技巧,輕鬆整理裝箱!還在煩惱搬家費用要多少哪？台中大展搬家線上試算搬家費用，從此不再擔心「物品怎麼計費」、「多少車才能裝完」 台中搬家 公司費用怎麼算?擁有20年純熟搬遷經驗，提供免費估價且流程透明更是5星評價的搬家公司好山好水 露營車 漫遊體驗露營車x公路旅行的十一個出遊特色。走到哪、玩到哪，彈性的出遊方案，行程跟出發地也可客製 廣告預算用在刀口上， 台北網頁設計 公司幫您達到更多曝光效益； 電動車補助 衛生局疾病管制科長張惠美表示，現場查到與臭蟲無關的多項衛生缺失，包含未提供從業人員體檢報告、簡易外傷藥品及器材超過有效期、紗窗有破損等，已要求業者2周內改善，將擇期複查，如果複查不合格，將依法裁罰3000元至2萬元罰鍰。 但陳宥丞批評，環保局未公告哪些藥劑能殺死臭蟲，很擔心北市會和韓國、法國一樣，把臭蟲防治交給民間恐造成大規模爆發，且北市內的廢棄傢俱回收廠也有可能成為臭蟲孳生的...
張貼留言
閱讀完整內容

2016年電動車和插電式混合動力車銷量預計將超過70萬輛

中汽協日前預測，2016年全國電動汽車和插電式混合動力車的銷量預計將超過70萬輛，較2015年的銷量增長一倍。 2015年電動車和插電式混合動力車的合併銷量為331092輛，較2014年增長了340%。其中包括247482輛電動車和83610輛插電式混合動力車，在24萬輛多的電動汽車銷量中，包括146719輛乘用車，另有100763輛為商用車。插電式混合動力車的銷量中，60663輛為乘用車，22947輛為商用車。 根據2015年起草的藍圖，政府計畫到2020年在全國範圍內新建12000個充電站和480枚充電樁。2014年年底，全國共有780個充電站共31000枚充電樁。2015年政府還為27個省市自治區設定了電動車的最低銷量目標。 政府預計，這些措施到位後，自主品牌車企的電動車和插電式混合動力車銷量到2020年可達100萬輛，到2025年可達300萬輛。 本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理 【其他文章推薦】 ※為什麼 USB CONNECTOR 是電子產業重要的元件? ※ 網頁設計 一頭霧水??該從何著手呢? 找到專業技術的 網頁設計公司 ，幫您輕鬆架站! ※想要讓你的商品成為最夯、最多人討論的話題? 網頁設計公司 讓你強力曝光 ※想知道最厲害的 台北網頁設計公司推薦 、 台中網頁設計公司推薦 專業設計師"嚨底家"!! Orignal From: 2016年電動車和插電式混合動力車銷量預計將超過70萬輛
張貼留言
閱讀完整內容

012.Kubernetes二進制部署worker節點Flannel

一 部署flannel 1.1 安裝flannel kubernetes 要求集群內各節點(包括 master 節點)能通過 Pod 網段互聯互通。flannel 使用 vxlan 技術為各節點創建一個可以互通的 Pod 網絡，使用的端口為 UDP 8472。 flanneld 第一次啟動時，從 etcd 獲取配置的 Pod 網段信息，為本節點分配一個未使用的地址段，然後創建 flannedl.1 網絡接口（也可能是其它名稱，如 flannel1 等）。 flannel 將分配給自己的 Pod 網段信息寫入 /run/flannel/docker 文件，docker 後續使用這個文件中的環境變量設置 docker0 網橋，從而從這個地址段為本節點的所有 Pod 容器分配 IP。 更多flannel參考：《008.Docker Flannel+Etcd分佈式網絡部署》。 提示：k8smaster01節點已下載相應二進制，可直接分發至node節點。 1.2 分發flannel 1 [root@k8smaster01 ~]# cd /opt/k8s/work 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh 3 [root@k8smaster01 work]# for node_ip in ${NODE_IPS[@]} 4 do 5 echo " >>> ${node_ip} " 6 scp flannel/{flanneld,mk-docker-opts.sh} root@${node_ip}:/opt/k8s/bin/ 7 ssh root@${node_ip} " chmod +x /opt/k8s/bin/* " 8 done 1.3 創建flannel證書和密鑰 提示：k8smaster01節點已創建flanneld的CA證書請求文件，可直接分發至node節點。 1.4 分發證書和私鑰 1 ...
張貼留言
閱讀完整內容