登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
Gitee AI
NEW
我知道了
查看详情
登录
注册
1月18日，北京，聊聊2025如何加入技术开发？
代码拉取完成，页面将自动刷新
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
1
Star
0
Fork
0
royal_wong
/
tools
代码
Issues
16
Pull Requests
0
Wiki
统计
流水线
服务
Gitee Pages
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
我知道了，不再自动展开
更新失败，请稍后重试！
Issues
/
详情
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息，仓库外成员不可访问
【OLK-5.10】softlockup in rcu_momentary_dyntick_idle
待办的
#I83BY6
royal_wong
拥有者
创建于
2023-09-21 17:15
【严重程度】 一般 【特性】 dfx/debug 【重现类型】 无规律重现 【定位分析】 </p><p><br></p><p>相关bugzilla链接：<p><br></p><p><span style="color: rgb(37, 43, 58); font-size: 14px; background-color: rgb(255, 255, 255);">Vmcore中看见96核的物理机，有95个cpu都在执行migration kthread，hotplugged CPU cpu4正在take_cpu_down, 说明当时环境正在做cpu4下线操作， 从multi_stop_data看， cpu62也应该运行cpu_stopper_thread，但它的comm是sh，且migration/62处于WAKING 0x200状态，CPU62 sh处于running状态，而cpu62处于关中断状态，导致无调度点能使migration/62 thread抢占sh进程，导致cpu62未能执行cpu_stopper_thread。</span></p><p><span style="color: rgb(37, 43, 58); font-size: 14px; background-color: rgb(255, 255, 255);">进一步分析cpu62关中断的原因为cpu62处于sdei event handler中，根据SDEI spec：</span>On entry to the handler，...PSTATE is modified as follows: DAIF = 0b1111.</p><p>而cpu62进入_sdei_handler后调用sdei_watchdog_callback。</p><p><br></p><p>在Kunpeng920上， Firmware bug导致sdei event可能提前到来，0fa83fd0f8f7 ("sdei_watchdog: avoid possible false hardlockup")补丁添加了一个WARN_ON(1)到sdei_watchdog_callback() 以上报sdei event提前的warning告警， arm64上WARN_ON()使用brk #800实现， brk会触发elx_sync同步异常，然后调用do_debug_exception处理该warning, 即搜索调用WARN_ON(1)的指令指针pc是否在__bug_table中，如在，则将该指令指针pc所对应的源代码文件名、行号已经相关调用栈打印出来，完成warning的上报。否则该warning处理不成功，将走到arm64_notify_die()->panic流程。</p><p><br></p><p>分析vmcore及dmesg, 发现cpu62上的sdei event提前到来，cpu62执行了sdei_watchdog_callback()中的WARN_ON(1), 并执行了如下路径： WARN_ON(1) ->el1_sync->do_debug_exception-> inf->fn -> brk_handler-> call_break_hook return DBG_HOOK_ERROR, 即WARN_ON(1)的处理出了问题，进而执行arm64_notify_die->panic, 进一步导致了最初的migration状态机无法下行，其他CPU(如cpu91) 在multi_cpu_stop 循环中softlockup->panic.</p><p><br></p><p>而根据_sdei_handler()中注释”We took a synchronous exception from the SDEI handler. This could deadlock, and if you interrupt KVM it will hyp-panic instead.“以及 sdei spec "The handler code should not enable asynchronous exceptions by clearing any of the PSTATE.DAIF bits and should not cause synchronous exceptions to the client Exception level. " SDEI中不能take同步异常，</p><p>考虑当时引入该WARN_ON(1)的用意，先将该WARN_ON(1)删除以规避该问题。</p><p><br></p><p>
【严重程度】 一般 【特性】 dfx/debug 【重现类型】 无规律重现 【定位分析】 </p><p><br></p><p>相关bugzilla链接：<p><br></p><p><span style="color: rgb(37, 43, 58); font-size: 14px; background-color: rgb(255, 255, 255);">Vmcore中看见96核的物理机，有95个cpu都在执行migration kthread，hotplugged CPU cpu4正在take_cpu_down, 说明当时环境正在做cpu4下线操作， 从multi_stop_data看， cpu62也应该运行cpu_stopper_thread，但它的comm是sh，且migration/62处于WAKING 0x200状态，CPU62 sh处于running状态，而cpu62处于关中断状态，导致无调度点能使migration/62 thread抢占sh进程，导致cpu62未能执行cpu_stopper_thread。</span></p><p><span style="color: rgb(37, 43, 58); font-size: 14px; background-color: rgb(255, 255, 255);">进一步分析cpu62关中断的原因为cpu62处于sdei event handler中，根据SDEI spec：</span>On entry to the handler，...PSTATE is modified as follows: DAIF = 0b1111.</p><p>而cpu62进入_sdei_handler后调用sdei_watchdog_callback。</p><p><br></p><p>在Kunpeng920上， Firmware bug导致sdei event可能提前到来，0fa83fd0f8f7 ("sdei_watchdog: avoid possible false hardlockup")补丁添加了一个WARN_ON(1)到sdei_watchdog_callback() 以上报sdei event提前的warning告警， arm64上WARN_ON()使用brk #800实现， brk会触发elx_sync同步异常，然后调用do_debug_exception处理该warning, 即搜索调用WARN_ON(1)的指令指针pc是否在__bug_table中，如在，则将该指令指针pc所对应的源代码文件名、行号已经相关调用栈打印出来，完成warning的上报。否则该warning处理不成功，将走到arm64_notify_die()->panic流程。</p><p><br></p><p>分析vmcore及dmesg, 发现cpu62上的sdei event提前到来，cpu62执行了sdei_watchdog_callback()中的WARN_ON(1), 并执行了如下路径： WARN_ON(1) ->el1_sync->do_debug_exception-> inf->fn -> brk_handler-> call_break_hook return DBG_HOOK_ERROR, 即WARN_ON(1)的处理出了问题，进而执行arm64_notify_die->panic, 进一步导致了最初的migration状态机无法下行，其他CPU(如cpu91) 在multi_cpu_stop 循环中softlockup->panic.</p><p><br></p><p>而根据_sdei_handler()中注释”We took a synchronous exception from the SDEI handler. This could deadlock, and if you interrupt KVM it will hyp-panic instead.“以及 sdei spec "The handler code should not enable asynchronous exceptions by clearing any of the PSTATE.DAIF bits and should not cause synchronous exceptions to the client Exception level. " SDEI中不能take同步异常，</p><p>考虑当时引入该WARN_ON(1)的用意，先将该WARN_ON(1)删除以规避该问题。</p><p><br></p><p>
评论 (
0
)
royal_wong
创建了
任务
登录
后才可以发表评论
状态
待办的
待办的
进行中
已完成
已关闭
负责人
未设置
royal_wong
royal-wong
负责人
协作者
+负责人
+协作者
标签
未设置
标签管理
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
未关联
wcz_20230321
master
开始日期 - 截止日期
-
置顶选项
不置顶
置顶等级：高
置顶等级：中
置顶等级：低
优先级
不指定
严重
主要
次要
不重要
参与者（1）
1
https://gitee.com/royal-wong/gcc-tools.git
git@gitee.com:royal-wong/gcc-tools.git
royal-wong
gcc-tools
tools
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号，请先登录后再操作。
立即登录
没有帐号，去注册
