国鑫 AS4110G-D04R-G3 服务器
课题组去年还是前年购买了两台 8 卡 4090 48G 服务器, 在过去的一年里面可谓是故障不断. 之前我一直没有使用卡的需求, 所以说也并不关心; 但是最近我导想推进在外网的本地部署模型, 觉得上半年我让买的 Spark 太慢了满足不了科研需求. 因此这几天折腾了一下.
本文会涵盖硬件配置和调试, 暴打 BMC, 乱改 BIOS, 魔改 NVIDIA 驱动等抽象行为, 请谨慎观看.
课题组去年还是前年购买了两台 8 卡 4090 48G 服务器, 在过去的一年里面可谓是故障不断. 之前我一直没有使用卡的需求, 所以说也并不关心; 但是最近我导想推进在外网的本地部署模型, 觉得上半年我让买的 Spark 太慢了满足不了科研需求. 因此这几天折腾了一下.
本文会涵盖硬件配置和调试, 暴打 BMC, 乱改 BIOS, 魔改 NVIDIA 驱动等抽象行为, 请谨慎观看.
Earlier we upgraded the core switch of Skyworks’ serverroom to a Cisco Nexus 92160YC-X, a 48-port 25GbE datacenter switch. We also upgraded the connection of Skyworks’ gateway to the switch from 2x10GbE to 2x25GbE LACP. Days ago, I upgraded my server from 1x25GbE to 2x25GbE LACP. Dolphin told me that despite the 50Gbps aggregated bandwidth, iperf3 tests can reach to only about 41Gbps. He and 6dx suspected a saturated CPU on the server, but when I ran the test, I got similar results, with not a single 100% busy core.
UDP tests yeilded approximately the same result, which make me think: what’s the root of the problem, were it not CPU saturation? Here is the investigation.
前两天我的服务器突然下线了, 但是 BMC 还在. 我本来以为他就以某些奇怪的方式死机了, 于是决定直接重启. 结果重启之后服务器音信全无, 进入 SOL 发现, BIOS 挂掉了. 考虑到当天我用 fwupdmgr 升级了服务器的 UEFI CA, 我以为是升级干烂了 BIOS. 于是请了 dolphin 先生专家号来重新刷固件. 没想到折腾了半天最后发现是我新买回来的二手九九新 SSD 干掉了我的 BIOS, 实在没绷住, 故作此.
这些日子一直在大战大模型. 实验室有一些 H100 但是在物理隔离的内网; 而外面, 我缠着我导采购了两台 DGX Spark. 前后折腾了有两三个月, 预期还得再折腾一两年. 但是无论如何, 折腾了这么久, 加上 Hacker News 上面也时不时有一些讨论, 还是想写点吐槽一下.
但是总之结论: 别干, 除非有什么不可告人的情况.
本科毕业了! 虽然这学期没什么课, 但是这学期可是一点也没有闲下来, 简直是忙得要死. 但是虽然忙得要死, 却觉得无话可说, 不知道这篇博客该写什么. 当然, 一部分原因是不能写的越来越多了 (你别问为什么, 我也不知道), 另一部分原因是能写的事情确实没什么事情, 不少也已经写过了. 但是总之还是水一点, 以免有人以为我的半年报要咕咕了.
前几天我在 捡了一台 HR650X -- 附加折腾日记 里面提到, 我发现我的服务器的 BIOS 是个 Debug Build, 里面有一些嵌入的调试信息和 debug print. 由于最近逆向是我的老本行 (你别问为什么), 我就用我的神秘逆向工具平台把这个 BIOS 给统统逆了. 不过吧… 你要说有什么有趣的发现, 我还没那么多时间去看 (实在是太多了), 我也不好说到底逆向有多么成功, 但是 Anyway, 还是写一篇短文介绍一下.
昨天? 开学代会, 但是我在做毕设的 PPT. 做到一半, 惊闻学生科协工作报告里面出现了我的名字, 然后有人给我发了拍照版本, 我看了一眼发现里面全是胡编乱造, 本来想写小作文喷他, 但是迫于 PPT 我没能很快写出小作文.
今天有人给我发了一份 file.tmpUUZPSS.pdf, 打开一看是这个报告的扫描+批注版本, 其内容令人忍俊不禁, 下面我就逐句点评一下这个报告到底写了什么.
后来得知这玩意是 树洞, 原来的名字叫 “某某大学计算机某某与某某系2025-2026学年度学生科协工作报告_重点学习版_深度学习版_重新学习版.pdf”, 是不是还有好几个人分别批注了好几遍, 真绷不住.
Hera 是当年 Harry 放进李兆基核心机房的服务器, 是科协一直以来的服务核心. 这两年, 李兆基机房在学校的规划下要腾出空间给校级的新数据中心使用, 去年大概这个时候曾经通知我们搬迁, 不过后来被 Harry 大手找信息化的老师续命了一年 (当时信息化的老师似乎觉得, 这个 2018 年的服务器用不了一年就会坏了, 到时候让它自然报废即可). 但是他们不知道的是, 这些服务器没人折腾它, 在机房里面再用 5 年也不会坏的 (x). 于是上周, 我们续签的合同又到期了, 这次, 他们说什么也要求我们搬出去, 给定的期限是 5 月 15 日.
我在 5 月 11 日得知这个消息. 虽然 理论上 科协不归我管了, 但是看上去这一届的副主席对这件事还是不太敢动, 而 Harry 等几个老学长都指望着我 (而且他们看上去对我期望很高). 于是, fine, 那我就和下一届副主席一块搬吧.
This article discusses QLogic QL45xxx series 100GbE NICs, with capability to breakout into 2x50GbE or 4x25GbE. It covers the OEM parts, firmware and cross flashing between different models in the series.
Related parts (QLogic/Generic subsystem):
| Model | VenID | DevID | SubVen | SubDev |
|---|---|---|---|---|
| FastLinQ QL45211H 25GbE | 1077 | 1656 | 1077 | E4F6 |
| FastLinQ QL45212H 25GbE | 1077 | 1656 | 1077 | E4F7 |
| FastLinQ QL45262H 25GbE | 1077 | 1656 | 1077 | E4FB |
| FastLinQ QL45000 Series 25GbE | 1077 | 1656 | 1077 | E4F8 |
| FastLinQ QL45611H 100GbE | 1077 | 1644 | 1077 | E4F8 |
| FastLinQ QL45631H 100GbE | 1077 | 1644 | 1077 | 0025 |
| Cisco QL45631HOCU 100GbE QSFP28 OCP | 1077 | 1644 | 1137 | 024E |
| Oracle QL45651HLCU 100GbE | 1077 | 1644 | 1077 | 0048 |
| QLogic single port 100GbE PCIe NIC | 1077 | 1644 | 1137 | 0257 |
HPE OEM subsystem (SubVen 1590):
| Model | VenID | DevID | SubVen | SubDev |
|---|---|---|---|---|
| HPE Ethernet 4x25Gb 620QSFP28 | 1077 | 1656 | 1590 | 00CF |
| HPE Synergy 6810C 25/50Gb 2-port | 1077 | 1654 | 1590 | 0223 |
| FastLinQ QL45000 Series 100GbE | 1077 | 1644 | 1590 | 00F6 |
The article is split into two main parts: a story, and a guide. The story covers how I get familiar with the cross-flashing process, and the guide aims to provide a precise, step-by-step instruction for cross-flashing QLogic QL45xxx series NICs. The guide is based on the experience gained from the story, and is intended to help others who want to perform similar cross-flashing tasks.
DISCLAIMER: Cross flashing firmware can be risky (and involves soldering the EEPROM chip), and, if done incorrectly, can brick / permanently damage the device (especially when you’re not good at soldering). MAKE REALLY SURE THAT YOU UNDERSTAND THE RISKS, AND I AM NOT RESPONSIBLE FOR ANY DAMAGE THAT MAY OCCUR.
前几天系里开了关于 AI 时代的 CS 教育的研究生论坛, 但是我是本科生, 没有去. 杰哥 去了, 在博客里分享了 AI 时代的本科 CS 教育随想. 他对大作业 / 小作业 / 考试等都写了一些想法. 作为本科生, 我觉得他写的很有参考价值, 当然, 我也有一些自己的见解, 遂引用, 形成此文.