2013-09-05 07:47:03
折腾古董Gen8最终形态：万兆软路由，看到ebay有块150刀的二手Sillicom PE310G4I71L-XR（Intel x710da4），与卖家砍价到130刀成交，Sillicom比寨卡强而且价格比国内便宜很多。到手成色完美。又买了4个模块，重点说一下ADOP自适应光转电模块Aquantia低温版，光转电自适应1G/2.5G/5G/10G速率，为了接光猫2.5G电口，突破2000M外网，因为不知道兼容性和发热如何，先买一个试水，在台式机上已经用了一段时间挺完美，然而实测在x710da4上并不能用！ 不能用！不能用！![[sweat]](styles/playcase/images/smilies/icon_sweat.gif)
（准备再换个品牌试试），10.10更新：换了广联自适应模块，果然牛B，很完美，和Linksys MX8500 WAN口5G速率握手没问题（工作温度居然只有26度），重点要说x710一定要直通，否则效率感人，延迟巨大，而且esxi里cpu占用能到115%（不知为什么多15%）。
Sillicom 官网介绍：
https://www.silicom-usa.com/pr/server-adapters/networking-adapters/10-gigabit-ethernet-networking-adapters/pe310g4i71l-server-adapter/
这块x710da4从安装第一步就开始踩雷，和gen8上预留的PCIEx16接口不兼容，直接安装最上面一个光口会被挡住，da4变成da3了，后期我暴力拆除机箱挡板解决。
进入esxi6.7u3，已经顺利识别出x710da4，i40en驱动版本是1.8.1.9-2vmw.670.3.73.14320388，依次设置好虚拟交换机和端口组，其中物理光口vmnic5光纤直连我的电脑，也正确显示握手速度10000M 全双工，进入openwrt重新编辑配置， 这里如提示输入正确的磁盘大小，不能编辑保存的问题，要在安装openwrt虚拟机之前，ssh宿主esxi，如下命令
#vmkfstools -X 1000M openwrt.vmdk（1000M和xxx.vmdk自己根据实际修改）
随后在openwrt配置里绑定几个光口，问题1来了，我的电脑只能访问外网和openwrt，无法访问LAN口里其他任何终端，包括esxi管理口，要知道他们都在虚拟交换机里，正常应该是可以互访的。于是重启电脑再试，问题2来了，发现重启后无法上网，光口两端灯都是亮的，esxi物理网卡vmnic5状态却是链路已断开，经过多次插拔光纤和重启电脑，得出链路状态有严重问题，链路联通状态完全随机，可用性为0，当时脑袋里跑过一万个草泥马~
后发现如果使用命令是可以手动控制链路状态的，感觉不是硬件问题，猜测是不是网卡驱动和固件问题~
#localcli network nic down -n vmnic1
#localcli network nic up -n vmnic1
VMware官网兼容列表找到最新esxi6.7u3 i40en驱动，2022年6月23日发布version 1.17.2.0，最小对应固件是8.70，不管这么多先升级驱动
显示当前i40en驱动版本
#esxcli software vib list | grep i40en
安装新驱动1.17.2.0（不用进维护模式）
#esxcli software vib install -v /tmp/INT_bootbank_i40en_1.17.2.0-1OEM.670.0.0.8169922.vib
升级驱动后，测试问题依旧，看来还要做风险最大的操作升级x710固件，因为Intel官方VNM更新只针对原装卡，第三方如果硬刷，极大可能变砖。死马当活马医吧，
查看当前固件版本为4.42
#esxcli network nic list
#esxcli network nic get -n vmnic5
下载英特尔以太网网络适配器700系列的非易失性内存（NVM）更新实用程序，版本 8.7，当时最新是9.01，为了稳妥先升级到8.7
上传到esxi后，进入对应路径，修改升级程序权限775
#chmod 755 nvmupdaten64e
#ls -al |grep nvmupdaten64e
运行升级固件命令，会列出可以升级的网卡，按A，问是否备份，按Y
#./nvmupdateen64e
这时候程序开始走进度，到****-.....的时候，esxi直接卡死，所有虚拟机宕机，当然网也断了，gen8底部状态闪红灯，脑袋里又跑过一万个草泥马~，心想这回八成是变砖了！强关再开gen8依然闪红灯，断电再开正常起动，指示灯恢复蓝色，反转开始，忐忑心情顺利进入esxi，所有状态正常，x710da4网卡固件已经顺利升级到8.7，反复测试链路状态完全正常，进入openwrt，之前LAN口不能访问的问题也都消失，随便测LAN口速度，跑满万兆，至此折腾结束。下一个目标12口40G交换机Mellanox SX6012，每个接口都拆分成4个10G接口，期待后续更新吧。。。
=========================================================================
评论Feed: http://www.playcase.com/blog/feed.asp?q=comment&id=576
（准备再换个品牌试试），10.10更新：换了广联自适应模块，果然牛B，很完美，和Linksys MX8500 WAN口5G速率握手没问题（工作温度居然只有26度），重点要说x710一定要直通，否则效率感人，延迟巨大，而且esxi里cpu占用能到115%（不知为什么多15%）。Sillicom 官网介绍：
https://www.silicom-usa.com/pr/server-adapters/networking-adapters/10-gigabit-ethernet-networking-adapters/pe310g4i71l-server-adapter/
这块x710da4从安装第一步就开始踩雷，和gen8上预留的PCIEx16接口不兼容，直接安装最上面一个光口会被挡住，da4变成da3了，后期我暴力拆除机箱挡板解决。
进入esxi6.7u3，已经顺利识别出x710da4，i40en驱动版本是1.8.1.9-2vmw.670.3.73.14320388，依次设置好虚拟交换机和端口组，其中物理光口vmnic5光纤直连我的电脑，也正确显示握手速度10000M 全双工，进入openwrt重新编辑配置， 这里如提示输入正确的磁盘大小，不能编辑保存的问题，要在安装openwrt虚拟机之前，ssh宿主esxi，如下命令
#vmkfstools -X 1000M openwrt.vmdk（1000M和xxx.vmdk自己根据实际修改）
随后在openwrt配置里绑定几个光口，问题1来了，我的电脑只能访问外网和openwrt，无法访问LAN口里其他任何终端，包括esxi管理口，要知道他们都在虚拟交换机里，正常应该是可以互访的。于是重启电脑再试，问题2来了，发现重启后无法上网，光口两端灯都是亮的，esxi物理网卡vmnic5状态却是链路已断开，经过多次插拔光纤和重启电脑，得出链路状态有严重问题，链路联通状态完全随机，可用性为0，当时脑袋里跑过一万个草泥马~
后发现如果使用命令是可以手动控制链路状态的，感觉不是硬件问题，猜测是不是网卡驱动和固件问题~
#localcli network nic down -n vmnic1
#localcli network nic up -n vmnic1
VMware官网兼容列表找到最新esxi6.7u3 i40en驱动，2022年6月23日发布version 1.17.2.0，最小对应固件是8.70，不管这么多先升级驱动
显示当前i40en驱动版本
#esxcli software vib list | grep i40en
安装新驱动1.17.2.0（不用进维护模式）
#esxcli software vib install -v /tmp/INT_bootbank_i40en_1.17.2.0-1OEM.670.0.0.8169922.vib
升级驱动后，测试问题依旧，看来还要做风险最大的操作升级x710固件，因为Intel官方VNM更新只针对原装卡，第三方如果硬刷，极大可能变砖。死马当活马医吧，
查看当前固件版本为4.42
#esxcli network nic list
#esxcli network nic get -n vmnic5
下载英特尔以太网网络适配器700系列的非易失性内存（NVM）更新实用程序，版本 8.7，当时最新是9.01，为了稳妥先升级到8.7
上传到esxi后，进入对应路径，修改升级程序权限775
#chmod 755 nvmupdaten64e
#ls -al |grep nvmupdaten64e
运行升级固件命令，会列出可以升级的网卡，按A，问是否备份，按Y
#./nvmupdateen64e
这时候程序开始走进度，到****-.....的时候，esxi直接卡死，所有虚拟机宕机，当然网也断了，gen8底部状态闪红灯，脑袋里又跑过一万个草泥马~，心想这回八成是变砖了！强关再开gen8依然闪红灯，断电再开正常起动，指示灯恢复蓝色，反转开始，忐忑心情顺利进入esxi，所有状态正常，x710da4网卡固件已经顺利升级到8.7，反复测试链路状态完全正常，进入openwrt，之前LAN口不能访问的问题也都消失，随便测LAN口速度，跑满万兆，至此折腾结束。下一个目标12口40G交换机Mellanox SX6012，每个接口都拆分成4个10G接口，期待后续更新吧。。。
=========================================================================
[最后修改由 牛犊, 于 2022-11-01 14:33:11]
评论Feed: http://www.playcase.com/blog/feed.asp?q=comment&id=576
Re：PS1810-8G 不太好买到，而且千兆的，感觉意义不大。
我的id是351b，在cfg里找不到，你的c3f1倒是有（难过
Re：你好，v5.x硬件PCB布局和v3.x不同，最明显的你看下晶振位置。我也是没办法死马当活马医，如果能稳定使用，强烈不建议升级固件。
在ubuntu环境里刷了c3f1那一类的9.10版本，1分钟就搞好了，也没宕机啥的幺蛾子，异常得顺利。在windows/ubuntu/esxi下都测试能正常用
Re：恭喜，本来想说这个方法，风险大就没说。官网最新固件已经更新到v9.20
Re：你好，报vmkapi依赖，一般出现在高版本esxi，比如esxi7.0，如果6.7u3不应该。
我现在是通过交换机的Vlan虚拟了一个子网，我的交换机可以协商任意的速率，用VALN把2.5G光猫连接到X710的万兆，虽然使用上没有问题，但是这样我的交换机就浪费了一个万兆口。所以我想直接使用光转电模块将光猫2.5G口与X710直通的WAN口连起来。
Re：你好，低温模块只有一种啊（万兆全速率自适应-Aquantia 低温）。
RE：nvmupdate.cfg就在升级包里，打开就知道怎么添加id了。
[最后修改由 牛犊, 于 2023-11-23 09:56:04]
RE：理论上一样的，用win升级包就可以。
RE：这里id指的是网卡不在固件支持范围内，需要自己添加网卡id让升级程序能够识别，比如我的网卡id是0x8000c3f1，在cfg文件里默认就有。
RE：对，没有先后顺序。