2013-09-05 07:47:03

Selected Content

Gen8 x710-da4 万兆软路由

[ 2022-10-08 10:49:58 | 作者: 牛犊 ]
折腾古董Gen8最终形态:万兆软路由,看到ebay有块150刀的二手Sillicom PE310G4I71L-XR(Intel x710da4),与卖家砍价到130刀成交,Sillicom比寨卡强而且价格比国内便宜很多。到手成色完美。又买了4个模块,重点说一下ADOP自适应光转电模块Aquantia低温版,光转电自适应1G/2.5G/5G/10G速率,为了接光猫2.5G电口,突破2000M外网,因为不知道兼容性和发热如何,先买一个试水,在台式机上已经用了一段时间挺完美,然而实测在x710da4上并不能用! 不能用!不能用![sweat] (准备再换个品牌试试),10.10更新:换了广联自适应模块,果然牛B,很完美,和Linksys MX8500 WAN口5G速率握手没问题(工作温度居然只有26度),重点要说x710一定要直通,否则效率感人,延迟巨大,而且esxi里cpu占用能到115%(不知为什么多15%)。

Sillicom 官网介绍:
https://www.silicom-usa.com/pr/server-adapters/networking-adapters/10-gigabit-ethernet-networking-adapters/pe310g4i71l-server-adapter/

这块x710da4从安装第一步就开始踩雷,和gen8上预留的PCIEx16接口不兼容,直接安装最上面一个光口会被挡住,da4变成da3了,后期我暴力拆除机箱挡板解决。

进入esxi6.7u3,已经顺利识别出x710da4,i40en驱动版本是1.8.1.9-2vmw.670.3.73.14320388,依次设置好虚拟交换机和端口组,其中物理光口vmnic5光纤直连我的电脑,也正确显示握手速度10000M 全双工,进入openwrt重新编辑配置, 这里如提示输入正确的磁盘大小,不能编辑保存的问题,要在安装openwrt虚拟机之前,ssh宿主esxi,如下命令

#vmkfstools -X 1000M openwrt.vmdk(1000M和xxx.vmdk自己根据实际修改)

随后在openwrt配置里绑定几个光口,问题1来了,我的电脑只能访问外网和openwrt,无法访问LAN口里其他任何终端,包括esxi管理口,要知道他们都在虚拟交换机里,正常应该是可以互访的。于是重启电脑再试,问题2来了,发现重启后无法上网,光口两端灯都是亮的,esxi物理网卡vmnic5状态却是链路已断开,经过多次插拔光纤和重启电脑,得出链路状态有严重问题,链路联通状态完全随机,可用性为0,当时脑袋里跑过一万个草泥马~

uploads/202210/08_105423_14.jpg

后发现如果使用命令是可以手动控制链路状态的,感觉不是硬件问题,猜测是不是网卡驱动和固件问题~
#localcli network nic down -n vmnic1
#localcli network nic up -n vmnic1

VMware官网兼容列表找到最新esxi6.7u3 i40en驱动,2022年6月23日发布version 1.17.2.0,最小对应固件是8.70,不管这么多先升级驱动

显示当前i40en驱动版本
#esxcli software vib list | grep i40en

安装新驱动1.17.2.0(不用进维护模式)
#esxcli software vib install -v /tmp/INT_bootbank_i40en_1.17.2.0-1OEM.670.0.0.8169922.vib

升级驱动后,测试问题依旧,看来还要做风险最大的操作升级x710固件,因为Intel官方VNM更新只针对原装卡,第三方如果硬刷,极大可能变砖。死马当活马医吧,

查看当前固件版本为4.42
#esxcli network nic list
#esxcli network nic get -n vmnic5

下载英特尔以太网网络适配器700系列的非易失性内存(NVM)更新实用程序,版本 8.7,当时最新是9.01,为了稳妥先升级到8.7

上传到esxi后,进入对应路径,修改升级程序权限775
#chmod 755 nvmupdaten64e
#ls -al |grep nvmupdaten64e

运行升级固件命令,会列出可以升级的网卡,按A,问是否备份,按Y
#./nvmupdateen64e

这时候程序开始走进度,到****-.....的时候,esxi直接卡死,所有虚拟机宕机,当然网也断了,gen8底部状态闪红灯,脑袋里又跑过一万个草泥马~,心想这回八成是变砖了!强关再开gen8依然闪红灯,断电再开正常起动,指示灯恢复蓝色,反转开始,忐忑心情顺利进入esxi,所有状态正常,x710da4网卡固件已经顺利升级到8.7,反复测试链路状态完全正常,进入openwrt,之前LAN口不能访问的问题也都消失,随便测LAN口速度,跑满万兆,至此折腾结束。下一个目标12口40G交换机Mellanox SX6012,每个接口都拆分成4个10G接口,期待后续更新吧。。。

uploads/202210/08_105230_1.png

uploads/202210/08_105238_2.jpg

uploads/202210/08_105246_3.jpg

uploads/202210/08_105252_4.jpg

uploads/202210/08_105301_5.jpg

uploads/202210/08_105312_6.jpg

uploads/202210/08_105321_7.jpg

uploads/202210/08_105332_8.jpg

uploads/202210/08_105340_9.jpg

uploads/202210/08_105347_10.jpg

uploads/202210/08_105357_11.jpg

uploads/202210/08_105407_12.jpg

uploads/202210/08_105413_13.jpg

uploads/202210/08_105423_14.jpg

uploads/202210/08_105431_15.jpg

uploads/202210/08_105438_16.jpg

uploads/202210/08_105446_17.jpg

uploads/202210/08_105453_18.jpg


=========================================================================

uploads/202210/08_105459_19.png

uploads/202210/08_105518_20.png

uploads/202210/08_105524_21.png

uploads/202210/08_105530_22.png

uploads/202210/08_105536_23.png

uploads/202210/08_105541_24.png

uploads/202210/08_105547_25.png

uploads/202210/08_105553_26.png

uploads/202210/11_095529_27.png

uploads/202210/11_152019_28.png

uploads/202210/11_152027_29.png
[最后修改由 牛犊, 于 2022-11-01 14:33:11]
评论Feed 评论Feed: http://www.playcase.com/blog/feed.asp?q=comment&id=576

View Mode: 显示全部 | 评论: 1 | 引用: 0 | 排序 | 浏览: 1626
引用 Guest20221009*
[ 2022-10-09 22:24:20 ]
不錯,這個技術含量高。不過我當前更關注那個和機箱一樣大小的交換機

Re:PS1810-8G 不太好买到,而且千兆的,感觉意义不大。
[最后修改由 牛犊, 于 2022-10-10 09:24:10]

发表
表情图标
[smile] [confused] [cool] [cry]
[eek] [angry] [wink] [sweat]
[lol] [stun] [razz] [redface]
[rolleyes] [sad] [yes] [no]
[heart] [star] [music] [idea]
UBB代码
转换链接
表情图标
悄悄话
Username:   Password:    游客评论密码请留空
Security Code * 请输入验证码