【软路由日志】零——PVE虚拟化环境

基于PVE虚拟化搭建All in One的软路由，为了实现各种需求淌了不少坑，仅此记录。

准备

硬件

CPU: N5105 @2.0GHz

RAM: DDR4 8G 3200MHz

GPU: Intel UHD 24EU

Network: 4 × i225-2.5G

I/O: 2 × USB3.0 + 2 × USB2.0 | HDMI1.4 + DP1.4

SSD: M.2 NVME 1T

除去PVE管理口还剩三个2.5Gbps网口，满足软路由需求；4核CPU和24EU核显满足处理和解码需求；DP1.4的4K@60Hz输出提供Windows+Hyper-V方案的可行性。

目前几个小问题：

• 内存最高仅运行在2933MHz，3200的条略微浪费；
• PVE虚拟化方案下，核显无法直通。

拓扑结构

根据需求设想的业务拓扑结构：

网络结构的拓扑结构：

由于并无千兆内网需求、多拨存在风险，并且开学要带走软路由，仍采用光猫拨号方案，软硬路由并行。

PS：绘图工具

---

PVE虚拟化部署

PVE安装

PVE官网下载最新ISO镜像（本次采用7.2-1），用Rufus工具写入U盘，接入显示器和启动盘引导。

安装时不插入联网，手动选择时区，选择数字最小的enp2s0作为管理网口（以对应机器的ETH0接口），安装PVE并启动。

已知光猫作为网关IP为192.168.1.1，其DHCP自动分配硬路由为192.168.1.9，硬路由下属设备处在192.168.0.*网段。故考虑IP分配：

Device	IP	Physical Connection
光猫	192.168.1.1	光口
TP- Link硬路由	192.168.1.9	光猫LAN2(100M)
└ 无线设备	192.168.0.*	WIFI LAN
N5105软路由	192.168.1.100~255	光猫LAN1(1000M)
└ 管理网口	192.168.1.200	enp2s0
└ Openwrt	192.168.1.100	enp3s0
/	/	enp4s0,enp5s0

故安装时，填写管理IP为192.168.1.200，DNS填写光猫IP，完成安装。

网线连接光猫和软路由管理口，电脑接入局域网（有/无线均可）访问https://IP:8006进入WebUI管理。

存储池配置

1TB的固态盘，PVE默认划分100GB给local存储池，剩下八百多都给local-lvm。由于没有镜像和模板的管理需求，同时需要传输大文件至local目录下，将二者合并。

fdisk -l  #查看磁盘分区大小

lvremove pve/data  #移除local-lvm对应分区
lvextend -l +100%FREE -r pve/root  #将全部剩余容量添加至local分区

此后WebUI左侧数据中心->存储->local，内容部分全选，让local继承local-lvm的功能和权限。

网络配置

目前光猫连接管理口仅供部署时使用，后期WAN直接接入主路由Openwrt。进入pve->网络，网桥vmbr0的设置即为管理口的物理端口和IP设置，可后期更改。

此时PVE仍无法访问网络，也无法Ping通局域网设备。后来才发现是没有配置防火墙规则和DNS😶：

• 进入pve->系统->DNS，更改搜索域为pve.lan，DNS设为网关192.168.1.1。实际测试更换为公共DNS（如阿里DNS）仍无法联网。

• 进入pve->防火墙，添加两组in和out均为ACCEPT并启用。

重启，PVE已经可以访问公网。

升级至最新

连接公网后将PVE的软件包升至最新。

先将Debian默认的软件源更换为国内源。下载工具PVE Tools并运行脚本，选择第一项即可更换为Aliyun和中科大源。

apt update  #获取软件包列表
apt apt upgrade -y  #升级软件包

pveversion -v  #查看PVE版本

硬件直通

便于后期实现网卡直通，考虑到网卡可能乱序，先利用ethtools确定四个网口的顺序信息。

apt install ethtool -y  #安装ethtool
lspci | grep -i 'eth'  #查看所有网卡信息

ethtool -i enp2s0  #通过名称查看bus-info

外部网口	设备名称	总线位置	Openwrt内名称
ETH0	enp2s0	0000:02:00.0	eth0 (bridge)
ETH1	enp3s0	0000:03:00.0	eth1
ETH2	enp4s0	0000:04:00.0	eth2
ETH3	enp5s0	0000:05:00.0	eth3

设置硬件直通

可用PVE Tools中PCI设备直通实现。如果不生效则手动更改/etc/default/grub文件：

GRUB_CMDLINE_LINUX_DEFAULT="quiet"  #注释此行
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"  #增加此行

随后更新grub文件并重启：

update-grub
reboot

至此，PVE部署全部完成。

VMware vSphere (ESXi) 部署

ESXi 7.0

7.0各版本的下载地址：

https://customerconnect.vmware.com/downloads/info/slug/datacenter_cloud_infrastructure/vmware_vsphere/7_0

由于ESXi 7.0不自带Intel I225V网卡驱动，需要手动将驱动合并入安装包中。教程：

ESXi7.0封装Intel I225V B3网卡驱动

ESXi 8.0

8.0版本更新了网卡驱动，无需手动安装，开箱即用。

下载地址：

https://customerconnect.vmware.com/downloads/info/slug/datacenter_cloud_infrastructure/vmware_vsphere/8_0

ESXI 8.0可用许可证：

4V492-44210-48830-931GK-2PRJ4

MV4YN-0L38Q-2ZK60-XUA7K-AAZ18
M149W-J031J-H8R8C-01CAH-24RPG
5F0Z1-24057-DZX88-4L97K-1AV2N
4Y03Y-FTLE1-EZNH0-MAAQ2-1244U
JC6AP-D4H0P-TZ131-4A2QM-8CNP7
0U6UU-6AJDL-RZTK9-230Q0-8ARJQ
JG2TD-DJL95-FZZZ8-DU1NH-33GH7