net: annotate accesses to dev->gso_max_segs
dev->gso_max_segs is written under RTNL protection, or when the device is not yet visible, but is read locklessly. Add netif_set_gso_max_segs() helper. Add the READ_ONCE()/WRITE_ONCE() pairs, and use netif_set_gso_max_segs() where we can to better document what is going on. Signed-off-by: Eric Dumazet <edumazet@google.com> Signed-off-by: David S. Miller <davem@davemloft.net>
This commit is contained in:
parent
4b66d2161b
commit
6d872df3e3
|
@ -1460,7 +1460,7 @@ done:
|
|||
bond_dev->hw_enc_features |= xfrm_features;
|
||||
#endif /* CONFIG_XFRM_OFFLOAD */
|
||||
bond_dev->mpls_features = mpls_features;
|
||||
bond_dev->gso_max_segs = gso_max_segs;
|
||||
netif_set_gso_max_segs(bond_dev, gso_max_segs);
|
||||
netif_set_gso_max_size(bond_dev, gso_max_size);
|
||||
|
||||
bond_dev->priv_flags &= ~IFF_XMIT_DST_RELEASE;
|
||||
|
|
|
@ -3558,7 +3558,7 @@ static int fec_enet_init(struct net_device *ndev)
|
|||
ndev->features |= NETIF_F_HW_VLAN_CTAG_RX;
|
||||
|
||||
if (fep->quirks & FEC_QUIRK_HAS_CSUM) {
|
||||
ndev->gso_max_segs = FEC_MAX_TSO_SEGS;
|
||||
netif_set_gso_max_segs(ndev, FEC_MAX_TSO_SEGS);
|
||||
|
||||
/* enable hw accelerator */
|
||||
ndev->features |= (NETIF_F_IP_CSUM | NETIF_F_IPV6_CSUM
|
||||
|
|
|
@ -3201,7 +3201,7 @@ static int mv643xx_eth_probe(struct platform_device *pdev)
|
|||
dev->hw_features = dev->features;
|
||||
|
||||
dev->priv_flags |= IFF_UNICAST_FLT;
|
||||
dev->gso_max_segs = MV643XX_MAX_TSO_SEGS;
|
||||
netif_set_gso_max_segs(dev, MV643XX_MAX_TSO_SEGS);
|
||||
|
||||
/* MTU range: 64 - 9500 */
|
||||
dev->min_mtu = 64;
|
||||
|
|
|
@ -5335,7 +5335,7 @@ static int mvneta_probe(struct platform_device *pdev)
|
|||
dev->hw_features |= dev->features;
|
||||
dev->vlan_features |= dev->features;
|
||||
dev->priv_flags |= IFF_LIVE_ADDR_CHANGE;
|
||||
dev->gso_max_segs = MVNETA_MAX_TSO_SEGS;
|
||||
netif_set_gso_max_segs(dev, MVNETA_MAX_TSO_SEGS);
|
||||
|
||||
/* MTU range: 68 - 9676 */
|
||||
dev->min_mtu = ETH_MIN_MTU;
|
||||
|
|
|
@ -6857,7 +6857,7 @@ static int mvpp2_port_probe(struct platform_device *pdev,
|
|||
mvpp2_set_hw_csum(port, port->pool_long->id);
|
||||
|
||||
dev->vlan_features |= features;
|
||||
dev->gso_max_segs = MVPP2_MAX_TSO_SEGS;
|
||||
netif_set_gso_max_segs(dev, MVPP2_MAX_TSO_SEGS);
|
||||
dev->priv_flags |= IFF_UNICAST_FLT;
|
||||
|
||||
/* MTU range: 68 - 9704 */
|
||||
|
|
|
@ -2741,7 +2741,7 @@ static int otx2_probe(struct pci_dev *pdev, const struct pci_device_id *id)
|
|||
|
||||
netdev->hw_features |= NETIF_F_LOOPBACK | NETIF_F_RXALL;
|
||||
|
||||
netdev->gso_max_segs = OTX2_MAX_GSO_SEGS;
|
||||
netif_set_gso_max_segs(netdev, OTX2_MAX_GSO_SEGS);
|
||||
netdev->watchdog_timeo = OTX2_TX_TIMEOUT;
|
||||
|
||||
netdev->netdev_ops = &otx2_netdev_ops;
|
||||
|
|
|
@ -663,7 +663,7 @@ static int otx2vf_probe(struct pci_dev *pdev, const struct pci_device_id *id)
|
|||
netdev->hw_features |= NETIF_F_NTUPLE;
|
||||
netdev->hw_features |= NETIF_F_RXALL;
|
||||
|
||||
netdev->gso_max_segs = OTX2_MAX_GSO_SEGS;
|
||||
netif_set_gso_max_segs(netdev, OTX2_MAX_GSO_SEGS);
|
||||
netdev->watchdog_timeo = OTX2_TX_TIMEOUT;
|
||||
|
||||
netdev->netdev_ops = &otx2vf_netdev_ops;
|
||||
|
|
|
@ -4097,7 +4097,7 @@ static void nfp_net_netdev_init(struct nfp_net *nn)
|
|||
netdev->min_mtu = ETH_MIN_MTU;
|
||||
netdev->max_mtu = nn->max_mtu;
|
||||
|
||||
netdev->gso_max_segs = NFP_NET_LSO_MAX_SEGS;
|
||||
netif_set_gso_max_segs(netdev, NFP_NET_LSO_MAX_SEGS);
|
||||
|
||||
netif_carrier_off(netdev);
|
||||
|
||||
|
|
|
@ -287,7 +287,7 @@ nfp_repr_transfer_features(struct net_device *netdev, struct net_device *lower)
|
|||
return;
|
||||
|
||||
netif_set_gso_max_size(netdev, lower->gso_max_size);
|
||||
netdev->gso_max_segs = lower->gso_max_segs;
|
||||
netif_set_gso_max_segs(netdev, lower->gso_max_segs);
|
||||
|
||||
netdev_update_features(netdev);
|
||||
}
|
||||
|
@ -381,7 +381,7 @@ int nfp_repr_init(struct nfp_app *app, struct net_device *netdev,
|
|||
|
||||
/* Advertise but disable TSO by default. */
|
||||
netdev->features &= ~(NETIF_F_TSO | NETIF_F_TSO6);
|
||||
netdev->gso_max_segs = NFP_NET_LSO_MAX_SEGS;
|
||||
netif_set_gso_max_segs(netdev, NFP_NET_LSO_MAX_SEGS);
|
||||
|
||||
netdev->priv_flags |= IFF_NO_QUEUE | IFF_DISABLE_NETPOLL;
|
||||
netdev->features |= NETIF_F_LLTX;
|
||||
|
|
|
@ -5391,11 +5391,11 @@ static int rtl_init_one(struct pci_dev *pdev, const struct pci_device_id *ent)
|
|||
if (rtl_chip_supports_csum_v2(tp)) {
|
||||
dev->hw_features |= NETIF_F_SG | NETIF_F_TSO | NETIF_F_TSO6;
|
||||
netif_set_gso_max_size(dev, RTL_GSO_MAX_SIZE_V2);
|
||||
dev->gso_max_segs = RTL_GSO_MAX_SEGS_V2;
|
||||
netif_set_gso_max_segs(dev, RTL_GSO_MAX_SEGS_V2);
|
||||
} else {
|
||||
dev->hw_features |= NETIF_F_SG | NETIF_F_TSO;
|
||||
netif_set_gso_max_size(dev, RTL_GSO_MAX_SIZE_V1);
|
||||
dev->gso_max_segs = RTL_GSO_MAX_SEGS_V1;
|
||||
netif_set_gso_max_segs(dev, RTL_GSO_MAX_SEGS_V1);
|
||||
}
|
||||
|
||||
dev->hw_features |= NETIF_F_RXALL;
|
||||
|
|
|
@ -997,7 +997,7 @@ static int ef100_process_design_param(struct efx_nic *efx,
|
|||
return 0;
|
||||
case ESE_EF100_DP_GZ_TSO_MAX_PAYLOAD_NUM_SEGS:
|
||||
nic_data->tso_max_payload_num_segs = min_t(u64, reader->value, 0xffff);
|
||||
efx->net_dev->gso_max_segs = nic_data->tso_max_payload_num_segs;
|
||||
netif_set_gso_max_segs(efx->net_dev, nic_data->tso_max_payload_num_segs);
|
||||
return 0;
|
||||
case ESE_EF100_DP_GZ_TSO_MAX_NUM_FRAMES:
|
||||
nic_data->tso_max_frames = min_t(u64, reader->value, 0xffff);
|
||||
|
@ -1122,7 +1122,7 @@ static int ef100_probe_main(struct efx_nic *efx)
|
|||
nic_data->tso_max_frames = ESE_EF100_DP_GZ_TSO_MAX_NUM_FRAMES_DEFAULT;
|
||||
nic_data->tso_max_payload_num_segs = ESE_EF100_DP_GZ_TSO_MAX_PAYLOAD_NUM_SEGS_DEFAULT;
|
||||
nic_data->tso_max_payload_len = ESE_EF100_DP_GZ_TSO_MAX_PAYLOAD_LEN_DEFAULT;
|
||||
net_dev->gso_max_segs = ESE_EF100_DP_GZ_TSO_MAX_HDR_NUM_SEGS_DEFAULT;
|
||||
netif_set_gso_max_segs(net_dev, ESE_EF100_DP_GZ_TSO_MAX_HDR_NUM_SEGS_DEFAULT);
|
||||
/* Read design parameters */
|
||||
rc = ef100_check_design_params(efx);
|
||||
if (rc) {
|
||||
|
|
|
@ -709,7 +709,7 @@ static int efx_register_netdev(struct efx_nic *efx)
|
|||
if (efx_nic_rev(efx) >= EFX_REV_HUNT_A0)
|
||||
net_dev->priv_flags |= IFF_UNICAST_FLT;
|
||||
net_dev->ethtool_ops = &efx_ethtool_ops;
|
||||
net_dev->gso_max_segs = EFX_TSO_MAX_SEGS;
|
||||
netif_set_gso_max_segs(net_dev, EFX_TSO_MAX_SEGS);
|
||||
net_dev->min_mtu = EFX_MIN_MTU;
|
||||
net_dev->max_mtu = EFX_MAX_MTU;
|
||||
|
||||
|
|
|
@ -2267,7 +2267,7 @@ static int ef4_register_netdev(struct ef4_nic *efx)
|
|||
net_dev->irq = efx->pci_dev->irq;
|
||||
net_dev->netdev_ops = &ef4_netdev_ops;
|
||||
net_dev->ethtool_ops = &ef4_ethtool_ops;
|
||||
net_dev->gso_max_segs = EF4_TSO_MAX_SEGS;
|
||||
netif_set_gso_max_segs(net_dev, EF4_TSO_MAX_SEGS);
|
||||
net_dev->min_mtu = EF4_MIN_MTU;
|
||||
net_dev->max_mtu = EF4_MAX_MTU;
|
||||
|
||||
|
|
|
@ -141,7 +141,7 @@ static int ipvlan_init(struct net_device *dev)
|
|||
dev->vlan_features |= IPVLAN_ALWAYS_ON_OFLOADS;
|
||||
dev->hw_enc_features |= dev->features;
|
||||
netif_set_gso_max_size(dev, phy_dev->gso_max_size);
|
||||
dev->gso_max_segs = phy_dev->gso_max_segs;
|
||||
netif_set_gso_max_segs(dev, phy_dev->gso_max_segs);
|
||||
dev->hard_header_len = phy_dev->hard_header_len;
|
||||
|
||||
netdev_lockdep_set_classes(dev);
|
||||
|
@ -764,7 +764,7 @@ static int ipvlan_device_event(struct notifier_block *unused,
|
|||
case NETDEV_FEAT_CHANGE:
|
||||
list_for_each_entry(ipvlan, &port->ipvlans, pnode) {
|
||||
netif_set_gso_max_size(ipvlan->dev, dev->gso_max_size);
|
||||
ipvlan->dev->gso_max_segs = dev->gso_max_segs;
|
||||
netif_set_gso_max_segs(ipvlan->dev, dev->gso_max_segs);
|
||||
netdev_update_features(ipvlan->dev);
|
||||
}
|
||||
break;
|
||||
|
|
|
@ -901,7 +901,7 @@ static int macvlan_init(struct net_device *dev)
|
|||
dev->vlan_features |= ALWAYS_ON_OFFLOADS;
|
||||
dev->hw_enc_features |= dev->features;
|
||||
netif_set_gso_max_size(dev, lowerdev->gso_max_size);
|
||||
dev->gso_max_segs = lowerdev->gso_max_segs;
|
||||
netif_set_gso_max_segs(dev, lowerdev->gso_max_segs);
|
||||
dev->hard_header_len = lowerdev->hard_header_len;
|
||||
macvlan_set_lockdep_class(dev);
|
||||
|
||||
|
@ -1749,7 +1749,7 @@ static int macvlan_device_event(struct notifier_block *unused,
|
|||
case NETDEV_FEAT_CHANGE:
|
||||
list_for_each_entry(vlan, &port->vlans, list) {
|
||||
netif_set_gso_max_size(vlan->dev, dev->gso_max_size);
|
||||
vlan->dev->gso_max_segs = dev->gso_max_segs;
|
||||
netif_set_gso_max_segs(vlan->dev, dev->gso_max_segs);
|
||||
netdev_update_features(vlan->dev);
|
||||
}
|
||||
break;
|
||||
|
|
|
@ -1690,7 +1690,7 @@ static int veth_newlink(struct net *src_net, struct net_device *dev,
|
|||
peer->ifindex = ifmp->ifi_index;
|
||||
|
||||
netif_set_gso_max_size(peer, dev->gso_max_size);
|
||||
peer->gso_max_segs = dev->gso_max_segs;
|
||||
netif_set_gso_max_segs(peer, dev->gso_max_segs);
|
||||
|
||||
err = register_netdevice(peer);
|
||||
put_net(net);
|
||||
|
|
|
@ -3812,7 +3812,7 @@ static void vxlan_config_apply(struct net_device *dev,
|
|||
dst->remote_ifindex = conf->remote_ifindex;
|
||||
|
||||
netif_set_gso_max_size(dev, lowerdev->gso_max_size);
|
||||
dev->gso_max_segs = lowerdev->gso_max_segs;
|
||||
netif_set_gso_max_segs(dev, lowerdev->gso_max_segs);
|
||||
|
||||
needed_headroom = lowerdev->hard_header_len;
|
||||
needed_headroom += lowerdev->needed_headroom;
|
||||
|
|
|
@ -4735,6 +4735,13 @@ static inline void netif_set_gso_max_size(struct net_device *dev,
|
|||
WRITE_ONCE(dev->gso_max_size, size);
|
||||
}
|
||||
|
||||
static inline void netif_set_gso_max_segs(struct net_device *dev,
|
||||
unsigned int segs)
|
||||
{
|
||||
/* dev->gso_max_segs is read locklessly from sk_setup_caps() */
|
||||
WRITE_ONCE(dev->gso_max_segs, segs);
|
||||
}
|
||||
|
||||
static inline void skb_gso_error_unwind(struct sk_buff *skb, __be16 protocol,
|
||||
int pulled_hlen, u16 mac_offset,
|
||||
int mac_len)
|
||||
|
|
|
@ -323,7 +323,7 @@ static void vlan_transfer_features(struct net_device *dev,
|
|||
struct vlan_dev_priv *vlan = vlan_dev_priv(vlandev);
|
||||
|
||||
netif_set_gso_max_size(vlandev, dev->gso_max_size);
|
||||
vlandev->gso_max_segs = dev->gso_max_segs;
|
||||
netif_set_gso_max_segs(vlandev, dev->gso_max_segs);
|
||||
|
||||
if (vlan_hw_offload_capable(dev->features, vlan->vlan_proto))
|
||||
vlandev->hard_header_len = dev->hard_header_len;
|
||||
|
|
|
@ -574,7 +574,7 @@ static int vlan_dev_init(struct net_device *dev)
|
|||
|
||||
dev->features |= dev->hw_features | NETIF_F_LLTX;
|
||||
netif_set_gso_max_size(dev, real_dev->gso_max_size);
|
||||
dev->gso_max_segs = real_dev->gso_max_segs;
|
||||
netif_set_gso_max_segs(dev, real_dev->gso_max_segs);
|
||||
if (dev->features & NETIF_F_VLAN_FEATURES)
|
||||
netdev_warn(real_dev, "VLAN features are set incorrectly. Q-in-Q configurations may not work correctly.\n");
|
||||
|
||||
|
|
|
@ -526,7 +526,7 @@ static void br_set_gso_limits(struct net_bridge *br)
|
|||
gso_max_segs = min(gso_max_segs, p->dev->gso_max_segs);
|
||||
}
|
||||
netif_set_gso_max_size(br->dev, gso_max_size);
|
||||
br->dev->gso_max_segs = gso_max_segs;
|
||||
netif_set_gso_max_segs(br->dev, gso_max_segs);
|
||||
}
|
||||
|
||||
/*
|
||||
|
|
|
@ -3396,7 +3396,7 @@ static netdev_features_t gso_features_check(const struct sk_buff *skb,
|
|||
{
|
||||
u16 gso_segs = skb_shinfo(skb)->gso_segs;
|
||||
|
||||
if (gso_segs > dev->gso_max_segs)
|
||||
if (gso_segs > READ_ONCE(dev->gso_max_segs))
|
||||
return features & ~NETIF_F_GSO_MASK;
|
||||
|
||||
if (!skb_shinfo(skb)->gso_type) {
|
||||
|
|
|
@ -2768,7 +2768,7 @@ static int do_setlink(const struct sk_buff *skb,
|
|||
}
|
||||
|
||||
if (dev->gso_max_segs ^ max_segs) {
|
||||
dev->gso_max_segs = max_segs;
|
||||
netif_set_gso_max_segs(dev, max_segs);
|
||||
status |= DO_SETLINK_MODIFIED;
|
||||
}
|
||||
}
|
||||
|
@ -3222,7 +3222,7 @@ struct net_device *rtnl_create_link(struct net *net, const char *ifname,
|
|||
if (tb[IFLA_GSO_MAX_SIZE])
|
||||
netif_set_gso_max_size(dev, nla_get_u32(tb[IFLA_GSO_MAX_SIZE]));
|
||||
if (tb[IFLA_GSO_MAX_SEGS])
|
||||
dev->gso_max_segs = nla_get_u32(tb[IFLA_GSO_MAX_SEGS]);
|
||||
netif_set_gso_max_segs(dev, nla_get_u32(tb[IFLA_GSO_MAX_SEGS]));
|
||||
|
||||
return dev;
|
||||
}
|
||||
|
|
|
@ -2259,7 +2259,8 @@ void sk_setup_caps(struct sock *sk, struct dst_entry *dst)
|
|||
sk->sk_route_caps |= NETIF_F_SG | NETIF_F_HW_CSUM;
|
||||
/* pairs with the WRITE_ONCE() in netif_set_gso_max_size() */
|
||||
sk->sk_gso_max_size = READ_ONCE(dst->dev->gso_max_size);
|
||||
max_segs = max_t(u32, dst->dev->gso_max_segs, 1);
|
||||
/* pairs with the WRITE_ONCE() in netif_set_gso_max_segs() */
|
||||
max_segs = max_t(u32, READ_ONCE(dst->dev->gso_max_segs), 1);
|
||||
}
|
||||
}
|
||||
sk->sk_gso_max_segs = max_segs;
|
||||
|
|
Loading…
Reference in New Issue