import torch
import torch.nn as nn
import torch.nn.functional as F

BATCH_SIZE = 4096
DIM = 4096
SHAPE = (BATCH_SIZE, DIM)
T_VALUE = -0.2  # 阈值参数 T

class FlattenTSwish(nn.Module):
    """
    Flatten-T Swish Activation Function.
    Definition:
        f(x) = x * sigmoid(x) + T   if x >= 0
        f(x) = T                    if x < 0
    """
    def __init__(self, T=0.0):
        super(FlattenTSwish, self).__init__()
        self.T = T

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # --- 优化的 PyTorch 实现 ---
        # 优化思路:
        # 利用数学等价性消除分支和显存拷贝。
        # 1. F.relu(x): 将负数变为 0。
        # 2. F.silu(...): 计算 x * sigmoid(x)。
        # 3. + T: 加上偏置。
        # 避免了 torch.where 的全量计算浪费和中间显存开销。
        return F.silu(F.relu(x)) + self.T

class Model(nn.Module):
    def __init__(self, T=0.0):
        super(Model, self).__init__()
        self.act = FlattenTSwish(T=T)
    
    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.act(x)

def get_inputs():
    x = torch.randn(SHAPE, dtype=torch.float32)
    return [x.contiguous()]

def get_init_inputs():
    return [T_VALUE]