forked from OSchip/llvm-project
[X86] Lowering FMA intrinsics to native IR (Clang part)
This patch replaces all packed (and scalar without rounding mode) fused intrinsics with fmadd/fmaddsub variations. Then fmadd/fmaddsub are lowered to native IR. Patch by tkrupa Reviewers: craig.topper, sroland, spatel, RKSimon Reviewed By: craig.topper Differential Revision: https://reviews.llvm.org/D47444 llvm-svn: 333555
This commit is contained in:
Gabor Buella
parent
890e363e11
commit
70d8d51073
|
|
@ -717,100 +717,13 @@ TARGET_BUILTIN(__builtin_ia32_vfmaddsubps, "V4fV4fV4fV4f", "nc", "fma|fma4")
|
|||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd, "V2dV2dV2dV2d", "nc", "fma|fma4")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps256, "V8fV8fV8fV8f", "nc", "fma|fma4")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd256, "V4dV4dV4dV4d", "nc", "fma|fma4")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddps256, "V8fV8fV8fV8f", "nc", "fma|fma4")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddpd256, "V4dV4dV4dV4d", "nc", "fma|fma4")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps256, "V8fV8fV8fV8f", "nc", "fma|fma4")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd256, "V4dV4dV4dV4d", "nc", "fma|fma4")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd128_mask, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd128_mask3, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd128_maskz, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd256_mask, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd256_mask3, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd256_maskz, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd512_mask, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd512_mask3, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd512_maskz, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps128_mask, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps128_mask3, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps128_maskz, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps256_mask, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps256_mask3, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps256_maskz, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps512_mask, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps512_mask3, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps512_maskz, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd128_mask, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd128_mask3, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd128_maskz, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd256_mask, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd256_mask3, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd256_maskz, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd512_mask, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd512_mask3, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd512_maskz, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps128_mask, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps128_mask3, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps128_maskz, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps256_mask, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps256_mask3, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps256_maskz, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps512_mask, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps512_mask3, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps512_maskz, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubpd128_mask3, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubpd256_mask3, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubpd512_mask3, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubps128_mask3, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubps256_mask3, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubps512_mask3, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubaddpd128_mask3, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubaddpd256_mask3, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubaddpd512_mask3, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubaddps128_mask3, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubaddps256_mask3, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmsubaddps512_mask3, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddpd128_mask, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddpd256_mask, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddpd512_mask, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddps128_mask, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddps256_mask, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmaddps512_mask, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubpd128_mask, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubpd128_mask3, "V2dV2dV2dV2dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubpd256_mask, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubpd256_mask3, "V4dV4dV4dV4dUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubpd512_mask, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubpd512_mask3, "V8dV8dV8dV8dUcIi", "nc", "avx512f")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubps128_mask, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubps128_mask3, "V4fV4fV4fV4fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubps256_mask, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubps256_mask3, "V8fV8fV8fV8fUc", "nc", "avx512vl")
|
||||
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubps512_mask, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfnmsubps512_mask3, "V16fV16fV16fV16fUsIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddpd512, "V8dV8dV8dV8dIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddps512, "V16fV16fV16fV16fIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubpd512, "V8dV8dV8dV8dIi", "nc", "avx512f")
|
||||
TARGET_BUILTIN(__builtin_ia32_vfmaddsubps512, "V16fV16fV16fV16fIi", "nc", "avx512f")
|
||||
|
||||
// XOP
|
||||
TARGET_BUILTIN(__builtin_ia32_vpmacssww, "V8sV8sV8sV8s", "nc", "xop")
|
||||
|
|
|
|||
|
|
@ -8427,6 +8427,84 @@ static Value *EmitX86MinMax(CodeGenFunction &CGF, ICmpInst::Predicate Pred,
|
|||
return Res;
|
||||
}
|
||||
|
||||
// Lowers X86 FMA intrinsics to IR.
|
||||
static Value *EmitX86FMAExpr(CodeGenFunction &CGF, ArrayRef<Value *> Ops,
|
||||
unsigned BuiltinID) {
|
||||
|
||||
bool IsAddSub = false;
|
||||
bool IsScalar = false;
|
||||
|
||||
// 4 operands always means rounding mode without a mask here.
|
||||
bool IsRound = Ops.size() == 4;
|
||||
|
||||
Intrinsic::ID ID;
|
||||
switch (BuiltinID) {
|
||||
default: break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddss3: IsScalar = true; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddsd3: IsScalar = true; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddps512:
|
||||
ID = llvm::Intrinsic::x86_avx512_vfmadd_ps_512; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddpd512:
|
||||
ID = llvm::Intrinsic::x86_avx512_vfmadd_pd_512; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddsubps: IsAddSub = true; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddsubpd: IsAddSub = true; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddsubps256: IsAddSub = true; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddsubpd256: IsAddSub = true; break;
|
||||
case clang::X86::BI__builtin_ia32_vfmaddsubps512: {
|
||||
ID = llvm::Intrinsic::x86_avx512_vfmaddsub_ps_512;
|
||||
IsAddSub = true;
|
||||
break;
|
||||
}
|
||||
case clang::X86::BI__builtin_ia32_vfmaddsubpd512: {
|
||||
ID = llvm::Intrinsic::x86_avx512_vfmaddsub_pd_512;
|
||||
IsAddSub = true;
|
||||
break;
|
||||
}
|
||||
}
|
||||
|
||||
// Only handle in case of _MM_FROUND_CUR_DIRECTION/4 (no rounding).
|
||||
if (IsRound) {
|
||||
Function *Intr = CGF.CGM.getIntrinsic(ID);
|
||||
if (cast<llvm::ConstantInt>(Ops[3])->getZExtValue() != (uint64_t)4)
|
||||
return CGF.Builder.CreateCall(Intr, Ops);
|
||||
}
|
||||
|
||||
Value *A = Ops[0];
|
||||
Value *B = Ops[1];
|
||||
Value *C = Ops[2];
|
||||
|
||||
if (IsScalar) {
|
||||
A = CGF.Builder.CreateExtractElement(A, (uint64_t)0);
|
||||
B = CGF.Builder.CreateExtractElement(B, (uint64_t)0);
|
||||
C = CGF.Builder.CreateExtractElement(C, (uint64_t)0);
|
||||
}
|
||||
|
||||
llvm::Type *Ty = A->getType();
|
||||
Function *FMA = CGF.CGM.getIntrinsic(Intrinsic::fma, Ty);
|
||||
Value *Res = CGF.Builder.CreateCall(FMA, {A, B, C} );
|
||||
|
||||
if (IsScalar)
|
||||
return CGF.Builder.CreateInsertElement(Ops[0], Res, (uint64_t)0);
|
||||
|
||||
if (IsAddSub) {
|
||||
// Negate even elts in C using a mask.
|
||||
unsigned NumElts = Ty->getVectorNumElements();
|
||||
SmallVector<Constant *, 16> NMask;
|
||||
Constant *Zero = ConstantInt::get(CGF.Builder.getInt1Ty(), 0);
|
||||
Constant *One = ConstantInt::get(CGF.Builder.getInt1Ty(), 1);
|
||||
for (unsigned i = 0; i < NumElts; ++i) {
|
||||
NMask.push_back(i % 2 == 0 ? One : Zero);
|
||||
}
|
||||
Value *NegMask = ConstantVector::get(NMask);
|
||||
|
||||
Value *NegC = CGF.Builder.CreateFNeg(C);
|
||||
Value *FMSub = CGF.Builder.CreateCall(FMA, {A, B, NegC} );
|
||||
Res = CGF.Builder.CreateSelect(NegMask, FMSub, Res);
|
||||
}
|
||||
|
||||
return Res;
|
||||
}
|
||||
|
||||
static Value *EmitX86Muldq(CodeGenFunction &CGF, bool IsSigned,
|
||||
ArrayRef<Value *> Ops) {
|
||||
llvm::Type *Ty = Ops[0]->getType();
|
||||
|
|
@ -8820,6 +8898,22 @@ Value *CodeGenFunction::EmitX86BuiltinExpr(unsigned BuiltinID,
|
|||
case X86::BI__builtin_ia32_cvtq2mask512:
|
||||
return EmitX86ConvertToMask(*this, Ops[0]);
|
||||
|
||||
case X86::BI__builtin_ia32_vfmaddss3:
|
||||
case X86::BI__builtin_ia32_vfmaddsd3:
|
||||
case X86::BI__builtin_ia32_vfmaddps:
|
||||
case X86::BI__builtin_ia32_vfmaddpd:
|
||||
case X86::BI__builtin_ia32_vfmaddps256:
|
||||
case X86::BI__builtin_ia32_vfmaddpd256:
|
||||
case X86::BI__builtin_ia32_vfmaddps512:
|
||||
case X86::BI__builtin_ia32_vfmaddpd512:
|
||||
case X86::BI__builtin_ia32_vfmaddsubps:
|
||||
case X86::BI__builtin_ia32_vfmaddsubpd:
|
||||
case X86::BI__builtin_ia32_vfmaddsubps256:
|
||||
case X86::BI__builtin_ia32_vfmaddsubpd256:
|
||||
case X86::BI__builtin_ia32_vfmaddsubps512:
|
||||
case X86::BI__builtin_ia32_vfmaddsubpd512:
|
||||
return EmitX86FMAExpr(*this, Ops, BuiltinID);
|
||||
|
||||
case X86::BI__builtin_ia32_movdqa32store128_mask:
|
||||
case X86::BI__builtin_ia32_movdqa64store128_mask:
|
||||
case X86::BI__builtin_ia32_storeaps128_mask:
|
||||
|
|
|
|||
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
|
|
@ -2340,6 +2340,10 @@ bool Sema::CheckX86BuiltinRoundingOrSAE(unsigned BuiltinID, CallExpr *TheCall) {
|
|||
case X86::BI__builtin_ia32_cvtuqq2ps512_mask:
|
||||
case X86::BI__builtin_ia32_sqrtpd512_mask:
|
||||
case X86::BI__builtin_ia32_sqrtps512_mask:
|
||||
case X86::BI__builtin_ia32_vfmaddpd512:
|
||||
case X86::BI__builtin_ia32_vfmaddps512:
|
||||
case X86::BI__builtin_ia32_vfmaddsubpd512:
|
||||
case X86::BI__builtin_ia32_vfmaddsubps512:
|
||||
ArgNum = 3;
|
||||
HasRC = true;
|
||||
break;
|
||||
|
|
@ -2368,28 +2372,6 @@ bool Sema::CheckX86BuiltinRoundingOrSAE(unsigned BuiltinID, CallExpr *TheCall) {
|
|||
case X86::BI__builtin_ia32_cvtsd2ss_round_mask:
|
||||
case X86::BI__builtin_ia32_sqrtsd_round_mask:
|
||||
case X86::BI__builtin_ia32_sqrtss_round_mask:
|
||||
case X86::BI__builtin_ia32_vfmaddpd512_mask:
|
||||
case X86::BI__builtin_ia32_vfmaddpd512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmaddpd512_maskz:
|
||||
case X86::BI__builtin_ia32_vfmaddps512_mask:
|
||||
case X86::BI__builtin_ia32_vfmaddps512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmaddps512_maskz:
|
||||
case X86::BI__builtin_ia32_vfmaddsubpd512_mask:
|
||||
case X86::BI__builtin_ia32_vfmaddsubpd512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmaddsubpd512_maskz:
|
||||
case X86::BI__builtin_ia32_vfmaddsubps512_mask:
|
||||
case X86::BI__builtin_ia32_vfmaddsubps512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmaddsubps512_maskz:
|
||||
case X86::BI__builtin_ia32_vfmsubpd512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmsubps512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmsubaddpd512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmsubaddps512_mask3:
|
||||
case X86::BI__builtin_ia32_vfnmaddpd512_mask:
|
||||
case X86::BI__builtin_ia32_vfnmaddps512_mask:
|
||||
case X86::BI__builtin_ia32_vfnmsubpd512_mask:
|
||||
case X86::BI__builtin_ia32_vfnmsubpd512_mask3:
|
||||
case X86::BI__builtin_ia32_vfnmsubps512_mask:
|
||||
case X86::BI__builtin_ia32_vfnmsubps512_mask3:
|
||||
case X86::BI__builtin_ia32_vfmaddsd3_mask:
|
||||
case X86::BI__builtin_ia32_vfmaddsd3_maskz:
|
||||
case X86::BI__builtin_ia32_vfmaddsd3_mask3:
|
||||
|
|
|
|||
File diff suppressed because it is too large
Load Diff
|
|
@ -1125,433 +1125,751 @@ __mmask8 test_mm_mask_cmp_pd_mask(__mmask8 m, __m128d __A, __m128d __B) {
|
|||
|
||||
__m128d test_mm_mask_fmadd_pd(__m128d __A, __mmask8 __U, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.pd.128
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask_fmadd_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask_fmsub_pd(__m128d __A, __mmask8 __U, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask_fmsub_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask3_fmadd_pd(__m128d __A, __m128d __B, __m128d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.pd.128
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask3_fmadd_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask3_fnmadd_pd(__m128d __A, __m128d __B, __m128d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fnmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask3_fnmadd_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128d test_mm_maskz_fmadd_pd(__mmask8 __U, __m128d __A, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.128
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_maskz_fmadd_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_maskz_fmsub_pd(__mmask8 __U, __m128d __A, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_maskz_fmsub_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_maskz_fnmadd_pd(__mmask8 __U, __m128d __A, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fnmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_maskz_fnmadd_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_maskz_fnmsub_pd(__mmask8 __U, __m128d __A, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fnmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_maskz_fnmsub_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask_fmadd_pd(__m256d __A, __mmask8 __U, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask_fmadd_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask_fmsub_pd(__m256d __A, __mmask8 __U, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask_fmsub_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask3_fmadd_pd(__m256d __A, __m256d __B, __m256d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask3_fmadd_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask3_fnmadd_pd(__m256d __A, __m256d __B, __m256d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fnmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask3_fnmadd_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256d test_mm256_maskz_fmadd_pd(__mmask8 __U, __m256d __A, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_maskz_fmadd_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_maskz_fmsub_pd(__mmask8 __U, __m256d __A, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_maskz_fmsub_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_maskz_fnmadd_pd(__mmask8 __U, __m256d __A, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fnmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_maskz_fnmadd_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_maskz_fnmsub_pd(__mmask8 __U, __m256d __A, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fnmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_maskz_fnmsub_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask_fmadd_ps(__m128 __A, __mmask8 __U, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.ps.128
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask_fmadd_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask_fmsub_ps(__m128 __A, __mmask8 __U, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask_fmsub_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask3_fmadd_ps(__m128 __A, __m128 __B, __m128 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.ps.128
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask3_fmadd_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask3_fnmadd_ps(__m128 __A, __m128 __B, __m128 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fnmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask3_fnmadd_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128 test_mm_maskz_fmadd_ps(__mmask8 __U, __m128 __A, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.128
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_maskz_fmadd_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_maskz_fmsub_ps(__mmask8 __U, __m128 __A, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_maskz_fmsub_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_maskz_fnmadd_ps(__mmask8 __U, __m128 __A, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fnmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_maskz_fnmadd_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_maskz_fnmsub_ps(__mmask8 __U, __m128 __A, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fnmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_maskz_fnmsub_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask_fmadd_ps(__m256 __A, __mmask8 __U, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask_fmadd_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask_fmsub_ps(__m256 __A, __mmask8 __U, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmadd.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask_fmsub_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask3_fmadd_ps(__m256 __A, __m256 __B, __m256 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask3_fmadd_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask3_fnmadd_ps(__m256 __A, __m256 __B, __m256 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fnmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmadd.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask3_fnmadd_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256 test_mm256_maskz_fmadd_ps(__mmask8 __U, __m256 __A, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_maskz_fmadd_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_maskz_fmsub_ps(__mmask8 __U, __m256 __A, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_maskz_fmsub_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_maskz_fnmadd_ps(__mmask8 __U, __m256 __A, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fnmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_maskz_fnmadd_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_maskz_fnmsub_ps(__mmask8 __U, __m256 __A, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fnmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmadd.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_maskz_fnmsub_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask_fmaddsub_pd(__m128d __A, __mmask8 __U, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.pd.128
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask_fmaddsub_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask_fmsubadd_pd(__m128d __A, __mmask8 __U, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmsubadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask_fmsubadd_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask3_fmaddsub_pd(__m128d __A, __m128d __B, __m128d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmaddsub.pd.128
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask3_fmaddsub_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128d test_mm_maskz_fmaddsub_pd(__mmask8 __U, __m128d __A, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.pd.128
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_maskz_fmaddsub_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_maskz_fmsubadd_pd(__mmask8 __U, __m128d __A, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmsubadd_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_maskz_fmsubadd_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask_fmaddsub_pd(__m256d __A, __mmask8 __U, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask_fmaddsub_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask_fmsubadd_pd(__m256d __A, __mmask8 __U, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmsubadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask_fmsubadd_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask3_fmaddsub_pd(__m256d __A, __m256d __B, __m256d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmaddsub.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask3_fmaddsub_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256d test_mm256_maskz_fmaddsub_pd(__mmask8 __U, __m256d __A, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_maskz_fmaddsub_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_maskz_fmsubadd_pd(__mmask8 __U, __m256d __A, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmsubadd_pd
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_maskz_fmsubadd_pd(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask_fmaddsub_ps(__m128 __A, __mmask8 __U, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.ps.128
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask_fmaddsub_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask_fmsubadd_ps(__m128 __A, __mmask8 __U, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fmsubadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask_fmsubadd_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask3_fmaddsub_ps(__m128 __A, __m128 __B, __m128 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmaddsub.ps.128
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask3_fmaddsub_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128 test_mm_maskz_fmaddsub_ps(__mmask8 __U, __m128 __A, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.ps.128
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_maskz_fmaddsub_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_maskz_fmsubadd_ps(__mmask8 __U, __m128 __A, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_maskz_fmsubadd_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_maskz_fmsubadd_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask_fmaddsub_ps(__m256 __A, __mmask8 __U, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask_fmaddsub_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask_fmsubadd_ps(__m256 __A, __mmask8 __U, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fmsubadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfmaddsub.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask_fmsubadd_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask3_fmaddsub_ps(__m256 __A, __m256 __B, __m256 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmaddsub.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask3_fmaddsub_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256 test_mm256_maskz_fmaddsub_ps(__mmask8 __U, __m256 __A, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_maskz_fmaddsub_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_maskz_fmsubadd_ps(__mmask8 __U, __m256 __A, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_fmsubadd_ps
|
||||
// CHECK: @llvm.x86.avx512.maskz.vfmaddsub.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_maskz_fmsubadd_ps(__U, __A, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask3_fmsub_pd(__m128d __A, __m128d __B, __m128d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsub.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask3_fmsub_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask3_fmsub_pd(__m256d __A, __m256d __B, __m256d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsub.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask3_fmsub_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask3_fmsub_ps(__m128 __A, __m128 __B, __m128 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsub.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask3_fmsub_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask3_fmsub_ps(__m256 __A, __m256 __B, __m256 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsub.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask3_fmsub_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask3_fmsubadd_pd(__m128d __A, __m128d __B, __m128d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmsubadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsubadd.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask3_fmsubadd_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask3_fmsubadd_pd(__m256d __A, __m256d __B, __m256d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmsubadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsubadd.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask3_fmsubadd_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask3_fmsubadd_ps(__m128 __A, __m128 __B, __m128 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fmsubadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsubadd.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask3_fmsubadd_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask3_fmsubadd_ps(__m256 __A, __m256 __B, __m256 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fmsubadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfmsubadd.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask3_fmsubadd_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask_fnmadd_pd(__m128d __A, __mmask8 __U, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fnmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmadd.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask_fnmadd_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask_fnmadd_pd(__m256d __A, __mmask8 __U, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fnmadd_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmadd.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask_fnmadd_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask_fnmadd_ps(__m128 __A, __mmask8 __U, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fnmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmadd.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask_fnmadd_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask_fnmadd_ps(__m256 __A, __mmask8 __U, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fnmadd_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmadd.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask_fnmadd_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask_fnmsub_pd(__m128d __A, __mmask8 __U, __m128d __B, __m128d __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fnmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmsub.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask_fnmsub_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128d test_mm_mask3_fnmsub_pd(__m128d __A, __m128d __B, __m128d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fnmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfnmsub.pd.128
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <2 x i32> <i32 0, i32 1>
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_mask3_fnmsub_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask_fnmsub_pd(__m256d __A, __mmask8 __U, __m256d __B, __m256d __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fnmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmsub.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask_fnmsub_pd(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256d test_mm256_mask3_fnmsub_pd(__m256d __A, __m256d __B, __m256d __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fnmsub_pd
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfnmsub.pd.256
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_mask3_fnmsub_pd(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask_fnmsub_ps(__m128 __A, __mmask8 __U, __m128 __B, __m128 __C) {
|
||||
// CHECK-LABEL: @test_mm_mask_fnmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmsub.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask_fnmsub_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m128 test_mm_mask3_fnmsub_ps(__m128 __A, __m128 __B, __m128 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm_mask3_fnmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfnmsub.ps.128
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: shufflevector <8 x i1> %{{.*}}, <8 x i1> %{{.*}}, <4 x i32> <i32 0, i32 1, i32 2, i32 3>
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_mask3_fnmsub_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask_fnmsub_ps(__m256 __A, __mmask8 __U, __m256 __B, __m256 __C) {
|
||||
// CHECK-LABEL: @test_mm256_mask_fnmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask.vfnmsub.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask_fnmsub_ps(__A, __U, __B, __C);
|
||||
}
|
||||
|
||||
__m256 test_mm256_mask3_fnmsub_ps(__m256 __A, __m256 __B, __m256 __C, __mmask8 __U) {
|
||||
// CHECK-LABEL: @test_mm256_mask3_fnmsub_ps
|
||||
// CHECK: @llvm.x86.avx512.mask3.vfnmsub.ps.256
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: bitcast i8 %{{.*}} to <8 x i1>
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_mask3_fnmsub_ps(__A, __B, __C, __U);
|
||||
}
|
||||
|
||||
|
|
|
|||
|
|
@ -5,81 +5,105 @@
|
|||
|
||||
__m128 test_mm_fmadd_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fmadd_ps
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_fmadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fmadd_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fmadd_pd
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_fmadd_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_fmadd_ss(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fmadd_ss
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ss
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: call float @llvm.fma.f32(float %{{.*}}, float %{{.*}}, float %{{.*}})
|
||||
// CHECK: insertelement <4 x float> %{{.*}}, float %{{.*}}, i64 0
|
||||
return _mm_fmadd_ss(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fmadd_sd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fmadd_sd
|
||||
// CHECK: @llvm.x86.fma.vfmadd.sd
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: call double @llvm.fma.f64(double %{{.*}}, double %{{.*}}, double %{{.*}})
|
||||
// CHECK: insertelement <2 x double> %{{.*}}, double %{{.*}}, i64 0
|
||||
return _mm_fmadd_sd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_fmsub_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fmsub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps(<4 x float> %{{.+}}, <4 x float> %{{.+}}, <4 x float> [[NEG]])
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_fmsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fmsub_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fmsub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd(<2 x double> %{{.+}}, <2 x double> %{{.+}}, <2 x double> [[NEG]])
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_fmsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_fmsub_ss(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fmsub_ss
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ss(<4 x float> %{{.+}}, <4 x float> %{{.+}}, <4 x float> [[NEG]])
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: call float @llvm.fma.f32(float %{{.*}}, float %{{.*}}, float %{{.*}})
|
||||
// CHECK: insertelement <4 x float> %{{.*}}, float %{{.*}}, i64 0
|
||||
return _mm_fmsub_ss(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fmsub_sd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fmsub_sd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.sd(<2 x double> %{{.+}}, <2 x double> %{{.+}}, <2 x double> [[NEG]])
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: call double @llvm.fma.f64(double %{{.*}}, double %{{.*}}, double %{{.*}})
|
||||
// CHECK: insertelement <2 x double> %{{.*}}, double %{{.*}}, i64 0
|
||||
return _mm_fmsub_sd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_fnmadd_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fnmadd_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps(<4 x float> [[NEG]], <4 x float> %{{.+}}, <4 x float> %{{.+}})
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_fnmadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fnmadd_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fnmadd_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd(<2 x double> [[NEG]], <2 x double> %{{.+}}, <2 x double> %{{.+}})
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_fnmadd_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_fnmadd_ss(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fnmadd_ss
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ss(<4 x float> %{{.+}}, <4 x float> [[NEG]], <4 x float> %{{.+}})
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: call float @llvm.fma.f32(float %{{.*}}, float %{{.*}}, float %{{.*}})
|
||||
// CHECK: insertelement <4 x float> %{{.*}}, float %{{.*}}, i64 0
|
||||
return _mm_fnmadd_ss(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fnmadd_sd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fnmadd_sd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.sd(<2 x double> %{{.+}}, <2 x double> [[NEG]], <2 x double> %{{.+}})
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: call double @llvm.fma.f64(double %{{.*}}, double %{{.*}}, double %{{.*}})
|
||||
// CHECK: insertelement <2 x double> %{{.*}}, double %{{.*}}, i64 0
|
||||
return _mm_fnmadd_sd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -87,7 +111,7 @@ __m128 test_mm_fnmsub_ps(__m128 a, __m128 b, __m128 c) {
|
|||
// CHECK-LABEL: test_mm_fnmsub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps(<4 x float> [[NEG]], <4 x float> %{{.+}}, <4 x float> [[NEG2]])
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_fnmsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -95,7 +119,7 @@ __m128d test_mm_fnmsub_pd(__m128d a, __m128d b, __m128d c) {
|
|||
// CHECK-LABEL: test_mm_fnmsub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd(<2 x double> [[NEG]], <2 x double> %{{.+}}, <2 x double> [[NEG2]])
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_fnmsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -103,7 +127,11 @@ __m128 test_mm_fnmsub_ss(__m128 a, __m128 b, __m128 c) {
|
|||
// CHECK-LABEL: test_mm_fnmsub_ss
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ss(<4 x float> %{{.+}}, <4 x float> [[NEG]], <4 x float> [[NEG2]])
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <4 x float> %{{.*}}, i64 0
|
||||
// CHECK: call float @llvm.fma.f32(float %{{.*}}, float %{{.*}}, float %{{.*}})
|
||||
// CHECK: insertelement <4 x float> %{{.*}}, float %{{.*}}, i64 0
|
||||
return _mm_fnmsub_ss(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -111,73 +139,87 @@ __m128d test_mm_fnmsub_sd(__m128d a, __m128d b, __m128d c) {
|
|||
// CHECK-LABEL: test_mm_fnmsub_sd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.sd(<2 x double> %{{.+}}, <2 x double> [[NEG]], <2 x double> [[NEG2]])
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: extractelement <2 x double> %{{.*}}, i64 0
|
||||
// CHECK: call double @llvm.fma.f64(double %{{.*}}, double %{{.*}}, double %{{.*}})
|
||||
// CHECK: insertelement <2 x double> %{{.*}}, double %{{.*}}, i64 0
|
||||
return _mm_fnmsub_sd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_fmaddsub_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_fmaddsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fmaddsub_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_fmaddsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_fmsubadd_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_fmsubadd_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps(<4 x float> %{{.+}}, <4 x float> %{{.+}}, <4 x float> [[NEG]])
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_fmsubadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_fmsubadd_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_fmsubadd_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd(<2 x double> %{{.+}}, <2 x double> %{{.+}}, <2 x double> [[NEG]])
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_fmsubadd_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_fmadd_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_fmadd_ps
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_fmadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_fmadd_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_fmadd_pd
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_fmadd_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_fmsub_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_fmsub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256(<8 x float> %{{.+}}, <8 x float> %{{.+}}, <8 x float> [[NEG]])
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_fmsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_fmsub_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_fmsub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256(<4 x double> %{{.+}}, <4 x double> %{{.+}}, <4 x double> [[NEG]])
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_fmsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_fnmadd_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_fnmadd_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256(<8 x float> [[NEG]], <8 x float> %{{.+}}, <8 x float> %{{.+}})
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_fnmadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_fnmadd_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_fnmadd_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256(<4 x double> [[NEG]], <4 x double> %{{.+}}, <4 x double> %{{.+}})
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_fnmadd_pd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -185,7 +227,7 @@ __m256 test_mm256_fnmsub_ps(__m256 a, __m256 b, __m256 c) {
|
|||
// CHECK-LABEL: test_mm256_fnmsub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256(<8 x float> [[NEG]], <8 x float> %{{.+}}, <8 x float> [[NEG2]])
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_fnmsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -193,32 +235,42 @@ __m256d test_mm256_fnmsub_pd(__m256d a, __m256d b, __m256d c) {
|
|||
// CHECK-LABEL: test_mm256_fnmsub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256(<4 x double> [[NEG]], <4 x double> %{{.+}}, <4 x double> [[NEG2]])
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_fnmsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_fmaddsub_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_fmaddsub_ps
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_fmaddsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_fmaddsub_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_fmaddsub_pd
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_fmaddsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_fmsubadd_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_fmsubadd_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps.256(<8 x float> %{{.*}}, <8 x float> %{{.+}}, <8 x float> [[NEG]])
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_fmsubadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_fmsubadd_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_fmsubadd_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd.256(<4 x double> %{{.+}}, <4 x double> %{{.+}}, <4 x double> [[NEG]])
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_fmsubadd_pd(a, b, c);
|
||||
}
|
||||
|
|
|
|||
|
|
@ -5,13 +5,13 @@
|
|||
|
||||
__m128 test_mm_macc_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_macc_ps
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_macc_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_macc_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_macc_pd
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_macc_pd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -30,14 +30,14 @@ __m128d test_mm_macc_sd(__m128d a, __m128d b, __m128d c) {
|
|||
__m128 test_mm_msub_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_msub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps(<4 x float> %{{.+}}, <4 x float> %{{.+}}, <4 x float> [[NEG]])
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_msub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_msub_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_msub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd(<2 x double> %{{.+}}, <2 x double> %{{.+}}, <2 x double> [[NEG]])
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_msub_pd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -58,14 +58,14 @@ __m128d test_mm_msub_sd(__m128d a, __m128d b, __m128d c) {
|
|||
__m128 test_mm_nmacc_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_nmacc_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps(<4 x float> [[NEG]], <4 x float> %{{.+}}, <4 x float> %{{.+}})
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_nmacc_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_nmacc_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_nmacc_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd(<2 x double> [[NEG]], <2 x double> %{{.+}}, <2 x double> %{{.+}})
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_nmacc_pd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -87,7 +87,7 @@ __m128 test_mm_nmsub_ps(__m128 a, __m128 b, __m128 c) {
|
|||
// CHECK-LABEL: test_mm_nmsub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps(<4 x float> [[NEG]], <4 x float> %{{.+}}, <4 x float> [[NEG2]])
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
return _mm_nmsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -95,7 +95,7 @@ __m128d test_mm_nmsub_pd(__m128d a, __m128d b, __m128d c) {
|
|||
// CHECK-LABEL: test_mm_nmsub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd(<2 x double> [[NEG]], <2 x double> %{{.+}}, <2 x double> [[NEG2]])
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
return _mm_nmsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -117,67 +117,77 @@ __m128d test_mm_nmsub_sd(__m128d a, __m128d b, __m128d c) {
|
|||
|
||||
__m128 test_mm_maddsub_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_maddsub_ps
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_maddsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_maddsub_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_maddsub_pd
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_maddsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m128 test_mm_msubadd_ps(__m128 a, __m128 b, __m128 c) {
|
||||
// CHECK-LABEL: test_mm_msubadd_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps(<4 x float> %{{.+}}, <4 x float> %{{.+}}, <4 x float> [[NEG]])
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: call <4 x float> @llvm.fma.v4f32(<4 x float> %{{.*}}, <4 x float> %{{.*}}, <4 x float> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x float> %{{.*}}, <4 x float> %{{.*}}
|
||||
return _mm_msubadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m128d test_mm_msubadd_pd(__m128d a, __m128d b, __m128d c) {
|
||||
// CHECK-LABEL: test_mm_msubadd_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <2 x double> <double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd(<2 x double> %{{.+}}, <2 x double> %{{.+}}, <2 x double> [[NEG]])
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: call <2 x double> @llvm.fma.v2f64(<2 x double> %{{.*}}, <2 x double> %{{.*}}, <2 x double> %{{.*}})
|
||||
// CHECK: select <2 x i1> <i1 true, i1 false>, <2 x double> %{{.*}}, <2 x double> %{{.*}}
|
||||
return _mm_msubadd_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_macc_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_macc_ps
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_macc_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_macc_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_macc_pd
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_macc_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_msub_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_msub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256(<8 x float> %{{.+}}, <8 x float> %{{.+}}, <8 x float> [[NEG]])
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_msub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_msub_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_msub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256(<4 x double> %{{.+}}, <4 x double> %{{.+}}, <4 x double> [[NEG]])
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_msub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_nmacc_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_nmacc_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256(<8 x float> [[NEG]], <8 x float> %{{.+}}, <8 x float> %{{.+}})
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_nmacc_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_nmacc_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_nmacc_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256(<4 x double> [[NEG]], <4 x double> %{{.+}}, <4 x double> %{{.+}})
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_nmacc_pd(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -185,7 +195,7 @@ __m256 test_mm256_nmsub_ps(__m256 a, __m256 b, __m256 c) {
|
|||
// CHECK-LABEL: test_mm256_nmsub_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.ps.256(<8 x float> [[NEG]], <8 x float> %{{.+}}, <8 x float> [[NEG2]])
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
return _mm256_nmsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
|
|
@ -193,32 +203,42 @@ __m256d test_mm256_nmsub_pd(__m256d a, __m256d b, __m256d c) {
|
|||
// CHECK-LABEL: test_mm256_nmsub_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: [[NEG2:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmadd.pd.256(<4 x double> [[NEG]], <4 x double> %{{.+}}, <4 x double> [[NEG2]])
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
return _mm256_nmsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_maddsub_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_maddsub_ps
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps.256
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_maddsub_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_maddsub_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_maddsub_pd
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd.256
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_maddsub_pd(a, b, c);
|
||||
}
|
||||
|
||||
__m256 test_mm256_msubadd_ps(__m256 a, __m256 b, __m256 c) {
|
||||
// CHECK-LABEL: test_mm256_msubadd_ps
|
||||
// CHECK: [[NEG:%.+]] = fsub <8 x float> <float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00, float -0.000000e+00>, %{{.*}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.ps.256(<8 x float> %{{.*}}, <8 x float> %{{.+}}, <8 x float> [[NEG]])
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: call <8 x float> @llvm.fma.v8f32(<8 x float> %{{.*}}, <8 x float> %{{.*}}, <8 x float> %{{.*}})
|
||||
// CHECK: select <8 x i1> <i1 true, i1 false, i1 true, i1 false, i1 true, i1 false, i1 true, i1 false>, <8 x float> %{{.*}}, <8 x float> %{{.*}}
|
||||
return _mm256_msubadd_ps(a, b, c);
|
||||
}
|
||||
|
||||
__m256d test_mm256_msubadd_pd(__m256d a, __m256d b, __m256d c) {
|
||||
// CHECK-LABEL: test_mm256_msubadd_pd
|
||||
// CHECK: [[NEG:%.+]] = fsub <4 x double> <double -0.000000e+00, double -0.000000e+00, double -0.000000e+00, double -0.000000e+00>, %{{.+}}
|
||||
// CHECK: @llvm.x86.fma.vfmaddsub.pd.256(<4 x double> %{{.+}}, <4 x double> %{{.+}}, <4 x double> [[NEG]])
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: call <4 x double> @llvm.fma.v4f64(<4 x double> %{{.*}}, <4 x double> %{{.*}}, <4 x double> %{{.*}})
|
||||
// CHECK: select <4 x i1> <i1 true, i1 false, i1 true, i1 false>, <4 x double> %{{.*}}, <4 x double> %{{.*}}
|
||||
return _mm256_msubadd_pd(a, b, c);
|
||||
}
|
||||
|
|
|
|||
Loading…
Reference in New Issue