forked from OSchip/llvm-project
Allow vectorization of few missed llvm intrinsic calls in BBVectorizor by handling them in isVectorizableIntrinsic function.
llvm-svn: 207085
This commit is contained in:
Karthik Bhat
parent
3478d4b164
commit
81e6bf0a41
|
|
@ -675,6 +675,14 @@ namespace {
|
|||
case Intrinsic::exp:
|
||||
case Intrinsic::exp2:
|
||||
case Intrinsic::pow:
|
||||
case Intrinsic::round:
|
||||
case Intrinsic::copysign:
|
||||
case Intrinsic::ceil:
|
||||
case Intrinsic::nearbyint:
|
||||
case Intrinsic::rint:
|
||||
case Intrinsic::trunc:
|
||||
case Intrinsic::floor:
|
||||
case Intrinsic::fabs:
|
||||
return Config.VectorizeMath;
|
||||
case Intrinsic::fma:
|
||||
case Intrinsic::fmuladd:
|
||||
|
|
|
|||
|
|
@ -5,6 +5,14 @@ declare double @llvm.fma.f64(double, double, double)
|
|||
declare double @llvm.fmuladd.f64(double, double, double)
|
||||
declare double @llvm.cos.f64(double)
|
||||
declare double @llvm.powi.f64(double, i32)
|
||||
declare double @llvm.round.f64(double)
|
||||
declare double @llvm.copysign.f64(double, double)
|
||||
declare double @llvm.ceil.f64(double)
|
||||
declare double @llvm.nearbyint.f64(double)
|
||||
declare double @llvm.rint.f64(double)
|
||||
declare double @llvm.trunc.f64(double)
|
||||
declare double @llvm.floor.f64(double)
|
||||
declare double @llvm.fabs.f64(double)
|
||||
|
||||
; Basic depth-3 chain with fma
|
||||
define double @test1(double %A1, double %A2, double %B1, double %B2, double %C1, double %C2) {
|
||||
|
|
@ -124,9 +132,218 @@ define double @test4(double %A1, double %A2, double %B1, double %B2, i32 %P) {
|
|||
; CHECK: ret double %R
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with round
|
||||
define double @testround(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.round.f64(double %X1)
|
||||
%Y2 = call double @llvm.round.f64(double %X2)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testround
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.round.v2f64(<2 x double> %X1)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with copysign
|
||||
define double @testcopysign(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.copysign.f64(double %X1, double %A1)
|
||||
%Y2 = call double @llvm.copysign.f64(double %X2, double %A1)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testcopysign
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1.v.i1.2 = insertelement <2 x double> %X1.v.i0.1, double %A1, i32 1
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.copysign.v2f64(<2 x double> %X1, <2 x double> %Y1.v.i1.2)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with ceil
|
||||
define double @testceil(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.ceil.f64(double %X1)
|
||||
%Y2 = call double @llvm.ceil.f64(double %X2)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testceil
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.ceil.v2f64(<2 x double> %X1)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with nearbyint
|
||||
define double @testnearbyint(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.nearbyint.f64(double %X1)
|
||||
%Y2 = call double @llvm.nearbyint.f64(double %X2)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testnearbyint
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.nearbyint.v2f64(<2 x double> %X1)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with rint
|
||||
define double @testrint(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.rint.f64(double %X1)
|
||||
%Y2 = call double @llvm.rint.f64(double %X2)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testrint
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.rint.v2f64(<2 x double> %X1)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with trunc
|
||||
define double @testtrunc(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.trunc.f64(double %X1)
|
||||
%Y2 = call double @llvm.trunc.f64(double %X2)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testtrunc
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.trunc.v2f64(<2 x double> %X1)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with floor
|
||||
define double @testfloor(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.floor.f64(double %X1)
|
||||
%Y2 = call double @llvm.floor.f64(double %X2)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testfloor
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.floor.v2f64(<2 x double> %X1)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
; Basic depth-3 chain with fabs
|
||||
define double @testfabs(double %A1, double %A2, double %B1, double %B2) {
|
||||
%X1 = fsub double %A1, %B1
|
||||
%X2 = fsub double %A2, %B2
|
||||
%Y1 = call double @llvm.fabs.f64(double %X1)
|
||||
%Y2 = call double @llvm.fabs.f64(double %X2)
|
||||
%Z1 = fadd double %Y1, %B1
|
||||
%Z2 = fadd double %Y2, %B2
|
||||
%R = fmul double %Z1, %Z2
|
||||
ret double %R
|
||||
; CHECK: @testfabs
|
||||
; CHECK: %X1.v.i1.1 = insertelement <2 x double> undef, double %B1, i32 0
|
||||
; CHECK: %X1.v.i1.2 = insertelement <2 x double> %X1.v.i1.1, double %B2, i32 1
|
||||
; CHECK: %X1.v.i0.1 = insertelement <2 x double> undef, double %A1, i32 0
|
||||
; CHECK: %X1.v.i0.2 = insertelement <2 x double> %X1.v.i0.1, double %A2, i32 1
|
||||
; CHECK: %X1 = fsub <2 x double> %X1.v.i0.2, %X1.v.i1.2
|
||||
; CHECK: %Y1 = call <2 x double> @llvm.fabs.v2f64(<2 x double> %X1)
|
||||
; CHECK: %Z1 = fadd <2 x double> %Y1, %X1.v.i1.2
|
||||
; CHECK: %Z1.v.r1 = extractelement <2 x double> %Z1, i32 0
|
||||
; CHECK: %Z1.v.r2 = extractelement <2 x double> %Z1, i32 1
|
||||
; CHECK: %R = fmul double %Z1.v.r1, %Z1.v.r2
|
||||
; CHECK: ret double %R
|
||||
|
||||
}
|
||||
|
||||
|
||||
; CHECK: declare <2 x double> @llvm.fma.v2f64(<2 x double>, <2 x double>, <2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.fmuladd.v2f64(<2 x double>, <2 x double>, <2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.cos.v2f64(<2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.powi.v2f64(<2 x double>, i32) #0
|
||||
|
||||
; CHECK: declare <2 x double> @llvm.round.v2f64(<2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.copysign.v2f64(<2 x double>, <2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.ceil.v2f64(<2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.nearbyint.v2f64(<2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.rint.v2f64(<2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.trunc.v2f64(<2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.floor.v2f64(<2 x double>) #0
|
||||
; CHECK: declare <2 x double> @llvm.fabs.v2f64(<2 x double>) #0
|
||||
; CHECK: attributes #0 = { nounwind readnone }
|
||||
|
|
|
|||
Loading…
Reference in New Issue