From b7cf71b63dafe2112a8875eca20aeb0eaec11faa Mon Sep 17 00:00:00 2001 From: Asaf Badouh Date: Tue, 28 Jul 2015 11:14:09 +0000 Subject: [PATCH] [X86][AVX512VL] add AVX512VL intrinsics 3 out of 4 http://reviews.llvm.org/D11526 llvm-svn: 243406 --- clang/include/clang/Basic/BuiltinsX86.def | 40 ++ clang/lib/Headers/avx512vlintrin.h | 655 ++++++++++++++++++++++ clang/test/CodeGen/avx512vl-builtins.c | 480 ++++++++++++++++ 3 files changed, 1175 insertions(+) diff --git a/clang/include/clang/Basic/BuiltinsX86.def b/clang/include/clang/Basic/BuiltinsX86.def index b8f569dc4471..97acbd275edc 100644 --- a/clang/include/clang/Basic/BuiltinsX86.def +++ b/clang/include/clang/Basic/BuiltinsX86.def @@ -1338,5 +1338,45 @@ BUILTIN(__builtin_ia32_pabsd128_mask, "V4iV4iV4iUc", "") BUILTIN(__builtin_ia32_pabsd256_mask, "V8iV8iV8iUc", "") BUILTIN(__builtin_ia32_pabsq128_mask, "V2LLiV2LLiV2LLiUc", "") BUILTIN(__builtin_ia32_pabsq256_mask, "V4LLiV4LLiV4LLiUc", "") +BUILTIN(__builtin_ia32_pmaxsd128_mask, "V4iV4iV4iV4iUc", "") +BUILTIN(__builtin_ia32_pmaxsd256_mask, "V8iV8iV8iV8iUc", "") +BUILTIN(__builtin_ia32_pmaxsq128_mask, "V2LLiV2LLiV2LLiV2LLiUc", "") +BUILTIN(__builtin_ia32_pmaxsq256_mask, "V4LLiV4LLiV4LLiV4LLiUc", "") +BUILTIN(__builtin_ia32_pmaxud128_mask, "V4iV4iV4iV4iUc", "") +BUILTIN(__builtin_ia32_pmaxud256_mask, "V8iV8iV8iV8iUc", "") +BUILTIN(__builtin_ia32_pmaxuq128_mask, "V2LLiV2LLiV2LLiV2LLiUc", "") +BUILTIN(__builtin_ia32_pmaxuq256_mask, "V4LLiV4LLiV4LLiV4LLiUc", "") +BUILTIN(__builtin_ia32_pminsd128_mask, "V4iV4iV4iV4iUc", "") +BUILTIN(__builtin_ia32_pminsd256_mask, "V8iV8iV8iV8iUc", "") +BUILTIN(__builtin_ia32_pminsq128_mask, "V2LLiV2LLiV2LLiV2LLiUc", "") +BUILTIN(__builtin_ia32_pminsq256_mask, "V4LLiV4LLiV4LLiV4LLiUc", "") +BUILTIN(__builtin_ia32_pminud128_mask, "V4iV4iV4iV4iUc", "") +BUILTIN(__builtin_ia32_pminud256_mask, "V8iV8iV8iV8iUc", "") +BUILTIN(__builtin_ia32_pminuq128_mask, "V2LLiV2LLiV2LLiV2LLiUc", "") +BUILTIN(__builtin_ia32_pminuq256_mask, "V4LLiV4LLiV4LLiV4LLiUc", "") +BUILTIN(__builtin_ia32_rndscalepd_128_mask, "V2dV2dIiV2dUc", "") +BUILTIN(__builtin_ia32_rndscalepd_256_mask, "V4dV4dIiV4dUc", "") +BUILTIN(__builtin_ia32_rndscaleps_128_mask, "V4fV4fIiV4fUc", "") +BUILTIN(__builtin_ia32_rndscaleps_256_mask, "V8fV8fIiV8fUc", "") +BUILTIN(__builtin_ia32_scalefpd128_mask, "V2dV2dV2dV2dUc", "") +BUILTIN(__builtin_ia32_scalefpd256_mask, "V4dV4dV4dV4dUc", "") +BUILTIN(__builtin_ia32_scalefps128_mask, "V4fV4fV4fV4fUc", "") +BUILTIN(__builtin_ia32_scalefps256_mask, "V8fV8fV8fV8fUc", "") +BUILTIN(__builtin_ia32_scatterdiv2df, "vv*UcV2LLiV2dIi", "") +BUILTIN(__builtin_ia32_scatterdiv2di, "vv*UcV2LLiV2LLiIi", "") +BUILTIN(__builtin_ia32_scatterdiv4df, "vv*UcV4LLiV4dIi", "") +BUILTIN(__builtin_ia32_scatterdiv4di, "vv*UcV4LLiV4LLiIi", "") +BUILTIN(__builtin_ia32_scatterdiv4sf, "vv*UcV2LLiV4fIi", "") +BUILTIN(__builtin_ia32_scatterdiv4si, "vv*UcV2LLiV4iIi", "") +BUILTIN(__builtin_ia32_scatterdiv8sf, "vv*UcV4LLiV4fIi", "") +BUILTIN(__builtin_ia32_scatterdiv8si, "vv*UcV4LLiV4iIi", "") +BUILTIN(__builtin_ia32_scattersiv2df, "vv*UcV4iV2dIi", "") +BUILTIN(__builtin_ia32_scattersiv2di, "vv*UcV4iV2LLiIi", "") +BUILTIN(__builtin_ia32_scattersiv4df, "vv*UcV4iV4dIi", "") +BUILTIN(__builtin_ia32_scattersiv4di, "vv*UcV4iV4LLiIi", "") +BUILTIN(__builtin_ia32_scattersiv4sf, "vv*UcV4iV4fIi", "") +BUILTIN(__builtin_ia32_scattersiv4si, "vv*UcV4iV4iIi", "") +BUILTIN(__builtin_ia32_scattersiv8sf, "vv*UcV8iV8fIi", "") +BUILTIN(__builtin_ia32_scattersiv8si, "vv*UcV8iV8iIi", "") #undef BUILTIN diff --git a/clang/lib/Headers/avx512vlintrin.h b/clang/lib/Headers/avx512vlintrin.h index c65bdefaab80..a59e8d2d99ce 100644 --- a/clang/lib/Headers/avx512vlintrin.h +++ b/clang/lib/Headers/avx512vlintrin.h @@ -3492,6 +3492,661 @@ _mm256_maskz_abs_epi64 (__mmask8 __U, __m256i __A) { (__mmask8) __U); } +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_max_epi32 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pmaxsd128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_max_epi32 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pmaxsd128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_max_epi32 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pmaxsd256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) + _mm256_setzero_si256 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_max_epi32 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pmaxsd256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_max_epi64 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pmaxsq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_max_epi64 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pmaxsq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_max_epi64 (__m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pmaxsq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + (__mmask8) -1); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_max_epi64 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pmaxsq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_max_epi64 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pmaxsq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_max_epi64 (__m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pmaxsq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + (__mmask8) -1); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_max_epu32 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pmaxud128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_max_epu32 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pmaxud128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_max_epu32 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pmaxud256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) + _mm256_setzero_si256 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_max_epu32 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pmaxud256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_max_epu64 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pmaxuq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_max_epu64 (__m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pmaxuq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + (__mmask8) -1); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_max_epu64 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pmaxuq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_max_epu64 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pmaxuq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_max_epu64 (__m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pmaxuq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + (__mmask8) -1); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_max_epu64 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pmaxuq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_min_epi32 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pminsd128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_min_epi32 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pminsd128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_min_epi32 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pminsd256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) + _mm256_setzero_si256 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_min_epi32 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pminsd256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_min_epi64 (__m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pminsq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + (__mmask8) -1); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_min_epi64 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pminsq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_min_epi64 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pminsq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_min_epi64 (__m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pminsq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + (__mmask8) -1); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_min_epi64 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pminsq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_min_epi64 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pminsq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_min_epu32 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pminud128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_min_epu32 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pminud128_mask ((__v4si) __A, + (__v4si) __B, + (__v4si) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_min_epu32 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pminud256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) + _mm256_setzero_si256 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_min_epu32 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pminud256_mask ((__v8si) __A, + (__v8si) __B, + (__v8si) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_min_epu64 (__m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pminuq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + (__mmask8) -1); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_mask_min_epu64 (__m128i __W, __mmask8 __M, __m128i __A, + __m128i __B) { + return (__m128i) __builtin_ia32_pminuq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) __W, __M); +} + +static __inline__ __m128i __DEFAULT_FN_ATTRS +_mm_maskz_min_epu64 (__mmask8 __M, __m128i __A, __m128i __B) { + return (__m128i) __builtin_ia32_pminuq128_mask ((__v2di) __A, + (__v2di) __B, + (__v2di) + _mm_setzero_si128 (), + __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_min_epu64 (__m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pminuq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + (__mmask8) -1); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_mask_min_epu64 (__m256i __W, __mmask8 __M, __m256i __A, + __m256i __B) { + return (__m256i) __builtin_ia32_pminuq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) __W, __M); +} + +static __inline__ __m256i __DEFAULT_FN_ATTRS +_mm256_maskz_min_epu64 (__mmask8 __M, __m256i __A, __m256i __B) { + return (__m256i) __builtin_ia32_pminuq256_mask ((__v4di) __A, + (__v4di) __B, + (__v4di) + _mm256_setzero_si256 (), + __M); +} + +#define _mm_roundscale_pd(__A, __imm) __extension__ ({ \ + (__m128d) __builtin_ia32_rndscalepd_128_mask ((__v2df) __A, \ + __imm, (__v2df) _mm_setzero_pd (), (__mmask8) -1); }) + + +#define _mm_mask_roundscale_pd(__W, __U, __A, __imm) __extension__ ({ \ + (__m128d) __builtin_ia32_rndscalepd_128_mask ((__v2df) __A, __imm, \ + (__v2df) __W, (__mmask8) __U); }) + + +#define _mm_maskz_roundscale_pd(__U, __A, __imm) __extension__ ({ \ + (__m128d) __builtin_ia32_rndscalepd_128_mask ((__v2df) __A, __imm, \ + (__v2df) _mm_setzero_pd (), (__mmask8) __U); }) + + +#define _mm256_roundscale_pd(__A, __imm) __extension__ ({ \ + (__m256d) __builtin_ia32_rndscalepd_256_mask ((__v4df) __A, __imm, \ + (__v4df) _mm256_setzero_pd (), (__mmask8) -1); }) + + +#define _mm256_mask_roundscale_pd(__W, __U, __A, __imm) __extension__ ({ \ + (__m256d) __builtin_ia32_rndscalepd_256_mask ((__v4df) __A, __imm, \ + (__v4df) __W, (__mmask8) __U); }) + + +#define _mm256_maskz_roundscale_pd(__U, __A, __imm) __extension__ ({ \ + (__m256d) __builtin_ia32_rndscalepd_256_mask ((__v4df) __A, __imm, \ + (__v4df) _mm256_setzero_pd(), (__mmask8) __U); }) + +#define _mm_roundscale_ps(__A, __imm) __extension__ ({ \ + (__m128) __builtin_ia32_rndscaleps_128_mask ((__v4sf) __A, __imm, \ + (__v4sf) _mm_setzero_ps(), (__mmask8) -1); }) + + +#define _mm_mask_roundscale_ps(__W, __U, __A, __imm) __extension__ ({ \ + (__m128) __builtin_ia32_rndscaleps_128_mask ((__v4sf) __A, __imm, \ + (__v4sf) __W, (__mmask8) __U); }) + + +#define _mm_maskz_roundscale_ps(__U, __A, __imm) __extension__ ({ \ + (__m128) __builtin_ia32_rndscaleps_128_mask ((__v4sf) __A, __imm, \ + (__v4sf) _mm_setzero_ps(), (__mmask8) __U); }) + +#define _mm256_roundscale_ps(__A, __imm) __extension__ ({ \ + (__m256) __builtin_ia32_rndscaleps_256_mask ((__v8sf) __A,__imm, \ + (__v8sf) _mm256_setzero_ps(), (__mmask8) -1); }) + +#define _mm256_mask_roundscale_ps(__W, __U, __A,__imm) __extension__ ({ \ + (__m256) __builtin_ia32_rndscaleps_256_mask ((__v8sf) __A, __imm, \ + (__v8sf) __W, (__mmask8) __U); }) + + +#define _mm256_maskz_roundscale_ps(__U, __A, __imm) __extension__ ({ \ + (__m256) __builtin_ia32_rndscaleps_256_mask ((__v8sf) __A, __imm, \ + (__v8sf) _mm256_setzero_ps(), (__mmask8) __U); }) + +static __inline__ __m128d __DEFAULT_FN_ATTRS +_mm_scalef_pd (__m128d __A, __m128d __B) { + return (__m128d) __builtin_ia32_scalefpd128_mask ((__v2df) __A, + (__v2df) __B, + (__v2df) + _mm_setzero_pd (), + (__mmask8) -1); +} + +static __inline__ __m128d __DEFAULT_FN_ATTRS +_mm_mask_scalef_pd (__m128d __W, __mmask8 __U, __m128d __A, + __m128d __B) { + return (__m128d) __builtin_ia32_scalefpd128_mask ((__v2df) __A, + (__v2df) __B, + (__v2df) __W, + (__mmask8) __U); +} + +static __inline__ __m128d __DEFAULT_FN_ATTRS +_mm_maskz_scalef_pd (__mmask8 __U, __m128d __A, __m128d __B) { + return (__m128d) __builtin_ia32_scalefpd128_mask ((__v2df) __A, + (__v2df) __B, + (__v2df) + _mm_setzero_pd (), + (__mmask8) __U); +} + +static __inline__ __m256d __DEFAULT_FN_ATTRS +_mm256_scalef_pd (__m256d __A, __m256d __B) { + return (__m256d) __builtin_ia32_scalefpd256_mask ((__v4df) __A, + (__v4df) __B, + (__v4df) + _mm256_setzero_pd (), + (__mmask8) -1); +} + +static __inline__ __m256d __DEFAULT_FN_ATTRS +_mm256_mask_scalef_pd (__m256d __W, __mmask8 __U, __m256d __A, + __m256d __B) { + return (__m256d) __builtin_ia32_scalefpd256_mask ((__v4df) __A, + (__v4df) __B, + (__v4df) __W, + (__mmask8) __U); +} + +static __inline__ __m256d __DEFAULT_FN_ATTRS +_mm256_maskz_scalef_pd (__mmask8 __U, __m256d __A, __m256d __B) { + return (__m256d) __builtin_ia32_scalefpd256_mask ((__v4df) __A, + (__v4df) __B, + (__v4df) + _mm256_setzero_pd (), + (__mmask8) __U); +} + +static __inline__ __m128 __DEFAULT_FN_ATTRS +_mm_scalef_ps (__m128 __A, __m128 __B) { + return (__m128) __builtin_ia32_scalefps128_mask ((__v4sf) __A, + (__v4sf) __B, + (__v4sf) + _mm_setzero_ps (), + (__mmask8) -1); +} + +static __inline__ __m128 __DEFAULT_FN_ATTRS +_mm_mask_scalef_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) { + return (__m128) __builtin_ia32_scalefps128_mask ((__v4sf) __A, + (__v4sf) __B, + (__v4sf) __W, + (__mmask8) __U); +} + +static __inline__ __m128 __DEFAULT_FN_ATTRS +_mm_maskz_scalef_ps (__mmask8 __U, __m128 __A, __m128 __B) { + return (__m128) __builtin_ia32_scalefps128_mask ((__v4sf) __A, + (__v4sf) __B, + (__v4sf) + _mm_setzero_ps (), + (__mmask8) __U); +} + +static __inline__ __m256 __DEFAULT_FN_ATTRS +_mm256_scalef_ps (__m256 __A, __m256 __B) { + return (__m256) __builtin_ia32_scalefps256_mask ((__v8sf) __A, + (__v8sf) __B, + (__v8sf) + _mm256_setzero_ps (), + (__mmask8) -1); +} + +static __inline__ __m256 __DEFAULT_FN_ATTRS +_mm256_mask_scalef_ps (__m256 __W, __mmask8 __U, __m256 __A, + __m256 __B) { + return (__m256) __builtin_ia32_scalefps256_mask ((__v8sf) __A, + (__v8sf) __B, + (__v8sf) __W, + (__mmask8) __U); +} + +static __inline__ __m256 __DEFAULT_FN_ATTRS +_mm256_maskz_scalef_ps (__mmask8 __U, __m256 __A, __m256 __B) { + return (__m256) __builtin_ia32_scalefps256_mask ((__v8sf) __A, + (__v8sf) __B, + (__v8sf) + _mm256_setzero_ps (), + (__mmask8) __U); +} + +#define _mm_i64scatter_pd(__addr,__index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv2df(__addr, (__mmask8) 0xFF, (__v2di) __index, \ + (__v2df) __v1, __scale); }) + +#define _mm_mask_i64scatter_pd(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv2df (__addr, __mask, (__v2di) __index, \ + (__v2df) __v1, __scale); }) + + +#define _mm_i64scatter_epi64(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv2di (__addr, (__mmask8) 0xFF, \ + (__v2di) __index, (__v2di) __v1, __scale); }) + +#define _mm_mask_i64scatter_epi64(__addr, __mask, __index, __v1,\ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv2di (__addr, __mask, (__v2di) __index,\ + (__v2di) __v1, __scale); }) + +#define _mm256_i64scatter_pd(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4df (__addr, (__mmask8) 0xFF,\ + (__v4di) __index, (__v4df) __v1, __scale); }) + +#define _mm256_mask_i64scatter_pd(__addr, __mask, __index, __v1,\ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4df (__addr, __mask, (__v4di) __index,\ + (__v4df) __v1, __scale); }) + +#define _mm256_i64scatter_epi64(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4di (__addr, (__mmask8) 0xFF, (__v4di) __index,\ + (__v4di) __v1, __scale); }) + +#define _mm256_mask_i64scatter_epi64(__addr, __mask, __index, __v1,\ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4di (__addr, __mask, (__v4di) __index,\ + (__v4di) __v1, __scale); }) + +#define _mm_i64scatter_ps(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4sf (__addr, (__mmask8) 0xFF,\ + (__v2di) __index, (__v4sf) __v1, __scale); }) + +#define _mm_mask_i64scatter_ps(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4sf (__addr, __mask, (__v2di) __index,\ + (__v4sf) __v1, __scale); }) + +#define _mm_i64scatter_epi32(__addr, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4si (__addr, (__mmask8) 0xFF,\ + (__v2di) __index, (__v4si) __v1, __scale); }) + +#define _mm_mask_i64scatter_epi32(__addr, __mask, __index, __v1,\ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv4si (__addr, __mask, (__v2di) __index,\ + (__v4si) __v1, __scale); }) + +#define _mm256_i64scatter_ps(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv8sf (__addr, (__mmask8) 0xFF, (__v4di) __index, \ + (__v4sf) __v1, __scale); }) + +#define _mm256_mask_i64scatter_ps(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv8sf (__addr, __mask, (__v4di) __index, \ + (__v4sf) __v1, __scale); }) + +#define _mm256_i64scatter_epi32(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv8si (__addr, (__mmask8) 0xFF, \ + (__v4di) __index, (__v4si) __v1, __scale); }) + +#define _mm256_mask_i64scatter_epi32(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scatterdiv8si(__addr, __mask, (__v4di) __index, \ + (__v4si) __v1, __scale); }) + +#define _mm_i32scatter_pd(__addr, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv2df (__addr, (__mmask8) 0xFF, \ + (__v4si) __index, (__v2df) __v1, __scale); }) + +#define _mm_mask_i32scatter_pd(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv2df (__addr, __mask, (__v4si) __index,\ + (__v2df) __v1, __scale); }) + +#define _mm_i32scatter_epi64(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scattersiv2di (__addr, (__mmask8) 0xFF, \ + (__v4si) __index, (__v2di) __v1, __scale); }) + +#define _mm_mask_i32scatter_epi64(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv2di (__addr, __mask, (__v4si) __index, \ + (__v2di) __v1, __scale); }) + +#define _mm256_i32scatter_pd(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4df (__addr, (__mmask8) 0xFF, \ + (__v4si) __index, (__v4df) __v1, __scale); }) + +#define _mm256_mask_i32scatter_pd(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4df (__addr, __mask, (__v4si) __index, \ + (__v4df) __v1, __scale); }) + +#define _mm256_i32scatter_epi64(__addr, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4di (__addr, (__mmask8) 0xFF, \ + (__v4si) __index, (__v4di) __v1, __scale); }) + +#define _mm256_mask_i32scatter_epi64(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4di (__addr, __mask, (__v4si) __index, \ + (__v4di) __v1, __scale); }) + +#define _mm_i32scatter_ps(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4sf (__addr, (__mmask8) 0xFF, \ + (__v4si) __index, (__v4sf) __v1, __scale); }) + +#define _mm_mask_i32scatter_ps(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4sf (__addr, __mask, (__v4si) __index, \ + (__v4sf) __v1, __scale); }) + +#define _mm_i32scatter_epi32(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4si (__addr, (__mmask8) 0xFF, \ + (__v4si) __index, (__v4si) __v1, __scale); }) + +#define _mm_mask_i32scatter_epi32(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv4si (__addr, __mask, (__v4si) __index,\ + (__v4si) __v1, __scale); }) + +#define _mm256_i32scatter_ps(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scattersiv8sf (__addr, (__mmask8) 0xFF, \ + (__v8si) __index, (__v8sf) __v1, __scale); }) + +#define _mm256_mask_i32scatter_ps(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv8sf (__addr, __mask, (__v8si) __index,\ + (__v8sf) __v1, __scale); }) + +#define _mm256_i32scatter_epi32(__addr, __index, __v1, __scale) __extension__ ({ \ + __builtin_ia32_scattersiv8si (__addr, (__mmask8) 0xFF, \ + (__v8si) __index, (__v8si) __v1, __scale); }) + +#define _mm256_mask_i32scatter_epi32(__addr, __mask, __index, __v1, \ + __scale) __extension__ ({ \ + __builtin_ia32_scattersiv8si (__addr, __mask, (__v8si) __index, \ + (__v8si) __v1, __scale); }) + #undef __DEFAULT_FN_ATTRS #endif /* __AVX512VLINTRIN_H */ diff --git a/clang/test/CodeGen/avx512vl-builtins.c b/clang/test/CodeGen/avx512vl-builtins.c index 00886601431d..8baf3299e06f 100644 --- a/clang/test/CodeGen/avx512vl-builtins.c +++ b/clang/test/CodeGen/avx512vl-builtins.c @@ -2527,3 +2527,483 @@ __m256i test_mm256_maskz_abs_epi64(__mmask8 __U, __m256i __A) { // CHECK: @llvm.x86.avx512.mask.pabs.q.256 return _mm256_maskz_abs_epi64(__U,__A); } +__m128i test_mm_maskz_max_epi32(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_max_epi32 + // CHECK: @llvm.x86.avx512.mask.pmaxs.d.128 + return _mm_maskz_max_epi32(__M,__A,__B); +} +__m128i test_mm_mask_max_epi32(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_max_epi32 + // CHECK: @llvm.x86.avx512.mask.pmaxs.d.128 + return _mm_mask_max_epi32(__W,__M,__A,__B); +} +__m256i test_mm256_maskz_max_epi32(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_max_epi32 + // CHECK: @llvm.x86.avx512.mask.pmaxs.d.256 + return _mm256_maskz_max_epi32(__M,__A,__B); +} +__m256i test_mm256_mask_max_epi32(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_max_epi32 + // CHECK: @llvm.x86.avx512.mask.pmaxs.d.256 + return _mm256_mask_max_epi32(__W,__M,__A,__B); +} +__m128i test_mm_maskz_max_epi64(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_max_epi64 + // CHECK: @llvm.x86.avx512.mask.pmaxs.q.128 + return _mm_maskz_max_epi64(__M,__A,__B); +} +__m128i test_mm_mask_max_epi64(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_max_epi64 + // CHECK: @llvm.x86.avx512.mask.pmaxs.q.128 + return _mm_mask_max_epi64(__W,__M,__A,__B); +} +__m128i test_mm_max_epi64(__m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_max_epi64 + // CHECK: @llvm.x86.avx512.mask.pmaxs.q.128 + return _mm_max_epi64(__A,__B); +} +__m256i test_mm256_maskz_max_epi64(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_max_epi64 + // CHECK: @llvm.x86.avx512.mask.pmaxs.q.256 + return _mm256_maskz_max_epi64(__M,__A,__B); +} +__m256i test_mm256_mask_max_epi64(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_max_epi64 + // CHECK: @llvm.x86.avx512.mask.pmaxs.q.256 + return _mm256_mask_max_epi64(__W,__M,__A,__B); +} +__m256i test_mm256_max_epi64(__m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_max_epi64 + // CHECK: @llvm.x86.avx512.mask.pmaxs.q.256 + return _mm256_max_epi64(__A,__B); +} +__m128i test_mm_maskz_max_epu32(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_max_epu32 + // CHECK: @llvm.x86.avx512.mask.pmaxu.d.128 + return _mm_maskz_max_epu32(__M,__A,__B); +} +__m128i test_mm_mask_max_epu32(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_max_epu32 + // CHECK: @llvm.x86.avx512.mask.pmaxu.d.128 + return _mm_mask_max_epu32(__W,__M,__A,__B); +} +__m256i test_mm256_maskz_max_epu32(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_max_epu32 + // CHECK: @llvm.x86.avx512.mask.pmaxu.d.256 + return _mm256_maskz_max_epu32(__M,__A,__B); +} +__m256i test_mm256_mask_max_epu32(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_max_epu32 + // CHECK: @llvm.x86.avx512.mask.pmaxu.d.256 + return _mm256_mask_max_epu32(__W,__M,__A,__B); +} +__m128i test_mm_maskz_max_epu64(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_max_epu64 + // CHECK: @llvm.x86.avx512.mask.pmaxu.q.128 + return _mm_maskz_max_epu64(__M,__A,__B); +} +__m128i test_mm_max_epu64(__m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_max_epu64 + // CHECK: @llvm.x86.avx512.mask.pmaxu.q.128 + return _mm_max_epu64(__A,__B); +} +__m128i test_mm_mask_max_epu64(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_max_epu64 + // CHECK: @llvm.x86.avx512.mask.pmaxu.q.128 + return _mm_mask_max_epu64(__W,__M,__A,__B); +} +__m256i test_mm256_maskz_max_epu64(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_max_epu64 + // CHECK: @llvm.x86.avx512.mask.pmaxu.q.256 + return _mm256_maskz_max_epu64(__M,__A,__B); +} +__m256i test_mm256_max_epu64(__m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_max_epu64 + // CHECK: @llvm.x86.avx512.mask.pmaxu.q.256 + return _mm256_max_epu64(__A,__B); +} +__m256i test_mm256_mask_max_epu64(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_max_epu64 + // CHECK: @llvm.x86.avx512.mask.pmaxu.q.256 + return _mm256_mask_max_epu64(__W,__M,__A,__B); +} +__m128i test_mm_maskz_min_epi32(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_min_epi32 + // CHECK: @llvm.x86.avx512.mask.pmins.d.128 + return _mm_maskz_min_epi32(__M,__A,__B); +} +__m128i test_mm_mask_min_epi32(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_min_epi32 + // CHECK: @llvm.x86.avx512.mask.pmins.d.128 + return _mm_mask_min_epi32(__W,__M,__A,__B); +} +__m256i test_mm256_maskz_min_epi32(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_min_epi32 + // CHECK: @llvm.x86.avx512.mask.pmins.d.256 + return _mm256_maskz_min_epi32(__M,__A,__B); +} +__m256i test_mm256_mask_min_epi32(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_min_epi32 + // CHECK: @llvm.x86.avx512.mask.pmins.d.256 + return _mm256_mask_min_epi32(__W,__M,__A,__B); +} +__m128i test_mm_min_epi64(__m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_min_epi64 + // CHECK: @llvm.x86.avx512.mask.pmins.q.128 + return _mm_min_epi64(__A,__B); +} +__m128i test_mm_mask_min_epi64(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_min_epi64 + // CHECK: @llvm.x86.avx512.mask.pmins.q.128 + return _mm_mask_min_epi64(__W,__M,__A,__B); +} +__m128i test_mm_maskz_min_epi64(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_min_epi64 + // CHECK: @llvm.x86.avx512.mask.pmins.q.128 + return _mm_maskz_min_epi64(__M,__A,__B); +} +__m256i test_mm256_min_epi64(__m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_min_epi64 + // CHECK: @llvm.x86.avx512.mask.pmins.q.256 + return _mm256_min_epi64(__A,__B); +} +__m256i test_mm256_mask_min_epi64(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_min_epi64 + // CHECK: @llvm.x86.avx512.mask.pmins.q.256 + return _mm256_mask_min_epi64(__W,__M,__A,__B); +} +__m256i test_mm256_maskz_min_epi64(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_min_epi64 + // CHECK: @llvm.x86.avx512.mask.pmins.q.256 + return _mm256_maskz_min_epi64(__M,__A,__B); +} +__m128i test_mm_maskz_min_epu32(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_min_epu32 + // CHECK: @llvm.x86.avx512.mask.pminu.d.128 + return _mm_maskz_min_epu32(__M,__A,__B); +} +__m128i test_mm_mask_min_epu32(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_min_epu32 + // CHECK: @llvm.x86.avx512.mask.pminu.d.128 + return _mm_mask_min_epu32(__W,__M,__A,__B); +} +__m256i test_mm256_maskz_min_epu32(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_min_epu32 + // CHECK: @llvm.x86.avx512.mask.pminu.d.256 + return _mm256_maskz_min_epu32(__M,__A,__B); +} +__m256i test_mm256_mask_min_epu32(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_min_epu32 + // CHECK: @llvm.x86.avx512.mask.pminu.d.256 + return _mm256_mask_min_epu32(__W,__M,__A,__B); +} +__m128i test_mm_min_epu64(__m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_min_epu64 + // CHECK: @llvm.x86.avx512.mask.pminu.q.128 + return _mm_min_epu64(__A,__B); +} +__m128i test_mm_mask_min_epu64(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_mask_min_epu64 + // CHECK: @llvm.x86.avx512.mask.pminu.q.128 + return _mm_mask_min_epu64(__W,__M,__A,__B); +} +__m128i test_mm_maskz_min_epu64(__mmask8 __M, __m128i __A, __m128i __B) { + // CHECK-LABEL: @test_mm_maskz_min_epu64 + // CHECK: @llvm.x86.avx512.mask.pminu.q.128 + return _mm_maskz_min_epu64(__M,__A,__B); +} +__m256i test_mm256_min_epu64(__m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_min_epu64 + // CHECK: @llvm.x86.avx512.mask.pminu.q.256 + return _mm256_min_epu64(__A,__B); +} +__m256i test_mm256_mask_min_epu64(__m256i __W, __mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_mask_min_epu64 + // CHECK: @llvm.x86.avx512.mask.pminu.q.256 + return _mm256_mask_min_epu64(__W,__M,__A,__B); +} +__m256i test_mm256_maskz_min_epu64(__mmask8 __M, __m256i __A, __m256i __B) { + // CHECK-LABEL: @test_mm256_maskz_min_epu64 + // CHECK: @llvm.x86.avx512.mask.pminu.q.256 + return _mm256_maskz_min_epu64(__M,__A,__B); +} +__m128d test_mm_roundscale_pd(__m128d __A) { + // CHECK-LABEL: @test_mm_roundscale_pd + // CHECK: @llvm.x86.avx512.mask.rndscale.pd.128 + return _mm_roundscale_pd(__A,4); +} +__m128d test_mm_mask_roundscale_pd(__m128d __W, __mmask8 __U, __m128d __A) { + // CHECK-LABEL: @test_mm_mask_roundscale_pd + // CHECK: @llvm.x86.avx512.mask.rndscale.pd.128 + return _mm_mask_roundscale_pd(__W,__U,__A,4); +} +__m128d test_mm_maskz_roundscale_pd(__mmask8 __U, __m128d __A) { + // CHECK-LABEL: @test_mm_maskz_roundscale_pd + // CHECK: @llvm.x86.avx512.mask.rndscale.pd.128 + return _mm_maskz_roundscale_pd(__U,__A,4); +} +__m256d test_mm256_roundscale_pd(__m256d __A) { + // CHECK-LABEL: @test_mm256_roundscale_pd + // CHECK: @llvm.x86.avx512.mask.rndscale.pd.256 + return _mm256_roundscale_pd(__A,4); +} +__m256d test_mm256_mask_roundscale_pd(__m256d __W, __mmask8 __U, __m256d __A) { + // CHECK-LABEL: @test_mm256_mask_roundscale_pd + // CHECK: @llvm.x86.avx512.mask.rndscale.pd.256 + return _mm256_mask_roundscale_pd(__W,__U,__A,4); +} +__m256d test_mm256_maskz_roundscale_pd(__mmask8 __U, __m256d __A) { + // CHECK-LABEL: @test_mm256_maskz_roundscale_pd + // CHECK: @llvm.x86.avx512.mask.rndscale.pd.256 + return _mm256_maskz_roundscale_pd(__U,__A,4); +} +__m128 test_mm_roundscale_ps(__m128 __A) { + // CHECK-LABEL: @test_mm_roundscale_ps + // CHECK: @llvm.x86.avx512.mask.rndscale.ps.128 + return _mm_roundscale_ps(__A,4); +} +__m128 test_mm_mask_roundscale_ps(__m128 __W, __mmask8 __U, __m128 __A) { + // CHECK-LABEL: @test_mm_mask_roundscale_ps + // CHECK: @llvm.x86.avx512.mask.rndscale.ps.128 + return _mm_mask_roundscale_ps(__W,__U,__A,4); +} +__m128 test_mm_maskz_roundscale_ps(__mmask8 __U, __m128 __A) { + // CHECK-LABEL: @test_mm_maskz_roundscale_ps + // CHECK: @llvm.x86.avx512.mask.rndscale.ps.128 + return _mm_maskz_roundscale_ps(__U,__A, 4); +} +__m256 test_mm256_roundscale_ps(__m256 __A) { + // CHECK-LABEL: @test_mm256_roundscale_ps + // CHECK: @llvm.x86.avx512.mask.rndscale.ps.256 + return _mm256_roundscale_ps(__A,4); +} +__m256 test_mm256_mask_roundscale_ps(__m256 __W, __mmask8 __U, __m256 __A) { + // CHECK-LABEL: @test_mm256_mask_roundscale_ps + // CHECK: @llvm.x86.avx512.mask.rndscale.ps.256 + return _mm256_mask_roundscale_ps(__W,__U,__A,4); +} +__m256 test_mm256_maskz_roundscale_ps(__mmask8 __U, __m256 __A) { + // CHECK-LABEL: @test_mm256_maskz_roundscale_ps + // CHECK: @llvm.x86.avx512.mask.rndscale.ps.256 + return _mm256_maskz_roundscale_ps(__U,__A,4); +} +__m128d test_mm_scalef_pd(__m128d __A, __m128d __B) { + // CHECK-LABEL: @test_mm_scalef_pd + // CHECK: @llvm.x86.avx512.mask.scalef.pd.128 + return _mm_scalef_pd(__A,__B); +} +__m128d test_mm_mask_scalef_pd(__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) { + // CHECK-LABEL: @test_mm_mask_scalef_pd + // CHECK: @llvm.x86.avx512.mask.scalef.pd.128 + return _mm_mask_scalef_pd(__W,__U,__A,__B); +} +__m128d test_mm_maskz_scalef_pd(__mmask8 __U, __m128d __A, __m128d __B) { + // CHECK-LABEL: @test_mm_maskz_scalef_pd + // CHECK: @llvm.x86.avx512.mask.scalef.pd.128 + return _mm_maskz_scalef_pd(__U,__A,__B); +} +__m256d test_mm256_scalef_pd(__m256d __A, __m256d __B) { + // CHECK-LABEL: @test_mm256_scalef_pd + // CHECK: @llvm.x86.avx512.mask.scalef.pd.256 + return _mm256_scalef_pd(__A,__B); +} +__m256d test_mm256_mask_scalef_pd(__m256d __W, __mmask8 __U, __m256d __A, __m256d __B) { + // CHECK-LABEL: @test_mm256_mask_scalef_pd + // CHECK: @llvm.x86.avx512.mask.scalef.pd.256 + return _mm256_mask_scalef_pd(__W,__U,__A,__B); +} +__m256d test_mm256_maskz_scalef_pd(__mmask8 __U, __m256d __A, __m256d __B) { + // CHECK-LABEL: @test_mm256_maskz_scalef_pd + // CHECK: @llvm.x86.avx512.mask.scalef.pd.256 + return _mm256_maskz_scalef_pd(__U,__A,__B); +} +__m128 test_mm_scalef_ps(__m128 __A, __m128 __B) { + // CHECK-LABEL: @test_mm_scalef_ps + // CHECK: @llvm.x86.avx512.mask.scalef.ps.128 + return _mm_scalef_ps(__A,__B); +} +__m128 test_mm_mask_scalef_ps(__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) { + // CHECK-LABEL: @test_mm_mask_scalef_ps + // CHECK: @llvm.x86.avx512.mask.scalef.ps.128 + return _mm_mask_scalef_ps(__W,__U,__A,__B); +} +__m128 test_mm_maskz_scalef_ps(__mmask8 __U, __m128 __A, __m128 __B) { + // CHECK-LABEL: @test_mm_maskz_scalef_ps + // CHECK: @llvm.x86.avx512.mask.scalef.ps.128 + return _mm_maskz_scalef_ps(__U,__A,__B); +} +__m256 test_mm256_scalef_ps(__m256 __A, __m256 __B) { + // CHECK-LABEL: @test_mm256_scalef_ps + // CHECK: @llvm.x86.avx512.mask.scalef.ps.256 + return _mm256_scalef_ps(__A,__B); +} +__m256 test_mm256_mask_scalef_ps(__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) { + // CHECK-LABEL: @test_mm256_mask_scalef_ps + // CHECK: @llvm.x86.avx512.mask.scalef.ps.256 + return _mm256_mask_scalef_ps(__W,__U,__A,__B); +} +__m256 test_mm256_maskz_scalef_ps(__mmask8 __U, __m256 __A, __m256 __B) { + // CHECK-LABEL: @test_mm256_maskz_scalef_ps + // CHECK: @llvm.x86.avx512.mask.scalef.ps.256 + return _mm256_maskz_scalef_ps(__U,__A,__B); +} +void test_mm_i64scatter_pd(double *__addr, __m128i __index, __m128d __v1) { + // CHECK-LABEL: @test_mm_i64scatter_pd + // CHECK: @llvm.x86.avx512.scatterdiv2.df + return _mm_i64scatter_pd(__addr,__index,__v1,2); +} +void test_mm_mask_i64scatter_pd(double *__addr, __mmask8 __mask, __m128i __index, __m128d __v1) { + // CHECK-LABEL: @test_mm_mask_i64scatter_pd + // CHECK: @llvm.x86.avx512.scatterdiv2.df + return _mm_mask_i64scatter_pd(__addr,__mask,__index,__v1,2); +} +void test_mm_i64scatter_epi64(long long *__addr, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_i64scatter_epi64 + // CHECK: @llvm.x86.avx512.scatterdiv2.di + return _mm_i64scatter_epi64(__addr,__index,__v1,2); +} +void test_mm_mask_i64scatter_epi64(long long *__addr, __mmask8 __mask, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_mask_i64scatter_epi64 + // CHECK: @llvm.x86.avx512.scatterdiv2.di + return _mm_mask_i64scatter_epi64(__addr,__mask,__index,__v1,2); +} +void test_mm256_i64scatter_pd(double *__addr, __m256i __index, __m256d __v1) { + // CHECK-LABEL: @test_mm256_i64scatter_pd + // CHECK: @llvm.x86.avx512.scatterdiv4.df + return _mm256_i64scatter_pd(__addr,__index,__v1,2); +} +void test_mm256_mask_i64scatter_pd(double *__addr, __mmask8 __mask, __m256i __index, __m256d __v1) { + // CHECK-LABEL: @test_mm256_mask_i64scatter_pd + // CHECK: @llvm.x86.avx512.scatterdiv4.df + return _mm256_mask_i64scatter_pd(__addr,__mask,__index,__v1,2); +} +void test_mm256_i64scatter_epi64(long long *__addr, __m256i __index, __m256i __v1) { + // CHECK-LABEL: @test_mm256_i64scatter_epi64 + // CHECK: @llvm.x86.avx512.scatterdiv4.di + return _mm256_i64scatter_epi64(__addr,__index,__v1,2); +} +void test_mm256_mask_i64scatter_epi64(long long *__addr, __mmask8 __mask, __m256i __index, __m256i __v1) { + // CHECK-LABEL: @test_mm256_mask_i64scatter_epi64 + // CHECK: @llvm.x86.avx512.scatterdiv4.di + return _mm256_mask_i64scatter_epi64(__addr,__mask,__index,__v1,2); +} +void test_mm_i64scatter_ps(float *__addr, __m128i __index, __m128 __v1) { + // CHECK-LABEL: @test_mm_i64scatter_ps + // CHECK: @llvm.x86.avx512.scatterdiv4.sf + return _mm_i64scatter_ps(__addr,__index,__v1,2); +} +void test_mm_mask_i64scatter_ps(float *__addr, __mmask8 __mask, __m128i __index, __m128 __v1) { + // CHECK-LABEL: @test_mm_mask_i64scatter_ps + // CHECK: @llvm.x86.avx512.scatterdiv4.sf + return _mm_mask_i64scatter_ps(__addr,__mask,__index,__v1,2); +} +void test_mm_i64scatter_epi32(int *__addr, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_i64scatter_epi32 + // CHECK: @llvm.x86.avx512.scatterdiv4.si + return _mm_i64scatter_epi32(__addr,__index,__v1,2); +} +void test_mm_mask_i64scatter_epi32(int *__addr, __mmask8 __mask, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_mask_i64scatter_epi32 + // CHECK: @llvm.x86.avx512.scatterdiv4.si + return _mm_mask_i64scatter_epi32(__addr,__mask,__index,__v1,2); +} +void test_mm256_i64scatter_ps(float *__addr, __m256i __index, __m128 __v1) { + // CHECK-LABEL: @test_mm256_i64scatter_ps + // CHECK: @llvm.x86.avx512.scatterdiv8.sf + return _mm256_i64scatter_ps(__addr,__index,__v1,2); +} +void test_mm256_mask_i64scatter_ps(float *__addr, __mmask8 __mask, __m256i __index, __m128 __v1) { + // CHECK-LABEL: @test_mm256_mask_i64scatter_ps + // CHECK: @llvm.x86.avx512.scatterdiv8.sf + return _mm256_mask_i64scatter_ps(__addr,__mask,__index,__v1,2); +} +void test_mm256_i64scatter_epi32(int *__addr, __m256i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm256_i64scatter_epi32 + // CHECK: @llvm.x86.avx512.scatterdiv8.si + return _mm256_i64scatter_epi32(__addr,__index,__v1,2); +} +void test_mm256_mask_i64scatter_epi32(int *__addr, __mmask8 __mask, __m256i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm256_mask_i64scatter_epi32 + // CHECK: @llvm.x86.avx512.scatterdiv8.si + return _mm256_mask_i64scatter_epi32(__addr,__mask,__index,__v1,2); +} +void test_mm_i32scatter_pd(double *__addr, __m128i __index, __m128d __v1) { + // CHECK-LABEL: @test_mm_i32scatter_pd + // CHECK: @llvm.x86.avx512.scattersiv2.df + return _mm_i32scatter_pd(__addr,__index,__v1,2); +} +void test_mm_mask_i32scatter_pd(double *__addr, __mmask8 __mask, __m128i __index, __m128d __v1) { + // CHECK-LABEL: @test_mm_mask_i32scatter_pd + // CHECK: @llvm.x86.avx512.scattersiv2.df + return _mm_mask_i32scatter_pd(__addr,__mask,__index,__v1,2); +} +void test_mm_i32scatter_epi64(long long *__addr, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_i32scatter_epi64 + // CHECK: @llvm.x86.avx512.scattersiv2.di + return _mm_i32scatter_epi64(__addr,__index,__v1,2); +} +void test_mm_mask_i32scatter_epi64(long long *__addr, __mmask8 __mask, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_mask_i32scatter_epi64 + // CHECK: @llvm.x86.avx512.scattersiv2.di + return _mm_mask_i32scatter_epi64(__addr,__mask,__index,__v1,2); +} +void test_mm256_i32scatter_pd(double *__addr, __m128i __index, __m256d __v1) { + // CHECK-LABEL: @test_mm256_i32scatter_pd + // CHECK: @llvm.x86.avx512.scattersiv4.df + return _mm256_i32scatter_pd(__addr,__index,__v1,2); +} +void test_mm256_mask_i32scatter_pd(double *__addr, __mmask8 __mask, __m128i __index, __m256d __v1) { + // CHECK-LABEL: @test_mm256_mask_i32scatter_pd + // CHECK: @llvm.x86.avx512.scattersiv4.df + return _mm256_mask_i32scatter_pd(__addr,__mask,__index,__v1,2); +} +void test_mm256_i32scatter_epi64(long long *__addr, __m128i __index, __m256i __v1) { + // CHECK-LABEL: @test_mm256_i32scatter_epi64 + // CHECK: @llvm.x86.avx512.scattersiv4.di + return _mm256_i32scatter_epi64(__addr,__index,__v1,2); +} +void test_mm256_mask_i32scatter_epi64(long long *__addr, __mmask8 __mask, __m128i __index, __m256i __v1) { + // CHECK-LABEL: @test_mm256_mask_i32scatter_epi64 + // CHECK: @llvm.x86.avx512.scattersiv4.di + return _mm256_mask_i32scatter_epi64(__addr,__mask,__index,__v1,2); +} +void test_mm_i32scatter_ps(float *__addr, __m128i __index, __m128 __v1) { + // CHECK-LABEL: @test_mm_i32scatter_ps + // CHECK: @llvm.x86.avx512.scattersiv4.sf + return _mm_i32scatter_ps(__addr,__index,__v1,2); +} +void test_mm_mask_i32scatter_ps(float *__addr, __mmask8 __mask, __m128i __index, __m128 __v1) { + // CHECK-LABEL: @test_mm_mask_i32scatter_ps + // CHECK: @llvm.x86.avx512.scattersiv4.sf + return _mm_mask_i32scatter_ps(__addr,__mask,__index,__v1,2); +} +void test_mm_i32scatter_epi32(int *__addr, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_i32scatter_epi32 + // CHECK: @llvm.x86.avx512.scattersiv4.si + return _mm_i32scatter_epi32(__addr,__index,__v1,2); +} +void test_mm_mask_i32scatter_epi32(int *__addr, __mmask8 __mask, __m128i __index, __m128i __v1) { + // CHECK-LABEL: @test_mm_mask_i32scatter_epi32 + // CHECK: @llvm.x86.avx512.scattersiv4.si + return _mm_mask_i32scatter_epi32(__addr,__mask,__index,__v1,2); +} +void test_mm256_i32scatter_ps(float *__addr, __m256i __index, __m256 __v1) { + // CHECK-LABEL: @test_mm256_i32scatter_ps + // CHECK: @llvm.x86.avx512.scattersiv8.sf + return _mm256_i32scatter_ps(__addr,__index,__v1,2); +} +void test_mm256_mask_i32scatter_ps(float *__addr, __mmask8 __mask, __m256i __index, __m256 __v1) { + // CHECK-LABEL: @test_mm256_mask_i32scatter_ps + // CHECK: @llvm.x86.avx512.scattersiv8.sf + return _mm256_mask_i32scatter_ps(__addr,__mask,__index,__v1,2); +} +void test_mm256_i32scatter_epi32(int *__addr, __m256i __index, __m256i __v1) { + // CHECK-LABEL: @test_mm256_i32scatter_epi32 + // CHECK: @llvm.x86.avx512.scattersiv8.si + return _mm256_i32scatter_epi32(__addr,__index,__v1,2); +} +void test_mm256_mask_i32scatter_epi32(int *__addr, __mmask8 __mask, __m256i __index, __m256i __v1) { + // CHECK-LABEL: @test_mm256_mask_i32scatter_epi32 + // CHECK: @llvm.x86.avx512.scattersiv8.si + return _mm256_mask_i32scatter_epi32(__addr,__mask,__index,__v1,2); +}