forked from OSchip/llvm-project
[X86][AVX512BW] add convert i16 to i8 and unpack intrinsics
Differential Revision: http://reviews.llvm.org/D11564 llvm-svn: 243514
This commit is contained in:
parent
6e4f19d440
commit
1998eb2077
|
@ -1410,5 +1410,12 @@ BUILTIN(__builtin_ia32_vpermt2varq128_mask, "V2LLiV2LLiV2LLiV2LLiUc", "")
|
|||
BUILTIN(__builtin_ia32_vpermt2varq128_maskz, "V2LLiV2LLiV2LLiV2LLiUc", "")
|
||||
BUILTIN(__builtin_ia32_vpermt2varq256_mask, "V4LLiV4LLiV4LLiV4LLiUc", "")
|
||||
BUILTIN(__builtin_ia32_vpermt2varq256_maskz, "V4LLiV4LLiV4LLiV4LLiUc", "")
|
||||
BUILTIN(__builtin_ia32_pmovswb512_mask, "V32cV32sV32cUi", "")
|
||||
BUILTIN(__builtin_ia32_pmovuswb512_mask, "V32cV32sV32cUi", "")
|
||||
BUILTIN(__builtin_ia32_pmovwb512_mask, "V32cV32sV32cUi", "")
|
||||
BUILTIN(__builtin_ia32_punpckhbw512_mask, "V64cV64cV64cV64cULLi", "")
|
||||
BUILTIN(__builtin_ia32_punpckhwd512_mask, "V32sV32sV32sV32sUi", "")
|
||||
BUILTIN(__builtin_ia32_punpcklbw512_mask, "V64cV64cV64cV64cULLi", "")
|
||||
BUILTIN(__builtin_ia32_punpcklwd512_mask, "V32sV32sV32sV32sUi", "")
|
||||
|
||||
#undef BUILTIN
|
||||
|
|
|
@ -1348,6 +1348,169 @@ _mm512_maskz_madd_epi16 (__mmask16 __U, __m512i __A, __m512i __B) {
|
|||
(__mmask16) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_cvtsepi16_epi8 (__m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
|
||||
(__v32qi)_mm256_setzero_si256(),
|
||||
(__mmask32) -1);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_mask_cvtsepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
|
||||
(__v32qi)__O,
|
||||
__M);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_maskz_cvtsepi16_epi8 (__mmask32 __M, __m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
|
||||
(__v32qi) _mm256_setzero_si256(),
|
||||
__M);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_cvtusepi16_epi8 (__m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
|
||||
(__v32qi) _mm256_setzero_si256(),
|
||||
(__mmask32) -1);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_mask_cvtusepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
|
||||
(__v32qi) __O,
|
||||
__M);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_maskz_cvtusepi16_epi8 (__mmask32 __M, __m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
|
||||
(__v32qi) _mm256_setzero_si256(),
|
||||
__M);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_cvtepi16_epi8 (__m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
|
||||
(__v32qi) _mm256_setzero_si256(),
|
||||
(__mmask32) -1);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_mask_cvtepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
|
||||
(__v32qi) __O,
|
||||
__M);
|
||||
}
|
||||
|
||||
static __inline__ __m256i __DEFAULT_FN_ATTRS
|
||||
_mm512_maskz_cvtepi16_epi8 (__mmask32 __M, __m512i __A) {
|
||||
return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
|
||||
(__v32qi) _mm256_setzero_si256(),
|
||||
__M);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_unpackhi_epi8 (__m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpckhbw512_mask ((__v64qi) __A,
|
||||
(__v64qi) __B,
|
||||
(__v64qi) _mm512_setzero_qi(),
|
||||
(__mmask64) -1);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_mask_unpackhi_epi8 (__m512i __W, __mmask64 __U, __m512i __A,
|
||||
__m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpckhbw512_mask ((__v64qi) __A,
|
||||
(__v64qi) __B,
|
||||
(__v64qi) __W,
|
||||
(__mmask64) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_maskz_unpackhi_epi8 (__mmask64 __U, __m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpckhbw512_mask ((__v64qi) __A,
|
||||
(__v64qi) __B,
|
||||
(__v64qi) _mm512_setzero_qi(),
|
||||
(__mmask64) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_unpackhi_epi16 (__m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpckhwd512_mask ((__v32hi) __A,
|
||||
(__v32hi) __B,
|
||||
(__v32hi) _mm512_setzero_hi(),
|
||||
(__mmask32) -1);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_mask_unpackhi_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
|
||||
__m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpckhwd512_mask ((__v32hi) __A,
|
||||
(__v32hi) __B,
|
||||
(__v32hi) __W,
|
||||
(__mmask32) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_maskz_unpackhi_epi16 (__mmask32 __U, __m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpckhwd512_mask ((__v32hi) __A,
|
||||
(__v32hi) __B,
|
||||
(__v32hi) _mm512_setzero_hi(),
|
||||
(__mmask32) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_unpacklo_epi8 (__m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpcklbw512_mask ((__v64qi) __A,
|
||||
(__v64qi) __B,
|
||||
(__v64qi) _mm512_setzero_qi(),
|
||||
(__mmask64) -1);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_mask_unpacklo_epi8 (__m512i __W, __mmask64 __U, __m512i __A,
|
||||
__m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpcklbw512_mask ((__v64qi) __A,
|
||||
(__v64qi) __B,
|
||||
(__v64qi) __W,
|
||||
(__mmask64) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_maskz_unpacklo_epi8 (__mmask64 __U, __m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpcklbw512_mask ((__v64qi) __A,
|
||||
(__v64qi) __B,
|
||||
(__v64qi) _mm512_setzero_qi(),
|
||||
(__mmask64) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_unpacklo_epi16 (__m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpcklwd512_mask ((__v32hi) __A,
|
||||
(__v32hi) __B,
|
||||
(__v32hi) _mm512_setzero_hi(),
|
||||
(__mmask32) -1);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_mask_unpacklo_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
|
||||
__m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpcklwd512_mask ((__v32hi) __A,
|
||||
(__v32hi) __B,
|
||||
(__v32hi) __W,
|
||||
(__mmask32) __U);
|
||||
}
|
||||
|
||||
static __inline__ __m512i __DEFAULT_FN_ATTRS
|
||||
_mm512_maskz_unpacklo_epi16 (__mmask32 __U, __m512i __A, __m512i __B) {
|
||||
return (__m512i) __builtin_ia32_punpcklwd512_mask ((__v32hi) __A,
|
||||
(__v32hi) __B,
|
||||
(__v32hi) _mm512_setzero_hi(),
|
||||
(__mmask32) __U);
|
||||
}
|
||||
|
||||
#define _mm512_cmp_epi8_mask(a, b, p) __extension__ ({ \
|
||||
(__mmask16)__builtin_ia32_cmpb512_mask((__v64qi)(__m512i)(a), \
|
||||
(__v64qi)(__m512i)(b), \
|
||||
|
|
|
@ -910,3 +910,130 @@ __m512i test_mm512_maskz_madd_epi16(__mmask16 __U, __m512i __A, __m512i __B) {
|
|||
// CHECK: @llvm.x86.avx512.mask.pmaddw.d.512
|
||||
return _mm512_maskz_madd_epi16(__U,__A,__B);
|
||||
}
|
||||
|
||||
__m256i test_mm512_cvtsepi16_epi8(__m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_cvtsepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmovs.wb.512
|
||||
return _mm512_cvtsepi16_epi8(__A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_mask_cvtsepi16_epi8(__m256i __O, __mmask32 __M, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_mask_cvtsepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmovs.wb.512
|
||||
return _mm512_mask_cvtsepi16_epi8(__O, __M, __A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_maskz_cvtsepi16_epi8(__mmask32 __M, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_cvtsepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmovs.wb.512
|
||||
return _mm512_maskz_cvtsepi16_epi8(__M, __A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_cvtusepi16_epi8(__m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_cvtusepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmovus.wb.512
|
||||
return _mm512_cvtusepi16_epi8(__A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_mask_cvtusepi16_epi8(__m256i __O, __mmask32 __M, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_mask_cvtusepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmovus.wb.512
|
||||
return _mm512_mask_cvtusepi16_epi8(__O, __M, __A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_maskz_cvtusepi16_epi8(__mmask32 __M, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_cvtusepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmovus.wb.512
|
||||
return _mm512_maskz_cvtusepi16_epi8(__M, __A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_cvtepi16_epi8(__m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_cvtepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmov.wb.512
|
||||
return _mm512_cvtepi16_epi8(__A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_mask_cvtepi16_epi8(__m256i __O, __mmask32 __M, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_mask_cvtepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmov.wb.512
|
||||
return _mm512_mask_cvtepi16_epi8(__O, __M, __A);
|
||||
}
|
||||
|
||||
__m256i test_mm512_maskz_cvtepi16_epi8(__mmask32 __M, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_cvtepi16_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.pmov.wb.512
|
||||
return _mm512_maskz_cvtepi16_epi8(__M, __A);
|
||||
}
|
||||
|
||||
__m512i test_mm512_unpackhi_epi8(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_unpackhi_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.punpckhb.w.512
|
||||
return _mm512_unpackhi_epi8(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_unpackhi_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_unpackhi_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.punpckhb.w.512
|
||||
return _mm512_mask_unpackhi_epi8(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_unpackhi_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_unpackhi_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.punpckhb.w.512
|
||||
return _mm512_maskz_unpackhi_epi8(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_unpackhi_epi16(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_unpackhi_epi16
|
||||
// CHECK: @llvm.x86.avx512.mask.punpckhw.d.512
|
||||
return _mm512_unpackhi_epi16(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_unpackhi_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_unpackhi_epi16
|
||||
// CHECK: @llvm.x86.avx512.mask.punpckhw.d.512
|
||||
return _mm512_mask_unpackhi_epi16(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_unpackhi_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_unpackhi_epi16
|
||||
// CHECK: @llvm.x86.avx512.mask.punpckhw.d.512
|
||||
return _mm512_maskz_unpackhi_epi16(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_unpacklo_epi8(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_unpacklo_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.punpcklb.w.512
|
||||
return _mm512_unpacklo_epi8(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_unpacklo_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_unpacklo_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.punpcklb.w.512
|
||||
return _mm512_mask_unpacklo_epi8(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_unpacklo_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_unpacklo_epi8
|
||||
// CHECK: @llvm.x86.avx512.mask.punpcklb.w.512
|
||||
return _mm512_maskz_unpacklo_epi8(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_unpacklo_epi16(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_unpacklo_epi16
|
||||
// CHECK: @llvm.x86.avx512.mask.punpcklw.d.512
|
||||
return _mm512_unpacklo_epi16(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_unpacklo_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_unpacklo_epi16
|
||||
// CHECK: @llvm.x86.avx512.mask.punpcklw.d.512
|
||||
return _mm512_mask_unpacklo_epi16(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_unpacklo_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_unpacklo_epi16
|
||||
// CHECK: @llvm.x86.avx512.mask.punpcklw.d.512
|
||||
return _mm512_maskz_unpacklo_epi16(__U, __A, __B);
|
||||
}
|
||||
|
||||
|
|
Loading…
Reference in New Issue