Coverage Report

Created: 2020-08-01 06:18

/src/botan/src/lib/hash/sha2_32/sha2_32_x86/sha2_32_x86.cpp
Line
Count
Source (jump to first uncovered line)
1
/*
2
* Support for SHA-256 x86 instrinsic
3
* Based on public domain code by Sean Gulley
4
*    (https://github.com/mitls/hacl-star/tree/master/experimental/hash)
5
*
6
* Botan is released under the Simplified BSD License (see license.txt)
7
*/
8
9
#include <botan/sha2_32.h>
10
#include <immintrin.h>
11
12
namespace Botan {
13
14
// called from sha2_32.cpp
15
#if defined(BOTAN_HAS_SHA2_32_X86)
16
BOTAN_FUNC_ISA("sha,sse4.1,ssse3")
17
void SHA_256::compress_digest_x86(secure_vector<uint32_t>& digest, const uint8_t input[], size_t blocks)
18
0
   {
19
0
   __m128i STATE0, STATE1;
20
0
   __m128i MSG, TMP, MASK;
21
0
   __m128i TMSG0, TMSG1, TMSG2, TMSG3;
22
0
   __m128i ABEF_SAVE, CDGH_SAVE;
23
0
24
0
   uint32_t* state = &digest[0];
25
0
26
0
   const __m128i* input_mm = reinterpret_cast<const __m128i*>(input);
27
0
28
0
   // Load initial values
29
0
   TMP = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[0]));
30
0
   STATE1 = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[4]));
31
0
   MASK = _mm_set_epi64x(0x0c0d0e0f08090a0bULL, 0x0405060700010203ULL);
32
0
33
0
   TMP = _mm_shuffle_epi32(TMP, 0xB1); // CDAB
34
0
   STATE1 = _mm_shuffle_epi32(STATE1, 0x1B); // EFGH
35
0
   STATE0 = _mm_alignr_epi8(TMP, STATE1, 8); // ABEF
36
0
   STATE1 = _mm_blend_epi16(STATE1, TMP, 0xF0); // CDGH
37
0
38
0
   while (blocks)
39
0
      {
40
0
      // Save current hash
41
0
      ABEF_SAVE = STATE0;
42
0
      CDGH_SAVE = STATE1;
43
0
44
0
      // Rounds 0-3
45
0
      MSG = _mm_loadu_si128(input_mm);
46
0
      TMSG0 = _mm_shuffle_epi8(MSG, MASK);
47
0
      MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0xE9B5DBA5B5C0FBCFULL, 0x71374491428A2F98ULL));
48
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
49
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
50
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
51
0
52
0
      // Rounds 4-7
53
0
      TMSG1 = _mm_loadu_si128(input_mm + 1);
54
0
      TMSG1 = _mm_shuffle_epi8(TMSG1, MASK);
55
0
      MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0xAB1C5ED5923F82A4ULL, 0x59F111F13956C25BULL));
56
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
57
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
58
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
59
0
      TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
60
0
61
0
      // Rounds 8-11
62
0
      TMSG2 = _mm_loadu_si128(input_mm + 2);
63
0
      TMSG2 = _mm_shuffle_epi8(TMSG2, MASK);
64
0
      MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x550C7DC3243185BEULL, 0x12835B01D807AA98ULL));
65
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
66
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
67
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
68
0
      TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
69
0
70
0
      // Rounds 12-15
71
0
      TMSG3 = _mm_loadu_si128(input_mm + 3);
72
0
      TMSG3 = _mm_shuffle_epi8(TMSG3, MASK);
73
0
      MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC19BF1749BDC06A7ULL, 0x80DEB1FE72BE5D74ULL));
74
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
75
0
      TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
76
0
      TMSG0 = _mm_add_epi32(TMSG0, TMP);
77
0
      TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
78
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
79
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
80
0
      TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
81
0
82
0
      // Rounds 16-19
83
0
      MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x240CA1CC0FC19DC6ULL, 0xEFBE4786E49B69C1ULL));
84
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
85
0
      TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
86
0
      TMSG1 = _mm_add_epi32(TMSG1, TMP);
87
0
      TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
88
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
89
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
90
0
      TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
91
0
92
0
      // Rounds 20-23
93
0
      MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x76F988DA5CB0A9DCULL, 0x4A7484AA2DE92C6FULL));
94
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
95
0
      TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
96
0
      TMSG2 = _mm_add_epi32(TMSG2, TMP);
97
0
      TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
98
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
99
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
100
0
      TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
101
0
102
0
      // Rounds 24-27
103
0
      MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xBF597FC7B00327C8ULL, 0xA831C66D983E5152ULL));
104
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
105
0
      TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
106
0
      TMSG3 = _mm_add_epi32(TMSG3, TMP);
107
0
      TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
108
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
109
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
110
0
      TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
111
0
112
0
      // Rounds 28-31
113
0
      MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x1429296706CA6351ULL,  0xD5A79147C6E00BF3ULL));
114
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
115
0
      TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
116
0
      TMSG0 = _mm_add_epi32(TMSG0, TMP);
117
0
      TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
118
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
119
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
120
0
      TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
121
0
122
0
      // Rounds 32-35
123
0
      MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x53380D134D2C6DFCULL, 0x2E1B213827B70A85ULL));
124
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
125
0
      TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
126
0
      TMSG1 = _mm_add_epi32(TMSG1, TMP);
127
0
      TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
128
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
129
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
130
0
      TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
131
0
132
0
      // Rounds 36-39
133
0
      MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x92722C8581C2C92EULL, 0x766A0ABB650A7354ULL));
134
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
135
0
      TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
136
0
      TMSG2 = _mm_add_epi32(TMSG2, TMP);
137
0
      TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
138
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
139
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
140
0
      TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
141
0
142
0
      // Rounds 40-43
143
0
      MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xC76C51A3C24B8B70ULL, 0xA81A664BA2BFE8A1ULL));
144
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
145
0
      TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
146
0
      TMSG3 = _mm_add_epi32(TMSG3, TMP);
147
0
      TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
148
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
149
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
150
0
      TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
151
0
152
0
      // Rounds 44-47
153
0
      MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x106AA070F40E3585ULL, 0xD6990624D192E819ULL));
154
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
155
0
      TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
156
0
      TMSG0 = _mm_add_epi32(TMSG0, TMP);
157
0
      TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
158
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
159
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
160
0
      TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
161
0
162
0
      // Rounds 48-51
163
0
      MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x34B0BCB52748774CULL, 0x1E376C0819A4C116ULL));
164
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
165
0
      TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
166
0
      TMSG1 = _mm_add_epi32(TMSG1, TMP);
167
0
      TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
168
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
169
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
170
0
      TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
171
0
172
0
      // Rounds 52-55
173
0
      MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x682E6FF35B9CCA4FULL, 0x4ED8AA4A391C0CB3ULL));
174
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
175
0
      TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
176
0
      TMSG2 = _mm_add_epi32(TMSG2, TMP);
177
0
      TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
178
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
179
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
180
0
181
0
      // Rounds 56-59
182
0
      MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x8CC7020884C87814ULL, 0x78A5636F748F82EEULL));
183
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
184
0
      TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
185
0
      TMSG3 = _mm_add_epi32(TMSG3, TMP);
186
0
      TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
187
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
188
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
189
0
190
0
      // Rounds 60-63
191
0
      MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC67178F2BEF9A3F7ULL, 0xA4506CEB90BEFFFAULL));
192
0
      STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
193
0
      MSG = _mm_shuffle_epi32(MSG, 0x0E);
194
0
      STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
195
0
196
0
      // Add values back to state
197
0
      STATE0 = _mm_add_epi32(STATE0, ABEF_SAVE);
198
0
      STATE1 = _mm_add_epi32(STATE1, CDGH_SAVE);
199
0
200
0
      input_mm += 4;
201
0
      blocks--;
202
0
      }
203
0
204
0
   TMP = _mm_shuffle_epi32(STATE0, 0x1B); // FEBA
205
0
   STATE1 = _mm_shuffle_epi32(STATE1, 0xB1); // DCHG
206
0
   STATE0 = _mm_blend_epi16(TMP, STATE1, 0xF0); // DCBA
207
0
   STATE1 = _mm_alignr_epi8(STATE1, TMP, 8); // ABEF
208
0
209
0
   // Save state
210
0
   _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[0]), STATE0);
211
0
   _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[4]), STATE1);
212
0
   }
213
#endif
214
215
}