Line data Source code
1 : // Copyright 2019 The LevelDB-Go and Pebble Authors. All rights reserved. Use
2 : // of this source code is governed by a BSD-style license that can be found in
3 : // the LICENSE file.
4 :
5 : package metamorphic
6 :
7 : import (
8 : "fmt"
9 : "go/scanner"
10 : "go/token"
11 : "reflect"
12 : "strconv"
13 : "strings"
14 :
15 : "github.com/cockroachdb/errors"
16 : "github.com/cockroachdb/pebble"
17 : )
18 :
19 : type methodInfo struct {
20 : constructor func() op
21 : validTags uint32
22 : }
23 :
24 1 : func makeMethod(i interface{}, tags ...objTag) *methodInfo {
25 1 : var validTags uint32
26 1 : for _, tag := range tags {
27 1 : validTags |= 1 << tag
28 1 : }
29 :
30 1 : t := reflect.TypeOf(i)
31 1 : return &methodInfo{
32 1 : constructor: func() op {
33 1 : return reflect.New(t).Interface().(op)
34 1 : },
35 : validTags: validTags,
36 : }
37 : }
38 :
39 : // args returns the receiverID, targetID and arguments for the op. The
40 : // receiverID is the ID of the object the op will be applied to. The targetID
41 : // is the ID of the object for assignment. If the method does not return a new
42 : // object, then targetID will be nil. The argument list is just what it sounds
43 : // like: the list of arguments for the operation.
44 1 : func opArgs(op op) (receiverID *objID, targetID *objID, args []interface{}) {
45 1 : switch t := op.(type) {
46 1 : case *applyOp:
47 1 : return &t.writerID, nil, []interface{}{&t.batchID}
48 1 : case *checkpointOp:
49 1 : return nil, nil, []interface{}{&t.spans}
50 1 : case *closeOp:
51 1 : return &t.objID, nil, nil
52 1 : case *compactOp:
53 1 : return nil, nil, []interface{}{&t.start, &t.end, &t.parallelize}
54 1 : case *batchCommitOp:
55 1 : return &t.batchID, nil, nil
56 1 : case *dbRatchetFormatMajorVersionOp:
57 1 : return nil, nil, []interface{}{&t.vers}
58 1 : case *dbRestartOp:
59 1 : return nil, nil, nil
60 1 : case *deleteOp:
61 1 : return &t.writerID, nil, []interface{}{&t.key}
62 1 : case *deleteRangeOp:
63 1 : return &t.writerID, nil, []interface{}{&t.start, &t.end}
64 1 : case *iterFirstOp:
65 1 : return &t.iterID, nil, nil
66 1 : case *flushOp:
67 1 : return nil, nil, nil
68 1 : case *getOp:
69 1 : return &t.readerID, nil, []interface{}{&t.key}
70 1 : case *ingestOp:
71 1 : return nil, nil, []interface{}{&t.batchIDs}
72 1 : case *initOp:
73 1 : return nil, nil, []interface{}{&t.batchSlots, &t.iterSlots, &t.snapshotSlots}
74 1 : case *iterLastOp:
75 1 : return &t.iterID, nil, nil
76 1 : case *mergeOp:
77 1 : return &t.writerID, nil, []interface{}{&t.key, &t.value}
78 1 : case *newBatchOp:
79 1 : return nil, &t.batchID, nil
80 1 : case *newIndexedBatchOp:
81 1 : return nil, &t.batchID, nil
82 1 : case *newIterOp:
83 1 : return &t.readerID, &t.iterID, []interface{}{&t.lower, &t.upper, &t.keyTypes, &t.filterMin, &t.filterMax, &t.useL6Filters, &t.maskSuffix}
84 1 : case *newIterUsingCloneOp:
85 1 : return &t.existingIterID, &t.iterID, []interface{}{&t.refreshBatch, &t.lower, &t.upper, &t.keyTypes, &t.filterMin, &t.filterMax, &t.useL6Filters, &t.maskSuffix}
86 1 : case *newSnapshotOp:
87 1 : return nil, &t.snapID, []interface{}{&t.bounds}
88 1 : case *iterNextOp:
89 1 : return &t.iterID, nil, []interface{}{&t.limit}
90 1 : case *iterNextPrefixOp:
91 1 : return &t.iterID, nil, nil
92 1 : case *iterPrevOp:
93 1 : return &t.iterID, nil, []interface{}{&t.limit}
94 1 : case *iterSeekLTOp:
95 1 : return &t.iterID, nil, []interface{}{&t.key, &t.limit}
96 1 : case *iterSeekGEOp:
97 1 : return &t.iterID, nil, []interface{}{&t.key, &t.limit}
98 1 : case *iterSeekPrefixGEOp:
99 1 : return &t.iterID, nil, []interface{}{&t.key}
100 1 : case *setOp:
101 1 : return &t.writerID, nil, []interface{}{&t.key, &t.value}
102 1 : case *iterSetBoundsOp:
103 1 : return &t.iterID, nil, []interface{}{&t.lower, &t.upper}
104 1 : case *iterSetOptionsOp:
105 1 : return &t.iterID, nil, []interface{}{&t.lower, &t.upper, &t.keyTypes, &t.filterMin, &t.filterMax, &t.useL6Filters, &t.maskSuffix}
106 1 : case *singleDeleteOp:
107 1 : return &t.writerID, nil, []interface{}{&t.key, &t.maybeReplaceDelete}
108 1 : case *rangeKeyDeleteOp:
109 1 : return &t.writerID, nil, []interface{}{&t.start, &t.end}
110 1 : case *rangeKeySetOp:
111 1 : return &t.writerID, nil, []interface{}{&t.start, &t.end, &t.suffix, &t.value}
112 1 : case *rangeKeyUnsetOp:
113 1 : return &t.writerID, nil, []interface{}{&t.start, &t.end, &t.suffix}
114 : }
115 0 : panic(fmt.Sprintf("unsupported op type: %T", op))
116 : }
117 :
118 : var methods = map[string]*methodInfo{
119 : "Apply": makeMethod(applyOp{}, dbTag, batchTag),
120 : "Checkpoint": makeMethod(checkpointOp{}, dbTag),
121 : "Clone": makeMethod(newIterUsingCloneOp{}, iterTag),
122 : "Close": makeMethod(closeOp{}, dbTag, batchTag, iterTag, snapTag),
123 : "Commit": makeMethod(batchCommitOp{}, batchTag),
124 : "Compact": makeMethod(compactOp{}, dbTag),
125 : "Delete": makeMethod(deleteOp{}, dbTag, batchTag),
126 : "DeleteRange": makeMethod(deleteRangeOp{}, dbTag, batchTag),
127 : "First": makeMethod(iterFirstOp{}, iterTag),
128 : "Flush": makeMethod(flushOp{}, dbTag),
129 : "Get": makeMethod(getOp{}, dbTag, batchTag, snapTag),
130 : "Ingest": makeMethod(ingestOp{}, dbTag),
131 : "Init": makeMethod(initOp{}, dbTag),
132 : "Last": makeMethod(iterLastOp{}, iterTag),
133 : "Merge": makeMethod(mergeOp{}, dbTag, batchTag),
134 : "NewBatch": makeMethod(newBatchOp{}, dbTag),
135 : "NewIndexedBatch": makeMethod(newIndexedBatchOp{}, dbTag),
136 : "NewIter": makeMethod(newIterOp{}, dbTag, batchTag, snapTag),
137 : "NewSnapshot": makeMethod(newSnapshotOp{}, dbTag),
138 : "Next": makeMethod(iterNextOp{}, iterTag),
139 : "NextPrefix": makeMethod(iterNextPrefixOp{}, iterTag),
140 : "Prev": makeMethod(iterPrevOp{}, iterTag),
141 : "RangeKeyDelete": makeMethod(rangeKeyDeleteOp{}, dbTag, batchTag),
142 : "RangeKeySet": makeMethod(rangeKeySetOp{}, dbTag, batchTag),
143 : "RangeKeyUnset": makeMethod(rangeKeyUnsetOp{}, dbTag, batchTag),
144 : "RatchetFormatMajorVersion": makeMethod(dbRatchetFormatMajorVersionOp{}, dbTag),
145 : "Restart": makeMethod(dbRestartOp{}, dbTag),
146 : "SeekGE": makeMethod(iterSeekGEOp{}, iterTag),
147 : "SeekLT": makeMethod(iterSeekLTOp{}, iterTag),
148 : "SeekPrefixGE": makeMethod(iterSeekPrefixGEOp{}, iterTag),
149 : "Set": makeMethod(setOp{}, dbTag, batchTag),
150 : "SetBounds": makeMethod(iterSetBoundsOp{}, iterTag),
151 : "SetOptions": makeMethod(iterSetOptionsOp{}, iterTag),
152 : "SingleDelete": makeMethod(singleDeleteOp{}, dbTag, batchTag),
153 : }
154 :
155 : type parser struct {
156 : fset *token.FileSet
157 : s scanner.Scanner
158 : objs map[objID]bool
159 : }
160 :
161 1 : func parse(src []byte) (_ []op, err error) {
162 1 : // Various bits of magic incantation to set up a scanner for Go compatible
163 1 : // syntax. We arranged for the textual format of ops (e.g. op.String()) to
164 1 : // look like Go which allows us to use the Go scanner for parsing.
165 1 : p := &parser{
166 1 : fset: token.NewFileSet(),
167 1 : objs: map[objID]bool{makeObjID(dbTag, 0): true},
168 1 : }
169 1 : file := p.fset.AddFile("", -1, len(src))
170 1 : p.s.Init(file, src, nil /* no error handler */, 0)
171 1 : return p.parse()
172 1 : }
173 :
174 1 : func (p *parser) parse() (_ []op, err error) {
175 1 : defer func() {
176 1 : if r := recover(); r != nil {
177 0 : var ok bool
178 0 : if err, ok = r.(error); ok {
179 0 : return
180 0 : }
181 0 : err = errors.Errorf("%v", r)
182 : }
183 : }()
184 :
185 1 : var ops []op
186 1 : for {
187 1 : op := p.parseOp()
188 1 : if op == nil {
189 1 : computeDerivedFields(ops)
190 1 : return ops, nil
191 1 : }
192 1 : ops = append(ops, op)
193 : }
194 : }
195 :
196 1 : func (p *parser) parseOp() op {
197 1 : destPos, destTok, destLit := p.s.Scan()
198 1 : if destTok == token.EOF {
199 1 : return nil
200 1 : }
201 1 : if destTok != token.IDENT {
202 0 : panic(p.errorf(destPos, "unexpected token: %s %q", destTok, destLit))
203 : }
204 1 : if destLit == "Init" {
205 1 : // <op>(<args>)
206 1 : return p.makeOp(destLit, makeObjID(dbTag, 0), 0, destPos)
207 1 : }
208 :
209 1 : destID := p.parseObjID(destPos, destLit)
210 1 :
211 1 : pos, tok, lit := p.s.Scan()
212 1 : switch tok {
213 1 : case token.PERIOD:
214 1 : // <obj>.<op>(<args>)
215 1 : if !p.objs[destID] {
216 0 : panic(p.errorf(destPos, "unknown object: %s", destID))
217 : }
218 1 : _, methodLit := p.scanToken(token.IDENT)
219 1 : return p.makeOp(methodLit, destID, 0, destPos)
220 :
221 1 : case token.ASSIGN:
222 1 : // <obj> = <obj>.<op>(<args>)
223 1 : srcPos, srcLit := p.scanToken(token.IDENT)
224 1 : srcID := p.parseObjID(srcPos, srcLit)
225 1 : if !p.objs[srcID] {
226 0 : panic(p.errorf(srcPos, "unknown object %q", srcLit))
227 : }
228 1 : p.scanToken(token.PERIOD)
229 1 : _, methodLit := p.scanToken(token.IDENT)
230 1 : p.objs[destID] = true
231 1 : return p.makeOp(methodLit, srcID, destID, srcPos)
232 : }
233 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
234 : }
235 :
236 1 : func (p *parser) parseObjID(pos token.Pos, str string) objID {
237 1 : var tag objTag
238 1 : switch {
239 1 : case str == "db":
240 1 : return makeObjID(dbTag, 0)
241 1 : case strings.HasPrefix(str, "batch"):
242 1 : tag, str = batchTag, str[5:]
243 1 : case strings.HasPrefix(str, "iter"):
244 1 : tag, str = iterTag, str[4:]
245 1 : case strings.HasPrefix(str, "snap"):
246 1 : tag, str = snapTag, str[4:]
247 0 : default:
248 0 : panic(p.errorf(pos, "unable to parse objectID: %q", str))
249 : }
250 1 : id, err := strconv.ParseInt(str, 10, 32)
251 1 : if err != nil {
252 0 : panic(p.errorf(pos, "%s", err))
253 : }
254 1 : return makeObjID(tag, uint32(id))
255 : }
256 :
257 1 : func unquoteBytes(lit string) []byte {
258 1 : s, err := strconv.Unquote(lit)
259 1 : if err != nil {
260 0 : panic(err)
261 : }
262 1 : if len(s) == 0 {
263 1 : return nil
264 1 : }
265 1 : return []byte(s)
266 : }
267 :
268 1 : func (p *parser) parseArgs(op op, methodName string, args []interface{}) {
269 1 : pos, _ := p.scanToken(token.LPAREN)
270 1 : for i := range args {
271 1 : if i > 0 {
272 1 : pos, _ = p.scanToken(token.COMMA)
273 1 : }
274 :
275 1 : switch t := args[i].(type) {
276 1 : case *uint32:
277 1 : _, lit := p.scanToken(token.INT)
278 1 : val, err := strconv.ParseUint(lit, 10, 32)
279 1 : if err != nil {
280 0 : panic(err)
281 : }
282 1 : *t = uint32(val)
283 :
284 1 : case *uint64:
285 1 : _, lit := p.scanToken(token.INT)
286 1 : val, err := strconv.ParseUint(lit, 10, 64)
287 1 : if err != nil {
288 0 : panic(err)
289 : }
290 1 : *t = uint64(val)
291 :
292 1 : case *[]byte:
293 1 : _, lit := p.scanToken(token.STRING)
294 1 : *t = unquoteBytes(lit)
295 :
296 1 : case *bool:
297 1 : _, lit := p.scanToken(token.IDENT)
298 1 : b, err := strconv.ParseBool(lit)
299 1 : if err != nil {
300 0 : panic(err)
301 : }
302 1 : *t = b
303 :
304 1 : case *objID:
305 1 : pos, lit := p.scanToken(token.IDENT)
306 1 : *t = p.parseObjID(pos, lit)
307 :
308 1 : case *[]pebble.KeyRange:
309 1 : var pending pebble.KeyRange
310 1 : for {
311 1 : pos, tok, lit := p.s.Scan()
312 1 : switch tok {
313 1 : case token.STRING:
314 1 : x := unquoteBytes(lit)
315 1 : if pending.Start == nil {
316 1 : pending.Start = x
317 1 : } else {
318 1 : pending.End = x
319 1 : *t = append(*t, pending)
320 1 : pending = pebble.KeyRange{}
321 1 : }
322 1 : pos, tok, lit := p.s.Scan()
323 1 : switch tok {
324 1 : case token.COMMA:
325 1 : continue
326 1 : case token.RPAREN:
327 1 : p.scanToken(token.SEMICOLON)
328 1 : return
329 0 : default:
330 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
331 : }
332 1 : case token.RPAREN:
333 1 : p.scanToken(token.SEMICOLON)
334 1 : return
335 0 : default:
336 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
337 : }
338 : }
339 :
340 1 : case *[]objID:
341 1 : for {
342 1 : pos, tok, lit := p.s.Scan()
343 1 : switch tok {
344 1 : case token.IDENT:
345 1 : *t = append(*t, p.parseObjID(pos, lit))
346 1 : pos, tok, lit := p.s.Scan()
347 1 : switch tok {
348 1 : case token.COMMA:
349 1 : continue
350 1 : case token.RPAREN:
351 1 : p.scanToken(token.SEMICOLON)
352 1 : return
353 0 : default:
354 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
355 : }
356 0 : case token.RPAREN:
357 0 : p.scanToken(token.SEMICOLON)
358 0 : return
359 0 : default:
360 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
361 : }
362 : }
363 :
364 1 : case *[]pebble.CheckpointSpan:
365 1 : pos, tok, lit := p.s.Scan()
366 1 : switch tok {
367 1 : case token.RPAREN:
368 1 : // No spans.
369 1 : *t = nil
370 1 : p.scanToken(token.SEMICOLON)
371 1 : return
372 :
373 1 : case token.STRING:
374 1 : var keys [][]byte
375 1 : for {
376 1 : s, err := strconv.Unquote(lit)
377 1 : if err != nil {
378 0 : panic(p.errorf(pos, "unquoting %q: %v", lit, err))
379 : }
380 1 : keys = append(keys, []byte(s))
381 1 :
382 1 : pos, tok, lit = p.s.Scan()
383 1 : switch tok {
384 1 : case token.COMMA:
385 1 : pos, tok, lit = p.s.Scan()
386 1 : if tok != token.STRING {
387 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
388 : }
389 1 : continue
390 :
391 1 : case token.RPAREN:
392 1 : p.scanToken(token.SEMICOLON)
393 1 : if len(keys)%2 == 1 {
394 0 : panic(p.errorf(pos, "expected even number of keys"))
395 : }
396 1 : *t = make([]pebble.CheckpointSpan, len(keys)/2)
397 1 : for i := range *t {
398 1 : (*t)[i] = pebble.CheckpointSpan{
399 1 : Start: keys[i*2],
400 1 : End: keys[i*2+1],
401 1 : }
402 1 : }
403 1 : return
404 :
405 0 : default:
406 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
407 : }
408 : }
409 :
410 0 : default:
411 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
412 : }
413 :
414 1 : case *pebble.FormatMajorVersion:
415 1 : _, lit := p.scanToken(token.INT)
416 1 : val, err := strconv.ParseUint(lit, 10, 64)
417 1 : if err != nil {
418 0 : panic(err)
419 : }
420 1 : *t = pebble.FormatMajorVersion(val)
421 :
422 0 : default:
423 0 : panic(p.errorf(pos, "%s: unsupported arg[%d] type: %T", methodName, i, args[i]))
424 : }
425 : }
426 1 : p.scanToken(token.RPAREN)
427 1 : p.scanToken(token.SEMICOLON)
428 : }
429 :
430 1 : func (p *parser) scanToken(expected token.Token) (pos token.Pos, lit string) {
431 1 : pos, tok, lit := p.s.Scan()
432 1 : if tok != expected {
433 0 : panic(p.errorf(pos, "unexpected token: %q", p.tokenf(tok, lit)))
434 : }
435 1 : return pos, lit
436 : }
437 :
438 1 : func (p *parser) makeOp(methodName string, receiverID, targetID objID, pos token.Pos) op {
439 1 : info := methods[methodName]
440 1 : if info == nil {
441 0 : panic(p.errorf(pos, "unknown op %s.%s", receiverID, methodName))
442 : }
443 1 : if info.validTags&(1<<receiverID.tag()) == 0 {
444 0 : panic(p.errorf(pos, "%s.%s: %s is not a method on %s",
445 0 : receiverID, methodName, methodName, receiverID))
446 : }
447 :
448 1 : op := info.constructor()
449 1 : receiver, target, args := opArgs(op)
450 1 :
451 1 : // The form of an operation is:
452 1 : // [target =] receiver.method(args)
453 1 : //
454 1 : // The receiver is the object the operation will be called on, which can be
455 1 : // any valid ID. Certain operations such as Ingest are only valid on the DB
456 1 : // object. That is indicated by opArgs returning a nil receiver.
457 1 : if receiver != nil {
458 1 : *receiver = receiverID
459 1 : } else if receiverID.tag() != dbTag {
460 0 : panic(p.errorf(pos, "unknown op %s.%s", receiverID, methodName))
461 : }
462 :
463 : // The target is the object that will be assigned the result of an object
464 : // creation operation such as newBatchOp or newIterOp.
465 1 : if target != nil {
466 1 : // It is invalid to not have a targetID for a method which generates a new
467 1 : // object.
468 1 : if targetID == 0 {
469 0 : panic(p.errorf(pos, "assignment expected for %s.%s", receiverID, methodName))
470 : }
471 : // It is invalid to try to assign to the DB object.
472 1 : if targetID.tag() == dbTag {
473 0 : panic(p.errorf(pos, "cannot use %s as target of assignment", targetID))
474 : }
475 1 : *target = targetID
476 1 : } else if targetID != 0 {
477 0 : panic(p.errorf(pos, "cannot use %s.%s in assignment", receiverID, methodName))
478 : }
479 :
480 1 : p.parseArgs(op, methodName, args)
481 1 : return op
482 : }
483 :
484 0 : func (p *parser) tokenf(tok token.Token, lit string) string {
485 0 : if tok.IsLiteral() {
486 0 : return lit
487 0 : }
488 0 : return tok.String()
489 : }
490 :
491 0 : func (p *parser) errorf(pos token.Pos, format string, args ...interface{}) error {
492 0 : return errors.New(p.fset.Position(pos).String() + ": " + fmt.Sprintf(format, args...))
493 0 : }
494 :
495 : // computeDerivedFields makes one pass through the provided operations, filling
496 : // any derived fields. This pass must happen before execution because concurrent
497 : // execution depends on these fields.
498 1 : func computeDerivedFields(ops []op) {
499 1 : iterToReader := make(map[objID]objID)
500 1 : for i := range ops {
501 1 : switch v := ops[i].(type) {
502 1 : case *newIterOp:
503 1 : iterToReader[v.iterID] = v.readerID
504 1 : case *newIterUsingCloneOp:
505 1 : v.derivedReaderID = iterToReader[v.existingIterID]
506 1 : iterToReader[v.iterID] = v.derivedReaderID
507 1 : case *iterSetOptionsOp:
508 1 : v.derivedReaderID = iterToReader[v.iterID]
509 1 : case *iterFirstOp:
510 1 : v.derivedReaderID = iterToReader[v.iterID]
511 1 : case *iterLastOp:
512 1 : v.derivedReaderID = iterToReader[v.iterID]
513 1 : case *iterSeekGEOp:
514 1 : v.derivedReaderID = iterToReader[v.iterID]
515 1 : case *iterSeekPrefixGEOp:
516 1 : v.derivedReaderID = iterToReader[v.iterID]
517 1 : case *iterSeekLTOp:
518 1 : v.derivedReaderID = iterToReader[v.iterID]
519 1 : case *iterNextOp:
520 1 : v.derivedReaderID = iterToReader[v.iterID]
521 1 : case *iterNextPrefixOp:
522 1 : v.derivedReaderID = iterToReader[v.iterID]
523 1 : case *iterPrevOp:
524 1 : v.derivedReaderID = iterToReader[v.iterID]
525 : }
526 : }
527 : }
|
