357 lines
11 KiB
LLVM
357 lines
11 KiB
LLVM
|
; RUN: opt -lower-expect -S -o - < %s | FileCheck %s
|
||
|
|
; RUN: opt -S -passes='function(lower-expect)' < %s | FileCheck %s
|
||
|
|
|
||
|
|
; The C case
|
||
|
|
; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 1))
|
||
|
|
; For the above case, all 3 branches should be annotated.
|
||
|
|
;
|
||
|
|
; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 0))
|
||
|
|
; For the above case, we don't have enough information, so
|
||
|
|
; only the last branch is annotated.
|
||
|
|
|
||
|
|
define void @foo(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: !prof [[WEIGHT:![0-9]+]]
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i32 @too()
|
||
|
|
%tmp17 = icmp sgt i32 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ]
|
||
|
|
%tmp20 = xor i1 %tmp19, true
|
||
|
|
%tmp21 = xor i1 %tmp20, true
|
||
|
|
%tmp22 = zext i1 %tmp21 to i32
|
||
|
|
%tmp23 = sext i32 %tmp22 to i64
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 1)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
define void @foo2(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo2
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: br i1 %tmp9
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i32 @too()
|
||
|
|
%tmp17 = icmp sgt i32 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ]
|
||
|
|
%tmp20 = xor i1 %tmp19, true
|
||
|
|
%tmp21 = xor i1 %tmp20, true
|
||
|
|
%tmp22 = zext i1 %tmp21 to i32
|
||
|
|
%tmp23 = sext i32 %tmp22 to i64
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 0)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT2:![0-9]+]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
define void @foo_i32(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo_i32
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: !prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i32 @too()
|
||
|
|
%tmp17 = icmp sgt i32 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i32 [ 5, %bb10 ], [ 5, %bb ], [ %tmp16, %bb14 ]
|
||
|
|
%tmp23 = sext i32 %tmp19 to i64
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
|
||
|
|
define void @foo_i32_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo_i32_not_unlikely
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: br i1 %tmp9
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i32 @too()
|
||
|
|
%tmp17 = icmp sgt i32 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i32 [ 4, %bb10 ], [ 4, %bb ], [ %tmp16, %bb14 ]
|
||
|
|
%tmp23 = sext i32 %tmp19 to i64
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
define void @foo_i32_xor(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo_i32_xor
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i32 @too()
|
||
|
|
%tmp17 = icmp sgt i32 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ]
|
||
|
|
%tmp20 = xor i32 %tmp19, 3
|
||
|
|
%tmp23 = sext i32 %tmp20 to i64
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
define void @foo_i8_sext(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo_i8_sext
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i8 @too8()
|
||
|
|
%tmp17 = icmp sgt i8 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ]
|
||
|
|
%tmp23 = sext i8 %tmp19 to i64
|
||
|
|
; after sign extension, the operand value becomes -1 which does not match 255
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 255)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
define void @foo_i8_sext_not_unlikely(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo_i8_sext_not_unlikely
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: br i1 %tmp9
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i8 @too8()
|
||
|
|
%tmp17 = icmp sgt i8 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ]
|
||
|
|
%tmp23 = sext i8 %tmp19 to i64
|
||
|
|
; after sign extension, the operand value becomes -1 which matches -1
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 -1)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
|
||
|
|
define void @foo_i32_xor_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
|
||
|
|
; CHECK-LABEL: void @foo_i32_xor_not_unlikely
|
||
|
|
bb:
|
||
|
|
%tmp8 = call i32 @goo()
|
||
|
|
%tmp9 = icmp sgt i32 %tmp8, %arg
|
||
|
|
br i1 %tmp9, label %bb10, label %bb18
|
||
|
|
; CHECK: br i1 %tmp9
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb10: ; preds = %bb
|
||
|
|
%tmp12 = call i32 @hoo()
|
||
|
|
%tmp13 = icmp sgt i32 %arg1, %tmp12
|
||
|
|
br i1 %tmp13, label %bb14, label %bb18
|
||
|
|
; CHECK: br i1 %tmp13
|
||
|
|
; CHECK-NOT: !prof
|
||
|
|
|
||
|
|
bb14: ; preds = %bb10
|
||
|
|
%tmp16 = call i32 @too()
|
||
|
|
%tmp17 = icmp sgt i32 %arg2, %tmp16
|
||
|
|
br label %bb18
|
||
|
|
|
||
|
|
bb18: ; preds = %bb14, %bb10, %bb
|
||
|
|
%tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ]
|
||
|
|
%tmp20 = xor i32 %tmp19, 2
|
||
|
|
%tmp23 = sext i32 %tmp20 to i64
|
||
|
|
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
|
||
|
|
%tmp25 = icmp ne i64 %tmp24, 0
|
||
|
|
br i1 %tmp25, label %bb26, label %bb28
|
||
|
|
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
|
||
|
|
|
||
|
|
bb26: ; preds = %bb18
|
||
|
|
%tmp27 = call i32 @goo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb28: ; preds = %bb18
|
||
|
|
%tmp29 = call i32 @hoo()
|
||
|
|
br label %bb30
|
||
|
|
|
||
|
|
bb30: ; preds = %bb28, %bb26
|
||
|
|
ret void
|
||
|
|
}
|
||
|
|
|
||
|
|
declare i32 @goo()
|
||
|
|
|
||
|
|
declare i32 @hoo()
|
||
|
|
|
||
|
|
declare i32 @too()
|
||
|
|
|
||
|
|
declare i8 @too8()
|
||
|
|
|
||
|
|
; Function Attrs: nounwind readnone
|
||
|
|
declare i64 @llvm.expect.i64(i64, i64)
|
||
|
|
|
||
|
|
!llvm.ident = !{!0}
|
||
|
|
|
||
|
|
!0 = !{!"clang version 5.0.0 (trunk 302965)"}
|
||
|
|
; CHECK: [[WEIGHT]] = !{!"branch_weights", i32 2000, i32 1}
|
||
|
|
; CHECK: [[WEIGHT2]] = !{!"branch_weights", i32 1, i32 2000}
|