Coverage for tests/unit/tokenization/test_coords_string_split.py: 100%

1from maze_dataset.token_utils import coords_string_split_UT 

2 

3 

4def test_coords_string_split_UT(): 

5 assert coords_string_split_UT("(1,2) (3,4)") == ["(1,2)", "(3,4)"] 

6 assert coords_string_split_UT("(1,2)(3,4)") == ["(1,2)", "(3,4)"] 

7 assert coords_string_split_UT("(1,2) (3,4) (5,6)") == ["(1,2)", "(3,4)", "(5,6)"] 

8 assert coords_string_split_UT("()") == ["()"] 

9 assert coords_string_split_UT("(,)(,)") == ["(,)", "(,)"] 

10 assert coords_string_split_UT("( , ) ( , )") == ["( , )", "( , )"] 

11 assert coords_string_split_UT("(1,2) (3,4) (5,6) (7,8)") == [ 

12 "(1,2)", 

13 "(3,4)", 

14 "(5,6)", 

15 "(7,8)", 

16 ] 

17 assert coords_string_split_UT("") == [] 

18 assert coords_string_split_UT("(1, 2) (3, 4)") == ["(1, 2)", "(3, 4)"] 

19 assert coords_string_split_UT("(1 ,2) (3,4)") == ["(1 ,2)", "(3,4)"] 

20 assert coords_string_split_UT("(1,2) (3 ,4)") == ["(1,2)", "(3 ,4)"] 

21 assert coords_string_split_UT(" ( 1 , 2 ) ( 3 , 4 )") == ["( 1 , 2 )", "( 3 , 4 )"] 

22 assert coords_string_split_UT("(1,2) (3, 4 )") == ["(1,2)", "(3, 4 )"] 

23 assert coords_string_split_UT("(1 , 2) (3 , 4)") == ["(1 , 2)", "(3 , 4)"] 

24 assert coords_string_split_UT("(1,2) 3,4 (5,6)") == ["(1,2)", "3,4", "(5,6)"] 

25 assert coords_string_split_UT("(1,2) 3 , 4 (5,6)") == [ 

26 "(1,2)", 

27 "3", 

28 ",", 

29 "4", 

30 "(5,6)", 

31 ] 

32 assert coords_string_split_UT("(1,2) <SPECIAL_TOKEN> (3,4)") == [ 

33 "(1,2)", 

34 "<SPECIAL_TOKEN>", 

35 "(3,4)", 

36 ] 

37 assert coords_string_split_UT("<SPECIAL_TOKEN> (1,2) (3,4)") == [ 

38 "<SPECIAL_TOKEN>", 

39 "(1,2)", 

40 "(3,4)", 

41 ] 

42 assert coords_string_split_UT("(1,2) (3,4) <SPECIAL_TOKEN>") == [ 

43 "(1,2)", 

44 "(3,4)", 

45 "<SPECIAL_TOKEN>", 

46 ] 

47 assert coords_string_split_UT("<SPECIAL_TOKEN>") == ["<SPECIAL_TOKEN>"] 

48 assert coords_string_split_UT("(1,2) <SPECIAL_TOKEN> (3,4) <SPECIAL_TOKEN>") == [ 

49 "(1,2)", 

50 "<SPECIAL_TOKEN>", 

51 "(3,4)", 

52 "<SPECIAL_TOKEN>", 

53 ] 

54 assert coords_string_split_UT( 

55 " ( 1 , 2 ) <SPECIAL_TOKEN> ( 3 , 4 ) <SPECIAL_TOKEN>", 

56 ) == [ 

57 "( 1 , 2 )", 

58 "<SPECIAL_TOKEN>", 

59 "( 3 , 4 )", 

60 "<SPECIAL_TOKEN>", 

61 ] 

62 assert coords_string_split_UT( 

63 "<SPECIAL_TOKEN> (1,2) <SPECIAL_TOKEN> (3,4) <SPECIAL_TOKEN>", 

64 ) == ["<SPECIAL_TOKEN>", "(1,2)", "<SPECIAL_TOKEN>", "(3,4)", "<SPECIAL_TOKEN>"] 

65 assert coords_string_split_UT( 

66 "(1,2) <SPECIAL_TOKEN> (3,4) <SPECIAL_TOKEN> (5,6)", 

67 ) == [ 

68 "(1,2)", 

69 "<SPECIAL_TOKEN>", 

70 "(3,4)", 

71 "<SPECIAL_TOKEN>", 

72 "(5,6)", 

73 ] 

74 assert coords_string_split_UT( 

75 "<SPECIAL_TOKEN> <SPECIAL_TOKEN> <SPECIAL_TOKEN>", 

76 ) == [ 

77 "<SPECIAL_TOKEN>", 

78 "<SPECIAL_TOKEN>", 

79 "<SPECIAL_TOKEN>", 

80 ] 

81 assert coords_string_split_UT("1 2 3") == ["1", "2", "3"] 

82 assert coords_string_split_UT("(1,2) 3 (5,6)") == ["(1,2)", "3", "(5,6)"] 

83 assert coords_string_split_UT("( 1 , 2 ) 3 ( 5 , 6 )") == [ 

84 "( 1 , 2 )", 

85 "3", 

86 "( 5 , 6 )", 

87 ] 

88 assert coords_string_split_UT("1 <SPECIAL_TOKEN> 2") == [ 

89 "1", 

90 "<SPECIAL_TOKEN>", 

91 "2", 

92 ] 

93 assert coords_string_split_UT("<SPECIAL_TOKEN> 1 <SPECIAL_TOKEN>") == [ 

94 "<SPECIAL_TOKEN>", 

95 "1", 

96 "<SPECIAL_TOKEN>", 

97 ] 

98 assert coords_string_split_UT("1 <SPECIAL_TOKEN> 2 <SPECIAL_TOKEN>") == [ 

99 "1", 

100 "<SPECIAL_TOKEN>", 

101 "2", 

102 "<SPECIAL_TOKEN>", 

103 ] 

104 assert coords_string_split_UT( 

105 "<SPECIAL_TOKEN> <SPECIAL_TOKEN> <SPECIAL_TOKEN>", 

106 ) == [ 

107 "<SPECIAL_TOKEN>", 

108 "<SPECIAL_TOKEN>", 

109 "<SPECIAL_TOKEN>", 

110 ] 

111 assert coords_string_split_UT( 

112 "(1,2) <SPECIAL_TOKEN> (3,4) 7 <SPECIAL_TOKEN> (5,6)", 

113 ) == ["(1,2)", "<SPECIAL_TOKEN>", "(3,4)", "7", "<SPECIAL_TOKEN>", "(5,6)"] 

114 assert coords_string_split_UT( 

115 " ( 1 , 2 ) <SPECIAL_TOKEN> ( 3 , 4 ) 7 <SPECIAL_TOKEN> ( 5 , 6 )", 

116 ) == [ 

117 "( 1 , 2 )", 

118 "<SPECIAL_TOKEN>", 

119 "( 3 , 4 )", 

120 "7", 

121 "<SPECIAL_TOKEN>", 

122 "( 5 , 6 )", 

123 ]