인터프리터...10

토큰 추출

단어를 추출하고 해당 단어를 표현할 수 있도록 토큰에 정보를 저장한다. 이때 실제 값으로 저장할 변수 외에 텍스트로 입력된 값을 저장해 둘 변수를 따로 두면 오류 메시지 등에 사용할 수 있다.

 

가령 "1 + 3"이라는 문자가 들어왔을 때 이를 토큰으로 추출하면 다음과 같이 표현할 수 있다.

	1	+	3
종류	Number	Plus	Number
텍스트	'1'	'+'	'3'
값	1	0	3

 

토큰 추출 시 여러 정보를 추출하게 되며 그 종류와 추출 방법은 다음과 같다.

• 식별자 문자열이 문자로 시작된 경우 문자열의 끝 혹은 공백이 나타날 때까지 문자를 읽은 뒤 해당 문자들이 예약어에 존재하는지 확인 후 존재하면 해당 예약어로 아니면 식별자로 저장한다.
• 수치 상수 문자열이 숫자로 시작된 경우 숫자가 아닌 문자가 나타날 때 까지 문자를 읽은 뒤 해당 문자들을 숫자로 변환하여 상수로 저장한다.
• 문자열 리터럴 문자열이 "로 시작되는 경우 "가 나타날 때까지 문자를 읽은 뒤 해당 문자들을 문자열로 저장한다.
• 연산자 문자열이 위 종류에 포함되지 않는 경우 연산자로 저장한다.

 

참고문헌

만들면서 배우는 인터프리터하야시 하루히코 상세보기