데이터를 토큰화 혹은 백터화를 해주는 이유가
구글이랑 퍼플렉시티로
찾아보고 생각해본결과는
컴퓨터가 그렇게만 이해할수있어서라고 생각되는데,
사실 이건 컴퓨터를 위해 사람이 억지로 맞춰주는 느낌이 강해서
뭔가 더 쉽게 할 수 있을거같은데 제가 지식줄이
짧은 관계로 더 나아가서 생각을 못하겠는데
그냥 문장을 넣으면 문장을 이해하고 ai가 스스로
사고하는건 지금 시점에서는 어렵다는건 알고있지만
토큰화, 백터화와같은 데이터 처리 과정 없이
문장을 그대로 넣어서 토큰화처럼 학습하는 효과를
내는 방법이 없을까용?
