If the group that the narrator meets is assumed not to be travelling to St. Ives the answer could be one person going to St. Ives: the narrator.
Om man antar att den grupp som berättaren träffar på inte ska resa till St. Ives kan svaret vara en person som går till St. Ives: berättaren.