[Перевод] Я 8 часов тестировал модель o1 Pro за 200$ и сравнил ее с Claude Sonnet 3.5 за 20$
После всей шумихи вокруг выхода o1 Pro я решил провести обширное сравнение. Результаты оказались неожиданными, и я решил поделиться своими выводами с сообществом. Методология тестирования Я проверил обе модели в идентичных сценариях, ориентируясь на реальные приложения, а не просто на бенчмарки. Каждое испытание повторялось несколько раз, чтобы обеспечить согласованность.