더블 블라인드 테스트로 자료를 얻는 것은 과연 어려울까요? 집단 테스트 과정 때문에 무척 번거로울까요? 더블 블라인드 테스트라고 해서 꼭 골치아픈 대규모 통계분석이 필요해야할 이유는 없습니다. 이하는 정품CD와 복제CD간의 더블 블라인드 테스트를 하기 위한 팁입니다.
더블 블라인드 테스트라고 해서 집단 테스트일 필요는 없으며, 개인적인 테스트라고 하더라도 통계적 신뢰도를 높이는 방법은 있습니다. 도우미 한두명만 있으면, 틀어주는 사람도, 듣는 사람도 어느쪽이 원본이고 어느쪽이 사본인지 모르는 개인 더블 블라인드 테스트는 충분히 가능합니다.
첫째로 원본에서 사본을 복사합니다. CD to CD가 되었든, CD to image to CD가 되었든 상관은 없습니다만, 양쪽을 EAC로 추출한 후 offset 어긋남 이외의 PCM 정보의 차는 없는지 EAC의 compare wavs기능으로 확인합니다. Offset차이 밖에 안난다면 합격, 그 외의 차이가 난다면 다른 CD 골라서 OK날 때까지 반복해서 다시 굽습니다.
참고: http://www.exactaudiocopy.de/
EAC가 필요하신 분은 저기서 eac095pb3.zip 이것을 받으셔서요, eac.exe를 실행하시고 모든 설정 옵션을 기본 옵션으로 해주세요. 설치 시작하실 때 CD-ROM 드라이브에 오디오 CD가 들어있어야 합니다.
CD들이 준비가 끝나면 테스트를 해야겠죠. 사람들을 불러 모으고 원본과 사본을 CDP에 넣고 틀 준비를 합니다. CDP를 시험참가자의 등뒤에 놓거나, 아니면 참가자의 눈을 가린다거나 해서 어느 CD를 틀 것인지 못 보게 합니다.
시험 조건 하에 (즉 뒤돌아서, 혹은 눈을 가린 채로) 참가자는 원본과 사본 양쪽을 일단 들어봅니다. 양쪽의 차이를 확실히 느낄 수 있다면 테스트를 계속 진행해도 좋습니다.
테스트는 1회에 8~16차수 (꼭 4차 이상이여야 합니다.) 정도가 적당합니다. 몇차까지 할 것인지 합의를 본 후 주최측에서는 비밀리에 동전을 던져 원본과 사본의 재생 순서를 결정합니다.
이 이후 부터는 ABX 방식으로 테스트를 진행하면 됩니다.
인용:
> PC ABX 프로그램은 다음과 같이 작동합니다. 참조본(원본)은 늘 "B" 샘플로 제공됩니다. 테스트 대상물(사본)은 늘 "A" 샘플로 제공됩니다. 참조본이나 대상물중 하나가 계속 무작위로 "X" 샘플에 할당되게 됩니다. 테스트 참가자는 샘플들을 듣고 "X"가 원본 "B"에 해당하는지 아니면 사본 "A"에 해당하는지 결정하면 되는 것입니다.
참가자는 원하는대로 A, B, X를 틀어달라고 할 수 있습니다. 시간 제한은 없지만, "X는 A요," 혹은 "X는 B요,"와 같은 대답을 해야 합니다. 참가자가 각 시도에 성공했는지 실패했는지는 테스트 종료 전까지는 비밀입니다.
정답을 찍어서 맞춘 것일 확률은 다음 표를 참조하시면 아실 수 있습니다.
만약 정답/테스트회수 수치가 녹색, 아니면 황색 지대에 있으면 (황색이 더 좋습니다.) 시험은 통계학적으로 신뢰성이 있다고 할 수 있습니다.
A, B, X를 재생할때, 주최측은 재생을 멈추고, CD를 꺼내고, 다른 CD 옆에 소리없이 내려놓고, 다음 CD를 역시 소리없이 집어 CDP에 넣습니다. CD가 바뀌지 않을 때, 예를 들자면 A에서 X로 CD를 바꾸는 경우 X가 A일 때라도 (쉽게 말해 같은 CD를 두번 틀 경우라도) CD를 꺼냈다 집어 넣으셔야 합니다. 참고로, CD를 바꾸는데 걸리는 시간은 늘 일정하게 하시면 더욱 좋습니다. 리모콘은 참가자가 가지고 있어도 됩니다.
참가자는 재생이 멈추는 것, 트레이가 열리는 것 등등을 늘 들을 수 있게 됩니다.
이상적인 경우는 트레이를 열 필요가 없게 동일한 CDP 두대를 사용하는 방법일 것입니다. 시험 대상자는 CD가 방금 전과 완전히 동일한 곳에서 꺼낸 CD인지, 아니면 20cm 옆에서 꺼낸 CD인지 자세히 들어보면 알 지도 모르니까요. 두대를 활용할 경우 앰프에서 입력 소스를 선택하는 것으로 CD교체를 대신하셔도 좋습니다. (입력 소스 선택 과정에서 소리 힌트가 나지 않는 다는 가정 하에 말입니다.)
중요한 포인트: 참가자는 차이가 분명히 느껴진다는 확신이 설 때만 답을 하여야 합니다. 안그러면 "컨디션이 안 좋아서 결과가 엉망이다,"라는 얘기가 나올 수 있으니까요. 만약 참가자가 무슨 답을 내야 할지 모르겠다고 한다면 좀 쉬었다가 다시 하면 됩니다. 휴식시간 중에, 아니면 필요할 경우는, 원하는 만큼 A/B 비교청취를 통해 연습을 충분히 거치고 테스트를 재개해도 좋습니다.
"맞을 것 같은" 답을 내는 것은 전혀 소용이 없습니다. 답은 참가자가 확신하는 답이여야만 합니다. 혹시 원한다면 먼저번 차수의 테스트로 거슬러 올라갈 수도 있습니다. 만약 A와 B의 차이가 어느 순간 더욱 분명히 느껴지기 시작해서 먼저 내린 답에 의심이 간다는 말이 나오면, X들을 다시 듣고 답을 고쳐도 됩니다.
1차부터 마지막 까지의 테스트의 모든 정답에 확신이 선다면, 정답을 체크해볼 차례입니다. 반대로, 만약 오답률이 최대 허용 오답률(링크된 위 표 참조)보다 높게 올라간다면 구분 실패로 보고 테스트를 즉시 중단해도 됩니다. (예: 8차 테스트까지 하기로 했는데 처음 1+2차 테스트에서 오답을 내는 경우.)
테스트 해보신다면 (결과가 어떻든 간에) 말씀해주시면 무척 감사하겠습니다. ^_^
테스트 과정, 유의점 추가사항:
0. 틀어주는 사람도 듣는 사람도 X가 A인지 B인지 알지 못하는 환경 조성. 도우미 한두명 필요.
1. "A 틀어주세요," or "B 틀어주세요," 원하는 만큼 반복.
2. "X 틀어주세요." 청취 후 확신이 서면 "X는 A!" 혹은 "X는 B!"라고 선언. 필요할 경우 1번 항목 반복도 가능. 도우미가 선택을 받아 적음. 주최측은 시도가 성공이였는지 실패였는지 마지막까지 비밀로 함.
3. 최초에 정해진 차수만큼 1, 2번 항목을 반복하고 종료.
덧. 참고로, ABX 블라인드 테스트는 CDP간의 음질 차이, 앰프나 리시버 교체로 인한 음질 차이, 배터리의 음질 차이, 미디어 간의 음질 차이, 막선과 고급선의 음질 차이, Win*mp와 *oobar2000과 Je*Audio의 음질 차이, 게*린과 *잘의 효능 차이, 코* 콜라와 펩* 콜라의 맛의 차이의 확인 등에도 사용할 수 있습니다. 실제로 더블 블라인드 테스트는 소비자보호원, 식품의약청, 돌비 연구소, 프라운호퍼 연구소등의 장소에서 사용되고 있는 과학적인 비교방법입니다.
Skuld
정말 dizzy 하군요.
2003-11-03 09:36:17
Smashing_P.K
이거 테스트 해서 남는게 뭡니까?
아닌 말로 살림살이가 나아집니까?
음악을 즐기는 것이 아닌 음질을 즐기는 사람들이 시코에는 많군요..
다..부질 없는 일..차라리 그 시간에 음악감상이나 하는게 훨 낫지 않을까?
2003-11-03 09:42:12
검은해
글쎄요.. 어지러워하실 필요없습니다.. 세세한 부분까지 적혀 있다고 생각하는데 부족한 면 있으면 말씀해주시면 고쳐보도록 하겠습니다. :) 참고로 위와 같은 테스트는 쓸데없이 돈 낭비하시는 것을 막는 데에는 일조할 수 있겠죠.. 음악감상에 도움 드리고자 쓴 글입니다. :)
2003-11-03 09:50:52
Skuld
스매슁 피케> 남는건 있습니다. 보다 만족스러운 문화생활과 취미생활을 즐기기 위해선 최소한 이런것들은 알아둘 필요가 있다고 생각합니다.
2003-11-03 09:56:48
Skuld
하지만 어지러워지지 않도록 이런걸 대충 넘겨짓는것도 나쁘진 않겠죠. 하지만 이걸 한다고 해서 아무것도 안남는건 아닐겁니다.
2003-11-03 09:58:29
kill용팔
남는다고 해도 그 건더기들이 정말로 필요할지 의문이군요....
개인적으로는 정말 쓸데없는 행동이라고 생각합니다.
저런거야 말로 모르는게 약입니다.
일반사람들이 음질구분을 얼마나 정확하게 할까요.
괜히 결과나오면 자기 귀는 제대로 구분도 못하면서 보고들은건 있어가지고
좋다는 쪽으로 들으려 고생들이나 안했음 좋겠군요.
2003-11-03 10:06:50
Skuld
kill용팔> 일리있는 말씀이군요. 사람 모두 다르게 느낄 수 도 있으니까요. 하지만 제 딴에선 그렇게 생각합니다.
2003-11-03 10:10:34
흰물곰
저 방식대로 정모를 연다면 나갈 생각은 있습니다만,
아무래도 혼자 저걸 준비한다는건 헛짓으로밖에 느껴지지 않는군요.
2003-11-03 10:17:38
박정용
호기심 많은 사람이라면 할만도 하지 않을지?
뭐든지 궁금한 건 푸는게 좋죠^^
2003-11-03 10:30:03
sj-mj33
검은해님은 집단 블라인드 테스트만이 능사가 아니라고-
도움을 주는 말씀을 가져온거라 보이네요,,
다음글에 희야 님이 쓰신 말처럼
논쟁을 하기 위해 끌고온 것과는 다소 거리가 있어 보입니다
2003-11-03 10:45:54
조운형
흠... 님께서 사용하시고 계신 Binomial Distribution Test는 (맞출확률)x(테스트횟수)가 적어도 20이 되어야 신빙성을 가지게 됩니다 (참가자들의 대답결과가 Normal Distribution 이란 가정아래...) 만약 참가자들이 맞출 확률이 1이라더라도 님이 추천하신 테스트 횟수로는 20이 될 수 없으므로 그리 믿음직스럽지 못한 시험이 되죠. 맞출 확률이 80%라고 가정하면 적어도 24번을 들어야 한다는건데...이렇게 실험을 하고 싶을까요? 태클 거는건 아니구요, 님의 방법이 수정이 필요한것 같아서..
2003-11-03 11:09:30
박정용
제가 보기에도 논쟁을 위해 갖고온 글은 아니라고 보여지네요^^ 좋은 정보글입니다.
2003-11-03 11:22:32
검은해
사실 저는 통계의 원리는 전혀 모릅니다. :) 참고로 ABX테스트에서는 보통 pval이라는 것을 쓰던데.. 12차 이상의 테스트에서 pval을 0.01이하로, 아니면 16차 이상의 테스트에서 pval을 0.05로 떨어뜨리면 성공으로 쳐줍니다. pval은 "우연히 찍어서 결과가 나왔을 확률"인데 binomial distribution test와 어떤 관계에 있는지 알려주시면 무척 감사하겠습니다.. ^__^
alpha go님께: 말씀 감사합니다. ^_^ 제가 가입후 지금까지 쭉 주장해왔던 것이 바로 이것이였죠.. (활동은 간헐적이였지만 말입니다.)
황산님께: 더블 블라인드 테스트에서도 구분하실 수 있으신지가 관건입니다.
2003-11-03 12:12:53
황산
더블은 저도 검은해님이 처음 소개하셨을 때 해봤습니다. 서로 다른 회사의 공CD끼리는 차이 못 느꼈는데 정품과 공CD는 차이가 백발백중으로 느껴지더군요.
하지만 전에 올리셨던 OGG와 低비트레이트 기술로 압축된 음원간의 차이는 전혀 못 느꼈습니다. 음악이 너무 조용해서 그런지 그 기술이 제 감각을 잘 피해가는 기술이 쓰여서인지는 모르겠습니다.
2003-11-03 12:14:58
황산
처음엔 저 테스트 꺼려졌습니다.
제가 차이 못 느끼면 괜한 착각이었을거란 결론이 나오는데 제 감각을 믿고 있던 저로서는 그러면 기분나쁘지요. 그러니 하고 싶어지지 않으니 저에겐 귀찮거나 어려운 일이 되어버렸지만 저 테스트는 아주 정확해 보입니다. 결과에 운운하지 말고 한번쯤 해보는건 어렵지 않습니다.
2003-11-03 12:18:27
검은해
제가 위에서 테스트 과정을 묘사하였듯이 황산님 본인께서 거치신 과정을 새 글로 적어주시면 감사하겠습니다.. ^_^ 부탁드립니다.. v_v
2003-11-03 12:19:18
황산
죄송합니다만 여기 학교 실습실이라서 그 과정을 다 쓰기가 힘이 듭니다.
1시 되면 강의가 끝나니 집에 가면 저녁시간 안될 즈음에 화려하게 묘사해 보도록 하겠습니다.
2003-11-03 12:20:36
미니
-_-;; 휴우~~~ 이런 이야기 언제쯤 없어지려나 ;;
2003-11-03 12:55:51
미니
오늘 밤에 또 시끄러워지겠네
2003-11-03 12:57:41
전설이 되어버린 이가
음질을 그렇게 중요시 여기시면 돈을 들여서 몇 천만원짜리 앰프에
몇 천만원짜리 CD PLAY를 사용하시는게 바람직하실텐데....
도대체 미니기기에서 얼마나 좋은 음질을 기다하고 사용을 하시는지
궁금도 하네요. 이런 끝없는 논쟁은 언제쯤 끝나려나~
2003-11-03 17:53:33
검은해
그 수천만원짜리 앰프와 수천만원짜리 CDP도 더블 블라인드 ABX 테스트의 대상이 될 수 있습니다..
2003-11-03 18:02:39
~^-_-^~
wassada.co.kr 하이파이 게시판에 더블 블라인드 테스트 후기가 몇 편 있지요...
실험 자체에 약간 오류가 있었지만 소감들은 읽어볼 만 합니다.
