AI 넛 지로 알고리즘 설득

사실 확인은 신뢰할 수없는 뉴스의 확산을 줄일 수 있습니다. 또한 반대를 할 수도 있습니다.

(이 글은 civilservant.io에 처음 등장했습니다)

reddit에 대한 r / worldnews 독자는 종종 타블로이드 뉴스를 자원 봉사자 중재자에게보고하여 선정 된 기사에 대해 타블로이드를 금지하도록 요청합니다. 이 장식 된 이야기는 사람들의 시선을 사로 잡고 논란을 불러 일으키며 레딧의 순위 알고리즘에 주목하여 더욱 확산되었습니다.

타블로이드 뉴스 금지는이 피드백 루프를 종료 할 수 있지만 커뮤니티 중재자는 총괄 금지에 반대합니다. 이 퍼즐을 해결하기 위해 중재자는 소위 "가짜 뉴스"에 관한 토론의 중심에있는 질문에 답변해야했습니다. 커뮤니티의 이익을 위해 사람과 알고리즘의 상호 행동에 영향을 미치면서 기여자의 자유를 유지하는 방법은 무엇입니까?

올 겨울 중재자는 CivilServant와 협력하여 아이디어를 테스트했습니다. 신뢰할 수없는 뉴스에 대한 사실 확인에 대한 사실 확인의 효과는 무엇입니까? 우리는 r / worldnews 커뮤니티가 어떻게 반응하는지보고 싶었습니다. 또한 레딧 순위에 미치는 영향도 관찰했습니다. reddit의 알고리즘이 사실 확인을 인기로 해석하면 신뢰할 수없는 기사가 더 널리 퍼질 수 있습니다.

타블로이드 뉴스는 미국 이외의 지역에서 뉴스를 논의하는이 1,500 만 명의 구독자 커뮤니티에 제출 한 모든 자료의 약 2.3 %입니다. r / worldnews에서 70 명의 중재자는 하루에 약 450 개의 기사를 검토하고 해당 기사의 68 %가 유지되도록합니다. 기본 서브 레딧이므로 대부분의 레딧 독자는이 커뮤니티를 통해 세계 뉴스를받습니다. 커뮤니티의 도달 범위가 Facebook에 의해 뒤떨어 지지만 r / worldnews는 영어를 사용하는 인터넷 어디에서나 세계 뉴스를 논의하기위한 가장 큰 단일 그룹 일 수 있습니다. 이 커뮤니티의 작은 영향조차도 수백만의 사람들이 잠재적으로 신뢰할 수없는 세계 정보를 이해하는 방법에 큰 차이를 만들 수 있습니다.

11 월 27 일부터 1 월 20 일까지의 연구에서 A / B는 커뮤니티가 타블로이드 뉴스에 대해 사실을 확인하고 투표하도록 격려하는 메시지를 테스트했습니다. 우리가 찾은 내용은 다음과 같습니다.

사실 확인이 커뮤니티 행동에 미치는 영향

r / worldnews에 대한 타블로이드 제출에 대해 사실 확인을 권장하면 링크가 포함 된 댓글의 발생률이 평균 2 배 증가하며 사실 확인 + 투표를 권장하는 효과도 비슷합니다.

사실 확인이 Reddit 알고리즘에 미치는 영향

24 시간 이상 관찰 한 결과, 사실 확인을 권장하는 평균적이고 끈끈한 의견은 타블로이드 제출의 레딧 점수가 2 배 감소한 것으로 나타 났으며, 이는 하위 레딧의 순위에 영향을 줄 수있는 통계적으로 중요한 영향을 미쳤습니다. 독자들이 투표하도록 독려했을 때이 효과는 사라졌습니다.

AI 넛지 : 자유를 유지하면서 알고리즘 설득

타블로이드 뉴스에 대한 우리의 질문은 고전적인 거버넌스 질문에 알고리즘 차원을 추가했습니다. 힘을 가진 사람들이 어떻게 개인의 자유에 대한 제약을 최소화하면서 어떻게 공동의 선을 향해 일할 수 있습니까?

사람들이 다르게 행동하도록 설득함으로써 알고리즘이 다르게 행동하도록 설득 할 수 있습니다.

인터넷을 통해 사람들은 통제 할 수없는 AI 시스템으로 사는 법을 배웁니다. 예를 들어, Uber 운전자는 수입을 최적화하기 위해 운전을 조정합니다. 우리의 집단 행동은 이미 AI 시스템에 영향을 미쳤지 만 지금까지 대중은 실제로 그 영향에 대한 정보가 부족합니다. 이러한 불투명 한 결과는 알고리즘이 건강, 안전 및 공정성과 같은 사회에서 주요 역할을 수행 할 때 문제가 될 수 있습니다. 이 문제를 해결하기 위해 일부 연구자들은 "루프 사회 (society-in-the-loop)"시스템을 설계하고 있습니다 [4]. 다른 사람들은 알고리즘을 감사하는 방법을 개발하고있다 [5] [6]. 그러나 두 방법 모두 코드를 제어 할 수없는 시스템의 일상적인 동작을 관리 할 수있는 방법을 제공하지 않습니다. r / worldnews와의 연구는 세 번째 방향을 제시합니다. 사람들이 다르게 행동하도록 설득함으로써 알고리즘이 다르게 행동하도록 설득 할 수 있습니다.

일부 사람들은이 실험이 투표 조작을 구성하는지, 레딧의 정책에 위배되는지 궁금 할 것입니다. 스티커 메모는 개인 이익을위한 레딧의 규칙을 위반하지 않습니다 (우리는 또한 가짜 계정을 만들거나 사람들에게 투표 방법을 알리거나 투표 블록을 구성하지 않았습니다). 그러나 우리는 사람들에게 사실 확인을 장려하면 레딧 알고리즘에 체계적인 영향을 미친다는 것을 보여주었습니다.

"AI 너지"라는 개념은 개인의 자유를 유지하면서 인간과 기계의 행동에 영향을 미치기위한 친 사회적 노력에 대해 생각할 수있는 방법을 제공합니다. Richard Thaler와 Cass Sunstein은 먼저 기관이 개인의 자유를 보존하면서 권한을 행사할 수있는 방법으로 "너지 (nudge)"를 제안했습니다 [7]. 타블로이드 뉴스 금지와 비교하여 사실 확인을 장려하는 AI 넛지는 중재자가 취할 수있는 가장 가벼운 터치 작업입니다. 뉴스, 댓글 또는 투표를 공유 할 수있는 사람은 없어도 AI 넛지는 여전히 신뢰할 수없는 뉴스의 확산을 약화시킵니다.

Sunstein과 Thaler가 지적했듯이 이러한 가벼운 터치 개입이 원하는 결과를 가져 오는지 항상 분명하지는 않습니다. 그렇기 때문에 테스트되지 않은 시스템이 예기치 않은 결과를 초래할 수 있기 때문에 그 효과를 체계적으로 테스트해야합니다.

AI 너지의 거버넌스와 윤리

온라인 플랫폼에 의한 정부와 사회 실험의 넛 지들은 종종 비슷한 비판을 불러 일으킨다. 나는 사람들이 방해하는 힘을 행사하는 사람들로부터 책임을 기대할 수 있다고 생각합니다. 자원 봉사 중재자와 함께 일하면서 저는 소셜 컴퓨팅에서 일반적인 것보다 더 높은 수준의 투명성과 책임 성을 가지고 일할 수있었습니다. 모든 CivilServant 연구는 운영 팀과 함께 설계되었으며 모든 결과는 하위 레딧 브리핑을 통해 커뮤니티에 먼저 공개됩니다. 우리의 연구 디자인은 시작하기 전에 Open Science Framework에 공개적으로 나열되어 있으며 모든 코드는 오픈 소스입니다. 전체 분석 세부 사항도 공개되므로 누구나 결론을 확인할 수 있습니다. 우리가 보류하는 유일한 것은 실제 데이터입니다. 왜냐하면 우리는 관련된 모든 사람들의 프라이버시를 존중하기 때문입니다.

전반적으로, 특히 지역 사회가 주도 할 때 인공 지능 넛지가 대중이 사회에서 알고리즘의 역할을 관리하고 개인의 자유를 보존 할 수있는 흥미로운 방향을 제시하기를 바랍니다.

연구의 작동 방식

이 테스트를 위해 중재자는 불만을 자주받는 뉴스 소스 목록으로 시작했습니다. 11 월 27 일부터 1 월 20 일까지, 우리는 각각의 새로운 타블로이드 링크를 다음 세 가지 조건 중 하나에 무작위로 할당했습니다. ).

이 메시지를 타블로이드 뉴스 토론의 맨 위에 게시했습니다.

두 번째는 사람들이 기사를 실제로 확인하고 해당 주장에 대한 근거를 찾을 수없는 경우 링크를 하향 조정하는 것을 권장합니다.

이 두 번째 메시지는 사람들에게 하향 투표를 고려하도록 장려했습니다

사실 확인 동작에 영향을 미칠 수 있습니까? 레딧의 알고리즘이 신뢰할 수없는 뉴스를 보는 방법은 무엇입니까?

r / worldnews 독자가 중재자가 요청하면 도움이 될 것이라고 확신했지만 타블로이드 뉴스에 대한 의견을 늘리면 실수로 reddit의 알고리즘으로 인해 해당 타블로이드 링크를 홍보 할 수 있습니까?

사실 확인으로 신뢰할 수없는 뉴스 매체의 인기가 높아지면 커뮤니티는 어디에서 노력해야하는지 다시 생각해야 할 수도 있습니다. 그렇기 때문에 중재자가 독자에게 하향 투표를 고려하도록 권장하는 두 번째 스티커 메모를 테스트 한 이유입니다.

Reddit의 알고리즘에 대한 스티커 메모의 효과를 테스트하기 위해 CivilServant 소프트웨어는 4 분마다 게시물 점수에 대한 데이터를 수집했습니다. 플랫폼은 정확히 점수에 들어가는 내용이나 순위가 어떻게 작동하는지 정확하게 게시하지 않습니다 (물었습니다). 그러나 게시물의 나이와 점수에서 하위 레딧 HOT 페이지 순위를 안정적으로 예측할 수있었습니다 (자세한 내용은 여기 참조). 기본적으로 사실 확인이 기사의 점수에 큰 영향을 미쳤다면 아마도 하위 레딧 페이지의 기사 순위에 영향을 미쳤을 것입니다. 24 시간 후 점수를 비교하고 시간에 따른 점수 변화를 모델링하여 두 가지 방법으로 테스트했습니다.

24 시간 후 점수에 미치는 영향을 테스트하기 위해 음 이항 모델을 사용했습니다. 실험 중에 reddit의 알고리즘이 나타났기 때문에 사실 확인을 장려함으로써 타블로이드 제출이 평균 24 시간 후에 r / worldnews에서 평균적인 의견없이 49.1 % (2.04 배 더 낮은) 제출 점수를 받았습니다. 효과는 통계적으로 중요합니다. 이 모델에서는 독자들이 다운 보팅을 고려하도록 장려하는 끈끈한 의견에서 효과를 찾지 못했습니다.

또한 사실 점검이 시간이 지남에 따라 게시물 점수의 성장률에 미치는 영향을 테스트했습니다. 이 질문을하기 위해 4 분마다 게시물의 로그 변환 점수에 임의의 가로 채 선형 회귀 모델을 적용합니다. 사실 확인을 장려하면 점수 증가율이 낮아지는 것으로 나타났습니다. 여기서, 투표를 장려하는 것은 실제로 시간이 지남에 따라 평균적으로 점수의 성장률에 작은 긍정적 인 영향을 미친다는 것을 알았습니다. 2016 년 12 월 초에 reddit 알고리즘을 변경하는 동안 실험을 진행 한 이후로 reddit이 알고리즘 (세부 사항)을 조정 한 후 reddit의 알고리즘에 대한 이러한 끈끈한 설명의 효과가 변경 될 수 있음을 알게되었습니다.

누가 뉴스 기사를 사실 확인하는 데 도움이 되었습니까?

중재자가 유지할 수있는 링크가있는 930 개의 비봇 댓글 중 737 개의 사용자 계정이 추가 증거에 대한 링크를 제공했습니다. 이 중 133 개의 계정에서 링크가 포함 된 둘 이상의 주석이 작성되었습니다. 많은 사람들이 자신의 제출물을 실제로 확인했으며 제출자는 추가 정보에 대해 81 개의 의견을 게시했습니다.

이 연구에서 무엇을 알 수 없습니까?

이 테스트는 개별 계정이 아닌 토론 내 결과를 검토하므로 개별 사람들이 더 회의적인 것으로 확신하는지, 또는 끈끈한 의견으로 인해 이미 회의적인 사람들이 조사하고 공유했는지 알 수 없습니다. 사실 확인이 독자에게 미치는 영향에 대한 증거는 없지만, 다른 조사에 따르면 사실 확인이 독자의 신념에 영향을 미친다는 것이 밝혀졌습니다 [2] [3].

이 연구는 독자들에게 하향 투표를 고려하도록 권장함으로써 메시지를 수정할 때 왜 알고리즘 효과에 큰 변화가 있는지를 알 수 없습니다. 이러한 차이는 심리학자들이 권위의 제안에 대한 저항 인 "반응"이라고 부르는 것의 예일 수 있습니다. 또는 뉴스 제출자가 링크가 다운 될 수 있다고 우려하는 경우 독자의 행동을 균형있게하는 도움을 요청할 수 있습니다.

다른 종류의 링크, 다른 하위 구성 요소 또는 다른 사이트에서 작동합니까? 이 연구는 특정 커뮤니티와 사이트 목록으로 제한됩니다. 중재자가 요청하면 많은 온라인 독자 커뮤니티가 사실 확인 링크를 도울 것이라고 생각하지만 레딧 알고리즘에 대한 우리의 발견은 훨씬 더 있습니다.

더 많은 하위 조직이 유사한 실험을 시도하기로 결정한 경우 이러한 질문에 대답 할 수 있습니다. 관심이 있으시면 reddit에 저에게 연락하여 비슷한 실험을 실행하고 이메일 업데이트에 가입하십시오.

이 실험에 대해 더 알아보기

저의 박사 학위는 지역 사회가 자신의 중재 관행의 영향을 테스트하도록 지원합니다. 나는이 실험을 r / worldnews 중재자와 함께 디자인했으며, 실험 대상으로 인간 사용에 관한 MIT위원회의 승인을 받았습니다. 궁금한 점이 있으면 redditmail을 통해 natematias에 문의하십시오.

이 실험은 지금까지 내 레딧에 대한 모든 연구와 마찬가지로 실험 계획이나 설계에 아무런 역할을하지 않은 레딧 플랫폼과 독립적으로 수행되었습니다. 실험은 아직 동료 검토되지 않았습니다. CivilServant의 모든 결과는 결과가 준비되는 즉시 관련 커뮤니티에 공개적으로 게시되며 나중에 학술 출판물이 제공됩니다.

실험에 대한 자세한 내용은 사전 분석 계획 (osf.io/hmq5m/)에 미리 게시되었습니다. 당신이 통계에 관심이 있다면, 나는 분석의 전체 세부 사항을 발표했습니다.

참고 문헌

[1] Salganik, M.J., & Watts, D.J. (2008). 무리의 길을 잃기 : 인공 문화 시장에서 자기 충족 예언에 대한 실험적 연구. 분기 별 사회 심리학, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz 및 John Cook. 잘못된 정보와 그 수정은 계속적인 영향과 성공적인 탈선 화입니다. 공익 심리학, 13 (3) : 106–131, 2012 년 12 월.

[3] 토마스 우드와 이단 포터. 애매 모호한 역효과 : Mass Attitudes의 확고한 사실 준수. SSRN Scholarly Paper ID 2819073, 사회 과학 연구 네트워크, 뉴욕, 로체스터, 2016 년 8 월.

[4] Rahwan, Iyad (2016)``Society-in-the-Loop : Algorithmic Social Contract 프로그래밍 '' 매질

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios 및 Cedric Langbort. 2014. 감사 알고리즘 : 인터넷 플랫폼에서 차별을 탐지하는 연구 방법. 데이터 및 차별 : 중요한 문제를 생산적인 문의로 전환, 국제 커뮤니케이션 협회 연례 회의, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). 뉴스 매체의 알고리즘 투명성. 디지털 저널리즘, 1-20.

Thaler, R.H., & Sunstein, C.R. (2003). 자유 주의적 친교. 미국 경제 검토, 93 (2), 175–179.