얼마 전 스탠포드대학교 인공지능연구소(Stanford HAI)는 대형 모델 분야에서 미국이 훨씬 앞서 있다는 보고서를 발표했습니다. 보고서는 2023년에 잘 알려진 인공지능 모델 61개가 미국 기관에서 나온 것이라고 지적했는데, 이는 EU의 21개, 중국의 15개를 훨씬 능가하는 수치이다.
OpenAI의 초기 투자자인 비노드 코슬라(Vinod Khosla)도 지난해 X에 대해 미국 오픈소스 모델이 중국에 의해 복제될 것이라는 기사를 게재했습니다.
그러나 늘 '미국을 따라잡는다'고 여겨졌던 국내 대형 모델이 이제 표절의 대상이 됐으며, 표절된 AI팀은 위 보고서를 발표한 스탠포드대 출신이다.
스탠포드 AI팀이 이끄는 Llama3-V 오픈소스 모델이 칭화대 및 Wall-Facing Intelligence의 국내 오픈소스 모델 'Little Steel Cannon' MiniCPM-Llama3-V 2.5를 표절한 혐의가 있는 것으로 밝혀져 즉각 파문을 일으켰다. AI 서클에서.
진짜 망치 아래 스탠포드 팀도 긴급 사과를 해야 했다.
Wall-Facing Intelligence의 CEO인 Li Dahai가 농담으로 대답했듯이 이는 "국제 팀이 인정한 방법"입니다. 상위 대형 모델과 아무리 거리가 멀어도 국내 대형 모델은 더 이상 무시할 수 없는 단계에 이르렀습니다.
타임라인을 간략하게 요약해 보겠습니다.
- 스탠포드 AI 팀, SOTA 다중 모드 대형 모델로 알려진 Llama3-V 출시
- 네티즌들은 해당 모델이 국내 벽걸이형 스마트 MiniCPM-Llama3-V2.5를 카피한 것이 아닌가 의문을 제기했다.
- 의문의 증거가 나타났고, Llama3-V 작성자는 "데이터베이스를 삭제하고 도망가는" 단계를 밟았습니다.
- 페이스월 인텔리전스 공식 표절, 심야 성명 발표
- Llama3-V 작가 공식 사과, 네티즌들 의견 엇갈려
스탠포드 AI팀은 벽면 지능형 '소형강포'를 표절해 '데이터베이스 삭제하고 도망가기'를 벌였다.
최근 스탠포드 AI 팀은 GPT-4V를 능가하는 SOTA 다중 모드 대형 모델을 훈련하는 데 단 500달러의 비용이 든다고 발표했습니다.
그러나 곧 X 사용자 @yangzhizheng1은 이 프로젝트에 사용된 모델 구조와 코드가 얼마 전 Wallface Intelligence에서 출시한 MiniCPM-Llama3-V2.5와 놀라울 정도로 유사하다는 점을 지적했습니다.
이를 위해 X 사용자 @yangzhizheng1도 이에 상응하는 의문의 증거를 공개했습니다.
증거 1:
Llama3-V와 MiniCPM-Llama3-V 2.5의 모델 구조와 코드는 복사-붙여넣기 수준과 거의 유사합니다. 차이점은 아마도 조끼가 변경되었다는 점일 것입니다. 변수 이름이 변경되었습니다.
같은 옷인데 단추가 다른 것 같은데 우연인 것 같나요?
증거 2:
Llama3-V 작성자에게 아직 사전에 출시되지 않은 MinicPM-Llama3-V2.5 토크나이저를 사용할 수 있는 이유를 묻는 질문에 그들은 Wall-Facing의 이전 세대 MinicPM-V-2 프로젝트를 사용하고 있다고 설명했습니다. 지능.
그러나 일부 언론은 Wallface Intelligence 관계자에게 확인을 요청했습니다. HuggingFace에서는 MiniCPM-V2와 MiniCPM-Llama3-V 2.5 단어 분할기가 각각 2개의 파일이며 파일 크기가 완전히 다릅니다.
또한 MiniCPM-Llama3-V 2.5의 토크나이저는 Llama3 토크나이저와 MiniCPM-V 시리즈 모델의 특수 토큰으로 구성됩니다.
MiniCPM-V2가 Llama3보다 먼저 출시된 점을 고려하면, 아직 공개되지 않은 Llama3 토크나이저 기술을 포함하는 것은 이론적으로 불가능합니다.
증거 3:
더욱 어처구니 없는 것은 llama3-V 프로젝트 작성자가 사용자들의 의심에 직면하고 뭔가 잘 되지 않는 것을 보고 단순히 "라이브러리를 삭제하고 도망가는" 멋진 쇼를 연출했다는 점입니다.
심지어 사기성 버전 2.0이라고 할 수 있는 GitHub의 프로젝트 페이지도 제거되었습니다.
Hugging Face 주소는 현재 페이지를 열면 "404"만 보입니다.
https://huggingface.co/mustafaaljadery/llama3v/commit/3bee89259ecac051d5c3e58ab619e3fafef20ea6
아직 끝나지 않았습니다. 더 많은 증거가 나타나고 있습니다.
X 사용자 @yangzhizheng1은 MiniCPM-Llama3-V 2.5의 체크포인트에 가우시안 노이즈(단일 스칼라로 매개변수화됨)를 추가하면 결과 모델이 Llama3-V와 동일한 금형에서 조각될 것이라고 말했습니다.
뿐만 아니라, 이 모델은 "칭화 전표"와 같은 전국 시대의 심오한 고대 저작물도 인식할 수 있으며, Wall-Facing Intelligence의 공식 단어에서는 오류가 완전히 동일합니다.
그들은 옳을 뿐만 아니라 틀렸습니다.
이 고대 문자 데이터는 칭화대학에서 수개월에 걸쳐 수집한 칭화 죽전을 스캔하고 수동으로 주석을 달아 얻은 것입니다. 이는 공개된 적이 없습니다.
그렇다면 스탠포드 AI 팀은 어떻게 이를 허공에서 꺼냈을까요?
월페이스 인텔리전스의 6월 2일 심야 성명은 스탠포드 AI 연구팀의 완전한 표절이라고 볼 수 있다.
오늘 이른 아침까지 Stanford Llama3-V 팀의 두 저자인 Siddharth Sharma와 Aksh Garg는 모든 Llama3-V 모델이 제거될 것이라고 말하면서 소셜 플랫폼 X에 대한 학문적 위법 행위에 대해 벽을 향한 MiniCPM 팀에 공식적으로 사과했습니다.
유명 학교의 우등생도 표절을 합니까? 중국의 오픈소스 빅 모델들이 따라잡고 있다
이 문제가 인터넷에서 화제를 모은 중요한 이유는 표절자의 배경이 워낙 화려하기 때문이다.
공개 정보에 따르면 Siddharth Sharma와 Aksh Garg는 모두 스탠포드 대학교 컴퓨터 공학과의 학부생이며 기계 학습 분야에서 많은 논문을 발표했습니다. 그 중 Siddharth Sharma는 Amazon에서 일정 기간 인턴을 했으며 현재는 주로 AI 및 데이터 관련 업무에 종사하고 있습니다.
Aksh Garg의 인턴십 이력서는 SpaceX, Stanford University 및 California Institute of Technology와 같은 잘 알려진 조직을 포함하여 풍부합니다.
앞서 언급한 두 저자에 의해 '코드 포터'로 불리는 무스타파 알자데리(Mustafa Aljadery)는 서던캘리포니아대학교(University of Southern California) 출신으로 여론이 악화된 후 X 계정이 비공개 상태로 설정되었습니다.
눈치 빠른 네티즌들은 스탠포드 Llama3-V 팀의 사과문을 받아들이지 않았습니다.
예를 들어,
스탠포드 AI 연구소 소장인 크리스토퍼 데이비드 매닝(Christopher David Manning)도 이런 표절을 규탄하고 뛰어난 중국 오픈소스 모델인 MiniCPM을 칭찬했다.
하지만 '자비를 베풀어야 할 때에는 용서하라'는 태도를 갖고 여유롭게 격려하는 네티즌들도 있다.
개방성과 정직성은 기술 세계에서 매우 중요한 가치이며, 귀하의 새로운 작업을 기대합니다.
Google DeepMind 연구원 Lucas Beyer는 중국의 오픈소스 대형 모델에는 MiniCPM과 같은 좋은 모델이 있지만 국제 사회에서는 이에 대해 충분한 관심을 기울이지 않는다고 말했습니다.
Wall-Facing Intelligence 팀도 어제 이 문제에 응답했습니다.
FaceWall Intelligence의 CEO인 Li Dahai는 "기술 혁신은 쉽지 않습니다. 모든 작업은 팀의 밤낮없는 노력의 결과이며, 제한된 컴퓨팅 능력으로 전 세계적으로 기술 진보와 혁신 개발에 대한 성실한 기여의 결과입니다."라고 말했습니다.
우리는 팀의 좋은 성과가 더 많은 사람들에게 주목되고 인정받기를 바라지만, 그런 식으로는 그렇지 않습니다. "
Wall-Facing Intelligence의 수석 과학자인 Liu Zhiyuan도 Zhihu에 글을 올려 이번 사건은 중국의 혁신적인 성과가 다른 관점에서 국제적인 영향력을 입증했다고 말하면서 오픈 소스 공유의 중요성과 독창성 정신에 대한 존중을 강조했습니다.
AI계의 이번 표절 드라마는 "혁신은 쉽지 않고, 반드시 이루어져야 하며 소중히 여겨져야 하며, 학문적 진실성은 모두의 책임이다"라는 교과서적 설명이라고 해야 할 것이다.
아시다시피, 코드의 모양을 흉내내면 원래의 우아함을 흉내낼 수 없습니다.
실제로 지난해부터 중국의 대형 모델들은 봄비 뒤 버섯처럼 오픈소스화를 진행해 수혜자에서 기여자로 변신해 더욱 뛰어난 오픈소스 결과물을 세상에 제공하는 데 인색하지 않다.
알리바바, 텐센트 등 거대 기업부터 벽을 향한 지능까지, Zhipu AI, Kunlun Tiangong 등 AI 스타트업도 오픈소스 커뮤니티의 활발한 구성원으로 활동하며 중국의 대규모 모델 개발에 기여하고 있습니다.
개방과 나눔의 봄바람도 더욱 거세어지기를 바랍니다.
Face Wall Intelligence의 CEO인 Li Dahai가 모든 사람이 함께 협력하여 개방적이고 협력적이며 신뢰할 수 있는 커뮤니티 환경을 구축할 것을 촉구하는 것처럼 말입니다. 함께 협력해야만 세상이 AGI의 출현으로 더 나은 곳이 될 수 있습니다!
# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo