랑후이테크는 범용 코퍼스 AI 데이터 서비스를 깊이 있게 전개하여 다언어 코퍼스, 크로스 컬처 데이터, 범용 사전학습 코퍼스, 데이터 정제 체계 4대 분야를 아우르는 20개 고품질 데이터셋, 100TB+ 코퍼스, 24종 언어, 5000억+ tokens를 구축하고, 대규모 모델 사전학습에 고품질·다언어·크로스 컬처 코퍼스를 제공하여 범용 인공지능을 역량 강화합니다.
GPT-4 다언어에서 크로스 언어 전이까지, 가치 정렬에서 범용 사전학습까지, AI는 범용 인공지능 AGI를 향해 가속화하고 있습니다
OpenAI가 GPT-4 다언어 버전을 발표하여 95+ 언어를 커버하고, 크로스 언어 이해, 기계 번역, 저자원 언어 과업에서 SOTA를 달성했으며, 다언어 추론 능력이 모국어 수준에 근접하여 글로벌 AI 보급화를 촉진합니다.
Meta가 XLM-RoBERTa 업그레이드 버전을 출시하여 100+ 언어 사전학습으로 제로샷 크로스 언어 전이를 구현했고, 소수 언어 과업에서 뛰어난 성능을 보이며 오픈소스로 글로벌 다언어 NLP 연구를 촉진합니다.
Anthropic이 Constitutional AI 2.0 프레임워크를 제안하여 문화 정렬과 가치 정렬을 강화하고, 다문화 가치 평가 벤치마크로 문화 편향을 방지하며 책임 있는 범용 인공지능을 구축합니다.
Google이 XTREME-Plus 다언어 평가 벤치마크를 발표하여 100+ 언어를 커버하고 분류, QA, 검색, 추론 4종 과업을 포함하며 대규모 모델의 크로스 언어 능력을 종합 평가하여 다언어 모델 표준 평가로 자리 잡았습니다.
ACL 2025 최우수 논문은 소수 언어 NLP에 주목하여 전이학습과 퓨샷 학습 기반의 소수 언어 모델 학습 방법을 제안했으며, 스와힐리어, 벵골어 등 저자원 언어에서 혁신적 진전을 이뤘습니다.
DeepSeek 2026가 차세대 범용 사전학습 방안을 출시하여 대규모 사전학습 효율을 3배 향상시키고 학습 비용을 60% 절감했으며, 다언어·다과업에서 GPT-4 수준에 도달하고 오픈소스로 업계 보급을 촉진합니다.
신뢰할 수 있는 데이터를 기반으로 대규모 모델 사전학습 풀스택 데이터 인프라를 구축합니다
24종 언어를 커버하며 중·영·일·한·불·독·서·러·아랍어를 포함해 글로벌 인구 90%를 커버하여 다언어 대규모 모델 학습 기반을 구축합니다.
문화 정렬, 가치 정렬, 지역 적응 데이터로 대규모 모델의 문화 편향을 방지하고 책임 있는 범용 인공지능을 구축합니다.
웹페이지, 도서, 뉴스, 백과, 코드 5대 유형 코퍼스로 100TB+ 고품질 데이터를 보유하고 범용 대규모 모델 기반 모델 학습을 지원합니다.
중복 제거, 필터링, 품질 평가, 안전 심사 전 과정 정제로 5000억+ 정제 후 tokens를 보유하여 사전학습 데이터 품질을 보장합니다.
4대 핵심 지표가 전면 충족되어 신뢰할 수 있는 범용 코퍼스 인프라를 구축합니다
글로벌 인구 90%가 사용하는 24종 주류 언어 커버
다차원 품질 평가로 98% 데이터가 고품질 기준 충족
크로스 컬처 전문가 심사로 95% 데이터가 문화 정렬 검증 통과
산업화 정제 프로세스로 92% 원시 코퍼스가 고품질 데이터로 보존
20개 고품질 데이터셋, 대규모 모델 사전학습 전 장면 커버
중영 이중어 정렬 코퍼스로 뉴스, 백과, 문학 다분야를 커버하여 기계 번역 및 크로스 언어 모델 학습을 지원합니다.
24종 언어 병렬 코퍼스로 UN 6종 공용어 및 주류 소수 언어를 커버하여 다언어 대규모 모델 학습을 지원합니다.
스와힐리어, 벵골어, 태국어 등 저자원 언어 코퍼스로 소수 언어 NLP 및 크로스 언어 전이 연구를 지원합니다.
동서양 문화 가치 정렬 코퍼스로 문화 배경, 관습 금기, 사교 예절 어노테이션을 포함하여 대규모 모델의 문화 편향을 방지합니다.
Constitutional AI 기반 가치 정렬 데이터셋으로 인간 피드백, 선호 비교, 안전 제약 어노테이션을 포함합니다.
다양한 지역, 민족, 종교 배경의 코퍼스로 지역 특성, 문화 금기, 현지화 어노테이션을 포함하여 대규모 모델 지역 적응을 지원합니다.
Common Crawl 정제 후 고품질 웹페이지 코퍼스로 다분야 다언어를 커버하며 사전학습 코퍼스의 핵심 출처입니다.
다언어 도서 코퍼스로 문학, 과학기술, 역사, 철학 등 분야를 커버하며 장문 고품질 사전학습 데이터입니다.
글로벌 주류 미디어 뉴스 코퍼스로 24종 언어, 다분야 뉴스 텍스트를 포함하며 시의성이 뛰어나 사전학습과 파인튜닝에 적합합니다.
Wikipedia 등 다언어 백과사전 코퍼스로 구조화 지식이 풍부하고 300+ 학문 분야를 커버하는 고품질 지식 소스입니다.
GitHub 등 다언어 코드 코퍼스로 Python, Java, C++ 등 50+ 프로그래밍 언어를 커버하여 코드 대규모 모델 학습을 지원합니다.
다언어 명령 수행 데이터셋으로 과업 명령, 응답, 품질 평점을 포함하여 명령 파인튜닝 SFT를 지원합니다.
RLHF 인간 피드백 데이터로 다언어 응답 순위, 선호 비교, 안전 제약을 포함하여 RLHF 정렬 학습을 지원합니다.
다언어 응답 선호 비교 데이터셋으로 선호 라벨, 사유 설명을 포함하여 DPO 등 선호 최적화 학습을 지원합니다.
MinHash, SimHash로 중복 제거된 고품질 코퍼스로 중복 텍스트와 유사 중복을 제거하여 학습 효율을 향상시킵니다.
독성, 저품질, 유해 콘텐츠를 필터링한 코퍼스로 콘텐츠 안전 어노테이션을 포함하여 사전학습 코퍼스의 안전 규정 준수를 보장합니다.
품질 평점이 포함된 코퍼스 데이터로 다차원 텍스트 품질 평가를 수행하여 고품질 사전학습 데이터 선별을 지원합니다.
신뢰할 수 있는 데이터셋, 맞춤형 데이터 서비스, 인증 전문가 네트워크 3대 비즈니스의 풀스택 시너지로 범용 대규모 모델 학습을 역량 강화합니다
20개 즉시 사용 가능한 표준화 범용 코퍼스 데이터셋으로 다언어, 크로스 컬처, 사전학습, 정렬, 정제 5대 장면을 커버합니다. JSON/텍스트 표준화 포맷으로 즉시 구매 즉시 사용, 대규모 모델 빠른 학습을 지원합니다.
산업화 정제, 정렬 어노테이션 맞춤 서비스로 주문형 코퍼스 정제, 크로스 컬처 정렬, 명령 어노테이션 방안을 제공합니다. 자체 개발 AI 보조 플랫폼으로 어노테이션 효율을 10배 향상시킵니다.
다언어 전문가, 문화 자문사 심사 네트워크로 글로벌 언어학자, 문화 학자와 협력하여 전문가 팀을 구축하고 코퍼스의 전문성과 크로스 컬처 정확성을 보장합니다.
랑후이 범용 코퍼스 데이터셋 기반 6대 대표 AI 적용 장면
100TB+ 다언어 고품질 코퍼스를 기반으로 범용 대규모 모델 기반 모델 학습을 지원하여 범용 인공지능 AGI 적용을 가속화합니다.
다언어 병렬 코퍼스로 크로스 언어 이해, 기계 번역, 크로스 언어 검색을 지원하며 24종 언어의 원활한 상호 운용을 커버합니다.
크로스 컬처 데이터로 대규모 모델의 문화 정렬, 지역 적응을 지원하고 문화 편향을 방지하며 글로벌 문화 상호 교류를 촉진합니다.
다언어 고품질 코퍼스로 다언어 콘텐츠 생성을 지원하며 뉴스, 문학, 마케팅, 기술 문서 다분야를 커버합니다.
다언어 고객센터 대화 코퍼스로 다언어 스마트 고객센터 시스템을 지원하여 7×24시간 글로벌 고객 서비스를 제공합니다.
다언어 코퍼스로 다언어 검색, 개인화 추천 시스템을 지원하여 글로벌 사용자 검색 및 추천 경험을 향상시킵니다.